La fiabilidad de ChatGPT, Gemini y Claude en cáncer renal: hasta un 96% de consenso con los especialistas

Un panel de 11 especialistas, entre ellos el Dr. Marc Simó Perdigó, del Hospital Universitari Dexeus, evaluó las respuestas de los tres modelos e identificó dificultades ante escenarios clínicos complejos

Dr. Marc Simó, Hospital Universitari Dexeus fiabilidad IA cáncer renal
Foto: Quirónsalud

Redacción
El estudio ‘Evaluation of large language models for clinical decision support in renal cell carcinoma: a multidisciplinary Delphi study’, ha analizado hasta qué punto los tres grandes modelos de inteligencia artificial generativa: ChatGPT, Gemini y Claude, son capaces de interpretar las recomendaciones clínicas sobre el carcinoma de células renales y ofrecer respuestas acordes con el criterio del especialista. Según los resultados, Gemini alcanzó un consenso favorable en 24 de las 25 respuestas (96%), mientras que Claude y ChatGPT lo hicieron en 23 (92% cada uno). Estos datos reflejan un elevado de coincidencia entre las respuestas de los modelos y el criterio de los expertos.

El estudio se elaboró a partir de 25 preguntas clínicas basadas en las guías de 2025 de la Asociación Europea de Urología (EAU) sobre cáncer renal. Los investigadores facilitaron a los tres modelos el contenido de estas guías, cuyas tablas y figuras se transformaron previamente en resúmenes estructurados y redactados en lenguaje sencillo. Cada herramienta generó una respuesta por pregunta mediante instrucciones directas. Posteriormente, un panel de 11 especialistas, entre los que se encuentra el Dr. Marc Simó Perdigó, especialista del Servicio de Medicina Nuclear del Hospital Universitari Dexeus, evaluó las respuestas en dos rondas mediante un método Delphi modificado, utilizando una escala de nueve puntos y criterios de consenso previamente establecidos.

Gemini obtuvo el mayor porcentaje de consenso, con un 96% de respuestas acordes con el criterio de los especialistas, frente al 92% de ChatGPT y Claude

Las dificultades fueron más frecuentes en situaciones clínicas complejas, como la vigilancia activa sin tratamiento inmediato en pacientes con cáncer renal metastásico, la predicción de resultados en un subtipo menos frecuente de esta enfermedad, la elección de tratamientos que destruyen el tumor sin necesidad de extirparlo quirúrgicamente y la valoración de pruebas de imagen como posibles alternativas a la biopsia renal. Asimismo, también se detectaron información incorrecta, opciones terapéuticas omitidas y respuestas con un nivel de detalle insuficiente.

Estos resultados muestran que los modelos pueden encontrar mayores dificultades cuando deben abordar escenarios que requieren una valoración individualizada o interpretar situaciones clínicas que no admiten respuestas generales.

Los autores concluyen que los grandes modelos de lenguaje pueden facilitar la interpretación de las guías clínicas cuando disponen de información estructurada y validada. No obstante, los resultados no demuestran que estas herramientas tengan capacidad de razonamiento clínico independiente ni que puedan tomar decisiones médicas en la práctica asistencial. Por ello, su utilización debe contar con supervisión profesional, especialmente ante situaciones complejas que requieren individualizar el manejo del cáncer renal.

Podcast

Podcast

Economía

Accede a iSanidad

Buscar
Síguenos en