Estudio comparativo de las respuestas del ENAO 2021 y grandes modelos de lenguaje de inteligencia artificial generativa (IAG): ChatGPT-3.5 vs ChatGPT-4

Abstract

Antecedentes: La inteligencia artificial está transformando el ámbito de la atención médica, incluida la odontología, a través de modelos de lenguaje como Chat Generative Pre-Trained Transformer (ChatGPT). Objetivo: Evaluar y comparar la precisión de los modelos de lenguaje de inteligencia artificial ChatGPT-3.5 y ChatGPT-4, en comparación con el solucionario del ENAO 2021. Métodos y Materiales: Este estudio fue descriptivo, observacional, transversal. Se emplearon 200 preguntas del Examen Nacional de Odontología (ENAO), disponible en el banco de la Asociación Peruana de Facultades de Odontología (ASPEFO). Se comparó la tasa de respuestas de ambas IA’s. Para el contraste comparativo se usó la prueba Chi - Cuadrado (α= 0.05). Para la evaluación de la precisión se empleó la prueba Alfa de Cronbach. Resultados: No hubo diferencias significativas en el nivel de precisión del ChatGPT-3.5 y ChatGPT-4 en contraste con el modelo solucionario del examen ENAO. En relación con las respuestas proporcionadas por el solucionario, no hubo diferencia significativa para las dimensiones usando el ChatGPT-3.5. Para el ChatGPT-4 solo una dimensión fue significativa. En la comparación de respuestas correctas no hubo diferencias estadísticas de ambas herramientas. En la determinación de la precisión no se evidenció diferencias significativas entre los tiempos de las evaluaciones. Conclusión: Ambas herramientas de IA tuvieron similar desempeño para las respuestas al ENAO, aunque es importante seguir evaluando el nivel de precisión, pudiendo clasificar las preguntas que se sometan a estas aplicaciones.

Background: Artificial intelligence is transforming the healthcare field, including dentistry, through language models such as Chat Generative Pre-Trained Transformer (ChatGPT). Objective: To evaluate and compare the accuracy of the artificial intelligence language models ChatGPT-3.5 and ChatGPT-4, compared to the ENAO 2021 solution book. Methods and Materials: This study was descriptive, observational, and cross-sectional. 200 questions from the National Dental Examination (ENAO), available in the database of the Peruvian Association of Dental Faculties (ASPEFO), were used. The response rate of both AIs was compared. For the comparative contrast, the Chi-Square test was used (α = 0.05). To evaluate the accuracy, Cronbach's Alpha test was used. Results: There were no significant differences in the level of accuracy of the ChatGPT-3.5 and ChatGPT 4 in contrast to the ENAO exam solution model. Regarding the answers provided by the solution, there was no significant difference for the dimensions using ChatGPT-3.5. For ChatGPT-4, only one dimension was significant. In contrast to correct answers, there were no statistical differences between both tools. To determine the accuracy, no significant differences were evident between the evaluation times. Conclusion: Both AI tools had similar performance for the ENAO answers, although it is important to continue evaluating the level of accuracy and being able to classify the questions that are submitted to these applications.