Avaliação das respostas do ChatGPT a questionamentos relacionados ao aleitamento materno
Conteúdo do artigo principal
Resumo
Introdução: As ferramentas de inteligência artificial (IA) estão impactando a medicina de forma a tornar o conhecimento mais acessível tanto para os médicos como para os pacientes, mas ainda são pouco estudadas quanto a sua real acurácia. Objetivo: Avaliar a qualidade das respostas fornecidas pelo ChatGPT a potenciais dúvidas das famílias relacionadas ao tema de aleitamento materno. Métodos: Estudo transversal realizado via questionário on-line com pediatras brasileiros atuantes (n=56), que emitiram suas opiniões sobre dez pares de perguntas e respostas sobre o tema aleitamento materno. As perguntas foram elaboradas a partir de dúvidas comuns, e as respostas foram obtidas após submissão das perguntas ao ChatGPT. A qualidade das respostas foi avaliada em uma pontuação de 1 a 5 pontos. Resultados: A média das pontuações foi superior 4,0 para todas as dúvidas apresentadas à IA quanto “A resposta fornecida é de claro entendimento” e “A resposta está de acordo com o conhecimento científico atual”. Para a opinião “Estou satisfeito com a resposta apresentada”, os participantes deram uma nota acima de 4,0 para a maioria das respostas do ChatGPT. A maioria dos pediatras expressou concordância com a afirmação “Se estivesse respondendo a essa pergunta para um paciente real, minha resposta seria diferente. Conclusão: As respostas geradas pelo ChatGPT obtiveram elevadas taxas de satisfação por parte população de pediatras que as avaliaram, sendo consideradas de claro entendimento e com embasamento científico atualizado. No entanto, a maioria dos pediatras afirma que daria respostas diferentes aos seus pacientes.
Downloads
Detalhes do artigo
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Autores que publicam nesta revista concordam com os seguintes termos:
- Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob uma licença Creative Commons CC BY que permite o compartilhamento e adaptação do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
- Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
Referências
Ayers JW, Poliak A, Dredze M, Leas EC, Zhu Z, Kelley JB, et al. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Intern Med. 2023;183(6):589-96. https://doi.org/10.1001/jamainternmed.2023.1838
Javaid M, Haleem A, Singh R. ChatGPT for healthcare services: An emerging stage for an innovative perspective. Bench Council Transact Benchmarks Stand Evaluation. 2023;3(1):100105. https://doi.org/10.1016/j.tbench.2023.100105
Pan A, Musheyev D, Bockelman D, Loeb S, Kabarriti AE. Assessment of artificial intelligence chatbot responses to top searched queries about cancer. JAMA Oncol. 2023;9(10):1437-40. https://doi.org/10.1001/jamaoncol.2023.2947
Chen S, Kann BH, Foote MB, Aerts HJWL, Savova GK, Mak RH, et al. Use of artificial intelligence chatbots for cancer treatment information. JAMA Oncol. 2023;9(10):1459-62. https://doi.org/10.1001/jamaoncol.2023.2954
Lee TC, Staller K, Botoman V, Pathipati MP, Varma S, Kuo B. ChatGPT answers common patient questions about colonoscopy. Gastroenterology. 2023;165(2):509-11.e7. https://doi.org/10.1053/j.gastro.2023.04.033
Kubb C, Foran HM. Online health information seeking parents for their children: systematic review and agenda for further research. J Med Internet Res. 2020;22(8):e19985. https://doi.org/10.2196/19985
Estudo Nacional de Alimentação e Nutrição Infantil (ENANI). Aleitamento materno: prevalência e práticas entre crianças brasileiras menores de 2 anos. 4: ENANI - 2019. Rio de Janeiro: UFRJ, 2021.
World Health Organization (WHO). United Nations Children’s Fund (UNICEF). Global Breastfeeding Scorecard, 2019: Increasing commitment to breastfeeding through funding and improved policies and programmes. Geneva: WHO/UNICEF, 2019.
Yeo YH, Samaan JS, Ng WH, Ting PS, Trivedi H, Vipani A, et al. Assessing the performance of ChatGPT in answering questions regarding cirrhosis and hepatocellular carcinoma. Clin Mol Hepatol. 2023;29(3):721-32. https://doi.org/10.3350/cmh.2023.0089
Johnson SB, King AJ, Warner EL, Aneja S, Kann BH, Bylund CL. Using ChatGPT to evaluate cancer myths and misconceptions: artificial intelligence and cancer information. JNCI Cancer Spectr. 2023;7(2):pkad015. https://doi.org/10.1093/jncics/pkad015
Roque MC. Amamentação: mitos e verdades. Companhia de Desenvolvimento dos Vales do São Francisco e do Parnaíba – Codevasf, 2022, p. 1-32. Available from: https://www.codevasf.gov.br/acesso-ainformacao/institucional/biblioteca-geraldo-rocha/publicações
Nov O, Singh N, Mann D. Putting ChatGPT's Medical Advice to the (Turing) Test: Survey Study. JMIR Med Educ. 2023;9:e46939. https://doi.org/10.2196/46939
Garg RK, Urs VL, Agarwal AA, Chaudhary SK, Paliwal V, Kar SK. Exploring the role of ChatGPT in patient care (diagnosis and treatment) and medical research: A systematic review. Health Promot Perspect. 2023;13(3):183-91. https://doi.org/10.34172/hpp.2023.22
Figueiredo TC, Ribeiro Neto U. Contribuições da educação em saúde na promoção do aleitamento materno. VI Encontro Internacional de Gestão, Desenvolvimento e Inovação. 2022;6(1):1-6.