Sztuczna inteligencja zastąpi lekarzy? ChatGPT podszedł do egzaminu z medycyny
Naukowcy z Uniwersytetu Mikołaja Kopernika w Toruniu sprawdzili, czy sztuczna inteligencja, coraz częściej wykorzystywana w medycynie, poradzi sobie z egzaminem z interny. ChatGPT wcześniej zdał m.in. amerykański egzamin licencjonowania medycznego. Z polskim testem poradził sobie już znacznie gorzej.
Czy sztuczna inteligencja mogłaby zastąpić pracowników służby zdrowia? To w najbliższej przyszłości mało prawdopodobne, szczególnie w dziedzinie chorób wewnętrznych. "Nawet najbardziej wyrafinowane algorytmy i technologie nie mogą diagnozować i leczyć chorób bez udziału człowieka" - stwierdzili naukowcy z Collegium Medicum Uniwersytetu Mikołaja Kopernika w Toruniu (samo Collegium Medicum mieści się w Bydgoszczy). W przeprowadzonym przez nich badaniu ChatGPT nie zdał egzaminu z interny - dziedziny medycyny zajmującej się schorzeniami narządów wewnętrznych.
W ostatnich latach mieliśmy do czynienia ze znacznym rozwojem sztucznej inteligencji. Wiele zawodów, dotychczas zarezerwowanych dla ludzi, mogą już wykonywać modele i algorytmy. Także nowoczesna medycyna zaczyna korzystać z możliwości AI. Trwają badania nad jej wykorzystaniem do projektowania nowych leków, wspomagania lekarzy w procesie diagnostycznym, przewidywania pandemii czy zastępowania chirurgów podczas operacji. Od jakiegoś czasu coraz częściej słychać też o eksperymentach, w których modele sztucznej inteligencji z powodzeniem zdają egzaminy lekarskie i udzielają "pacjentom" porad dokładniejszych czy bardziej empatycznych niż lekarze.
Badanie naukowców z UMK. ChatGPT nie zdał egzaminu
Wyniki najnowszego badania ekspertów z Collegium Medicum pokazały, że póki co nie ma mowy o powierzeniu sztucznej inteligencji całkowitej opieki nad chorymi, szczególnie w dziedzinie chorób wewnętrznych. Szczegóły badania opisał Marcin Behrendt na portalu informacyjnym UMK.
"Na egzaminie specjalizacyjnym medycy muszą odpowiedzieć na 120 pytań testowych, w których tylko jedna z pięciu odpowiedzi jest prawidłowa. Lekarz, by zostać specjalistą, musi poprawnie rozwiązać 60 proc. zadań. Jeśli zda część pisemną na ocenę dobrą lub wyższą, jest zwolniony z części ustnej. Jeśli powiedzie mu się gorzej, dodatkowo musi stawić się przed komisją" - czytamy na stronie internetowej toruńskiej uczelni.
Ponieważ słynny ChatGPT przeszedł pozytywnie m.in. amerykański egzamin licencjonowania medycznego (USMLE), europejski egzamin z podstawowej kardiologii czy egzamin w ramach programu oceny wiedzy okulistycznej (OKAP), polscy naukowcy postanowili zbadać, czy model ten będzie w stanie zdać polski egzamin wymagany do uzyskania tytułu specjalisty chorób wewnętrznych. Jak podkreślają, ich badanie było pierwszym na świecie, w którym podjęto się oceny AI w dziedzinie interny. Autorzy badania wyniki swojej pracy opisali na łamach "Polish Archives of Internal Medicine".
ChatGPT odpowiedział na ponad tysiąc pytań. "Wyniki znacznie gorsze od wyników ludzi"
Chatowi zaprezentowali łącznie 1191 pytań, jakie pojawiły się na egzaminach certyfikacyjnych w latach 2013-2017. Usunięto tylko te zadania, których z przyczyn technicznych (np. zawierających obrazki) nie byłby w stanie rozwiązać. Autorzy podzielili je na różne kategorie, klasyfikując na podstawie stopnia złożoności, trudności oraz długości.
Wskaźnik poprawnych odpowiedzi, który uzyskał ChatGPT, mieścił się w przedziale od 47,5 proc. do 53,33 proc. Było to więc zdecydowanie za mało, aby zaliczyć egzamin. "We wszystkich sesjach wyniki ChatuGPT były znacznie gorsze od wyników egzaminowanych ludzi, których wyniki wahały się między 65,21 proc. a 71,95 proc" - zaznaczyli naukowcy z Collegium Medicum.
Wyniki sztucznej inteligencji wykazały znaczące różnice, w zależności od długości pytania. Chat najlepiej radził sobie z pytaniami najkrótszymi, następnie długimi, bardzo długimi, a na końcu krótkimi i tymi o średniej długości. Co ciekawe, u ludzi wyglądało to bardzo podobnie. Poprawność odpowiedzi ChatuGPT stopniowo spadała też wraz ze wzrostem trudności zadania.
Dodatkowo sprawdzono skuteczność AI w odpowiadaniu na pytania z poszczególnych dziedzin medycyny wewnętrznej. Okazało się, że najlepiej radził sobie tymi z zakresu alergologii (71,43 proc.), a następnie chorób zakaźnych (55,26 proc.), endokrynologii (54,64 proc.), nefrologii (53,51 proc.), reumatologii (52,83 proc.), hematologii (51,51 proc.), gastroenterologii (50,97 proc.), pulmonologii (46,71 proc.) i diabetologii (45,1 proc.), a najgorzej z kardiologią (43,72 proc.).
ChatGPT jest bardziej empatyczny niż lekarze?
Możliwości sztucznej inteligencji są jednak nadal mocno ograniczone i obecnie trudno jest jej konkurować z wiedzą fachową wyszkolonych pracowników ochrony zdrowia, zwłaszcza w dziedzinie chorób wewnętrznych. To jeden z wniosków autorów badania. "Ale nadal medycyna jest dziedziną, w której wykorzystanie modeli językowych może okazać się korzystne" - dodali.
Jako przykład podali empatyczne zachowanie ChatuGPT w stosunku do pacjentów. Niedawne badanie porównujące odpowiedzi lekarzy i chatbotów na zapytania medyczne zamieszczane na publicznych forach wykazało, że 79 proc. pacjentów uznało odpowiedzi udzielane przez AI za bardziej empatyczne i wszechstronne niż te oferowane przez ludzkich ekspertów.
"Bez wątpienia warto więc śledzić rozwój sztucznej inteligencji, zwłaszcza ChatuGPT, aby móc skorzystać z jej szybkiego postępu. Ale jest mało prawdopodobne, aby sztuczna inteligencja była w stanie w najbliższej przyszłości zastąpić pracowników ochrony zdrowia, szczególnie w dziedzinie chorób wewnętrznych; nawet najbardziej wyrafinowane algorytmy i technologie wspomagane przez sztuczną inteligencję nie są w stanie diagnozować i leczyć chorób bez udziału człowieka" - podsumowali naukowcy.
Badacze zaznaczyli też, że ich eksperyment miał kilka ograniczeń. Po pierwsze egzamin przeprowadzony był w języku polskim, a sam ChatGPT zaprojektowano po angielsku. Poza tym model ten podlega regularnym aktualizacjom, więc wersja zastosowana w badaniu nie była tą najnowszą w momencie publikacji.
Źródło: Radio ZET / PAP / portal.umk.pl / www.mp.pl/paim/issue/article/16608/
Byłeś świadkiem czegoś niespodziewanego? Masz temat, którym powinniśmy się zająć?
Zgłoś sprawę przez Czerwony telefon Radia ZET
