A multimodal generative AI copilot for human pathology

  Studiul prezintă PathChat, un asistent AI generativ multimodal conceput special pentru patologie. PathChat a fost construit prin adaptarea unui encoder vizual fundamental pentru patologie, combinându-l cu un model lingvistic mare pre-antrenat și perfecționând întregul sistem pe baza a peste 456.000 de instrucțiuni vizual-lingvistice diverse, constând din 999.202 perechi de întrebări și răspunsuri.   PathChat a fost comparat cu mai mulți asistenți AI multimodali vizual-lingvistici și cu GPT-4.   PathChat a atins performanțe de vârf la întrebările de diagnostic cu opțiuni multiple din cazuri și modele de boli diverse. Mai mult decât atât, folosind întrebări deschise și evaluări realizate de experți umani, s-a constatat că, în general, PathChat a produs răspunsuri mai precise și mai preferabile pentru patologi la diverse întrebări legate de patologie. Fiind un copilot AI interactiv de tip viziune-limbaj, capabil să gestioneze flexibil atât intrările vizuale, cât și pe ...