دراسة جديدة تكشف عن أداء نموذج o1-preview
أظهرت دراسة حديثة أُجريت بواسطة باحثين من كلية الطب بجامعة هارفارد وجامعة ستانفورد أن نموذج الذكاء الاصطناعي o1-preview من شركة OpenAI يتفوق على الأطباء في تشخيص الحالات الطبية المعقدة. حيث تم اختبار النموذج في سلسلة من التحديات التشخيصية، ليحقق نتائج استثنائية مقارنةً بالنماذج السابقة.
دقة تشخيص استثنائية للنموذج
حقق نموذج o1-preview دقة بلغت 78.3% في تشخيص الحالات الطبية المعقدة، وتفوق في مقارنة مباشرة شملت 70 حالة طبية، حيث سجل دقة قدرها 88.6%، متفوقًا بفارق كبير على نظام GPT-4 السابق الذي حقق دقة 72.9%.
أداء متميز في الاستدلال الطبي
أثبت النظام كفاءته العالية في الاستدلال الطبي، حيث حصل على درجات عالية في 78 من أصل 80 حالة وفق مقياس R-IDEA لتقييم الاستدلال الطبي. في المقابل، لم يتمكن الأطباء المتمرسون من تحقيق نفس الدرجات إلا في 28 حالة، بينما سجل الأطباء المقيمون درجات عالية في 16 حالة فقط.
كفاءة النموذج في التعامل مع الحالات الجديدة
على الرغم من أن بعض البيانات المستخدمة لتدريب النموذج قد تكون تضمنت حالات مشابهة لتلك التي اختبرت في الدراسة، إلا أن الأداء العالي للنموذج استمر حتى عندما تم اختباره على حالات جديدة، مع تراجع طفيف في الأداء.
الذكاء الاصطناعي في التعامل مع الحالات المعقدة
برز نموذج o1-preview بشكل خاص في التعامل مع الحالات الطبية المعقدة، التي تم تصميمها من قبل 25 متخصصًا لتكون تحديًا حقيقيًا للنموذج والأطباء. سجل النموذج 86% من النقاط في هذه الحالات، وهو ما يزيد عن ضعف النسبة التي حققها الأطباء باستخدام أدوات GPT-4 أو الأدوات التقليدية.
التحديات في تقدير الاحتمالات
رغم التفوق الكبير للنموذج في التشخيص وتقديم التوصيات العلاجية، أظهر بعض الصعوبات في تقدير الاحتمالات، مثل تقديره لاحتمال الإصابة بالالتهاب الرئوي بنسبة 70%، وهي نسبة أعلى من المعدلات العلمية المتعارف عليها.
إصدارات جديدة وتوجهات المستقبل
أعلنت OpenAI مؤخرًا عن إطلاق الإصدار الكامل من نموذج o1 بالإضافة إلى الإصدار الجديد o3، الذي يظهر تحسنًا كبيرًا في مهارات التفكير التحليلي. ورغم هذه التحسينات، هناك بعض الانتقادات للنموذج بسبب التكلفة المرتفعة للفحوصات التي يقترحها، مما يعوق تطبيقه في بيئات الرعاية الصحية الفعلية.
الحاجة لتطوير أساليب تقييم أفضل
حث الباحثون على تطوير أساليب تقييم أفضل لأنظمة الذكاء الاصطناعي في المجال الطبي، داعين إلى إجراء تجارب سريرية واقعية وتحسين البنية التحتية التقنية لتعزيز التعاون بين الأطباء والنماذج الذكية، بهدف تحقيق استخدام أكثر فعالية في بيئات الرعاية الصحية.
التوقعات المستقبلية في مجال الرعاية الصحية الذكية
حذر الدكتور آدم رودمان، أحد المشاركين في الدراسة، من المبالغة في التوقعات حول تطبيق الذكاء الاصطناعي في الطب، مؤكدًا أن هذه الدراسة توفر إطارًا معياريًا مهمًا لكنها لا تعكس تمامًا واقع الممارسة الطبية.
