نظام DLLM-VSR يحول حركات الشفاه إلى كلمات مكتوبة
يحمل النظام الجديد اسم «DLLM-VSR»، ويعتمد على تحليل مقاطع الفيديو ورصد حركة الشفاه لاستنتاج الكلمات التي ينطق بها الأشخاص، حتى في غياب الصوت.
ووفقًا للإعلان الرسمي للمعهد، حقق النظام معدل خطأ في التعرف على الكلمات بلغ 19.4% خلال اختباره على أحد المعايير القياسية المتخصصة في تقنيات قراءة الشفاه، مسجلًا رقمًا قياسيًا جديدًا بين الأنظمة التي دُربت باستخدام مجموعة البيانات المصنفة نفسها.
وتكمن أهمية هذا التطور في قدرة النظام على التعامل مع الكلمات التي تتشابه حركات نطقها، وهي إحدى أبرز العقبات التي تواجه تقنيات قراءة الشفاه، إذ يصعب أحيانًا التمييز بصريًا بين بعض الحروف التي تنتج حركات متقاربة للشفاه.
كيف يستطيع الذكاء الاصطناعي قراءة الشفاه دون صوت؟
تعتمد تقنيات التعرف التقليدية على الكلام غالبًا على تحليل الكلمات بصورة متتابعة، من بداية الجملة إلى نهايتها، لكن هذه الطريقة قد تؤدي إلى تراكم الأخطاء، إذ يمكن أن يؤثر سوء التعرف على كلمة واحدة في تفسير بقية الجملة.
وللتغلب على هذه المشكلة، استخدم الباحثون نموذجًا لغويًا كبيرًا قائمًا على تقنية الانتشار، يُعرف باسم «Diffusion Large Language Model»، ويتيح للنظام تحليل أجزاء الجملة والاستفادة من الكلمات الأكثر وضوحًا لاستنتاج الأجزاء غير المكتملة.
وبدلًا من معالجة الكلمات بالترتيب التقليدي، يبدأ النظام بتحديد المقاطع التي يتمكن من قراءتها بثقة أكبر، ثم يستعين بالسياق السابق واللاحق لاستكمال الكلمات الغامضة تدريجيًا.
كما يختبر النظام أطوالًا محتملة مختلفة للجملة وفقًا لمدة مقطع الفيديو، وينشئ عدة احتمالات للنص قبل اختيار النتيجة الأكثر ترجيحًا.
دقة التعرف على الكلمات تصل إلى 80.6%
وأظهرت نتائج الاختبارات أن النظام حقق معدل خطأ بلغ 19.4% على معيار «LRS3»، بالاعتماد على مجموعة من مقاطع الفيديو المصنفة يبلغ إجمالي مدتها 433 ساعة.
ويعني ذلك أن معدل التعرف الصحيح على الكلمات يقترب من 80.6% وفقًا لمقياس الخطأ المستخدم، مع الإشارة إلى أن هذا المؤشر لا يمثل نسبة المحادثات التي فهمها النظام بالكامل، بل يقيس الأخطاء والكلمات المحذوفة أو المضافة أثناء تحويل الكلام إلى نص.
استخدامات واعدة لدعم ذوي الإعاقة السمعية
وتتجاوز التطبيقات المحتملة لهذه التقنية مجرد فهم المحادثات في الأماكن المزدحمة أو المطاعم التي ترتفع فيها مستويات الضوضاء، إذ يمكن توظيفها في البيئات الصناعية التي تجعل أصوات المعدات والآلات التواصل الصوتي أمرًا صعبًا.
كما تفتح المجال أمام تطوير أجهزة مساعدة للأشخاص الذين يعانون من الصمم وضعف السمع، من خلال تحويل حركات الشفاه إلى نصوص مكتوبة تساعدهم على متابعة المحادثات والتفاعل مع الآخرين.
ويعمل الباحثون حاليًا على تقليل المتطلبات الحاسوبية للنظام، تمهيدًا لتشغيله مستقبلًا في الوقت الفعلي عبر الأجهزة القابلة للارتداء والروبوتات، دون الحاجة إلى اتصال بالإنترنت.
مخاوف الخصوصية تحد من انتشار التقنية
ورغم الإمكانات الواعدة، لا تزال التقنية بحاجة إلى مزيد من التطوير قبل استخدامها على نطاق واسع، خاصة أن كفاءتها قد تختلف باختلاف ظروف التصوير ومجموعات البيانات المستخدمة في الاختبارات.
وتبرز أيضًا مخاوف تتعلق بالخصوصية، إذ يمكن لهذه الأنظمة استنتاج محتوى المحادثات من تسجيلات الفيديو الصامتة، حتى في حالة عدم وجود تسجيل صوتي، وهو ما يطرح تساؤلات بشأن ضوابط استخدام هذه التكنولوجيا وحماية خصوصية الأفراد.




