غوبالا أنومانشيبالي ، دكتوراه ، يحمل مجموعة من الأمثلة على الأقطاب داخل الجمجمة من النوع المستخدم لتسجيل نشاط الدماغ في الدراسة الحالية.يمكن لواجهة من أحدث ما توصلت إليه آلة الدماغ التي أنشأها علماء الأعصاب في جامعة كاليفورنيا سان فرانسيسكو، أن تولِّد خطابًا اصطناعيًا طبيعيًا عن طريق استخدام نشاط الدماغ للتحكم في المسالك الصوتية الافتراضية – محاكاة كمبيوتر مفصلة تشريحيًا تشمل الشفاه والفك واللسان ، والحنجرة. وقد أجريت الدراسة على المشاركين في الأبحاث باستخدام النطق السليم ، ولكن التكنولوجيا يمكن أن تستعيد يومًا ما أصوات الأشخاص الذين فقدوا القدرة على الكلام بسبب الشلل وغيره من أشكال الضرر العصبي.السكتة الدماغية ، وإصابات الدماغ المؤلمة ، وأمراض التنكس العصبي مثل مرض الشلل الرعاش ، والتصلب المتعدد ، والتصلب الجانبي الضموري (ALS ، أو مرض لو جيريج) غالبا ما تؤدي إلى فقدان لا رجعة فيه من القدرة على الكلام. يتعلم بعض الأشخاص الذين يعانون من إعاقات شديدة في النطق توضيح أفكارهم حرفًا تلو الآخر باستخدام أجهزة مساعدة تتبع حركات عضلات الوجه أو العين الصغيرة جدًا. ومع ذلك ، فإن إنتاج نص أو خطاب مركب باستخدام هذه الأجهزة هو أمر شاق ، ومعرض للخطأ ، وبطيء بشكل مؤلم ، ويسمح عادة بحد أقصى 10 كلمات في الدقيقة ، مقارنةً بكلمات 100-150 في الدقيقة من الكلام الطبيعي.يوضح النظام الجديد الذي يتم تطويره في مختبر إدوارد تشانج ، MD – الموصوف في 24 أبريل 2019 في Nature – أنه من الممكن إنشاء نسخة مركبة من صوت الشخص يمكن التحكم فيها من خلال نشاط مراكز النطق في الدماغ. . يقول المؤلفون إنه في المستقبل ، لا يمكن لهذا النهج أن يعيد التواصل بطلاقة للأفراد الذين يعانون من إعاقة شديدة في النطق ، ولكن يمكن أيضًا أن يعيد إنتاج بعض الصوت الموسيقي للصوت البشري الذي ينقل مشاعر المتحدث وشخصيته.وقال تشانغ ، أستاذ جراحة الأعصاب وعضو معهد UCSF Weill للعلوم العصبية: “لأول مرة ، تُظهر هذه الدراسة أنه يمكننا إنشاء جمل منطوقة كاملة بناءً على نشاط الدماغ الفرد”. “هذا دليل مبهج من حيث المبدأ أنه مع التكنولوجيا التي هي بالفعل في متناول اليد ، يجب أن نكون قادرين على بناء جهاز قادر على إبقاء سريريًا المرضى الذين يعانون من فقدان الكلام”.المسالك الصوتية الافتراضية يحسن تركيب الكلام الطبيعي.قاد البحث جوبالا أنومانشيبالي ، دكتوراه ،و عالم الكلام ، وجوش شارتييه ، طالب دراسات عليا في الهندسة الحيوية في مختبر تشانغ.
إنه مبني على دراسة حديثة وصف فيها الزوج لأول مرة كيف يقوم خطاب الدماغ البشري بتصميم حركات الشفتين والفك واللسان ومكونات المسالك الصوتية الأخرى لإنتاج الكلام بطلاقة.
من هذا العمل ، أدرك Anumanchipalli و Chartier أن المحاولات السابقة لفك تشفير الكلام مباشرة من نشاط الدماغ قد حققت نجاحًا محدودًا لأن مناطق الدماغ هذه لا تمثل بشكل مباشر الخواص الصوتية لأصوات الكلام ، بل الإرشادات اللازمة لتنسيق حركات الفم والحلق أثناء الكلام.
وقال أنومانشيبالي “العلاقة بين حركات المسالك الصوتية وأصوات الكلام التي يتم إنتاجها علاقة معقدة”. “لقد فكرنا أنه إذا كانت مراكز الكلام هذه في الدماغ تقوم بترميز الحركات بدلاً من الأصوات ، فعلينا أن نحاول القيام بنفس الشيء في فك رموز تلك الإشارات.”
في دراستهم الجديدة ، طلب Anumancipali و Chartier من خمسة متطوعين يعالجون في مركز UCSF للصرع – المرضى الذين يعانون من خطاب سليم والذين زرعت أقطاب كهربائية مؤقتًا في أدمغتهم لرسم خريطة لمصادر نوباتهم استعدادًا لجراحة الأعصاب – لقراءة عدة جمل بصوت عال بينما سجل الباحثون نشاطًا من منطقة دماغية يُعرف أنها تشارك في إنتاج اللغة.
استنادًا إلى التسجيلات الصوتية لأصوات المشاركين ، استخدم الباحثون المبادئ اللغوية لعكس هندسة حركات المسالك الصوتية اللازمة لإنتاج تلك الأصوات: الضغط على الشفاه معًا هنا ، وتشديد الحبال الصوتية هناك ، وتحويل طرف اللسان إلى سقف الفم ، ثم الاسترخاء ، وهلم جرا.
تسمح هذه الخرائط التفصيلية للصوت للعلماء بإنشاء قناة صوتية واقعية لكل مشارك يمكن التحكم فيها من خلال نشاط الدماغ.الشبكة العصبية “خوارزميات التعلم الآلي: وحدة فك ترميز تقوم بتحويل أنماط نشاط الدماغ التي يتم إنتاجها أثناء الكلام إلى حركات في القناة الصوتية الافتراضية ، ومزيج يحول هذه الحركات الصوتية إلى تقريب اصطناعي لصوت المشارك.
ووجد الباحثون أن الخطاب الصناعي الذي أنتجته هذه الخوارزميات كان أفضل بكثير من الكلام الصناعي الذي تم فك تشفيره مباشرة من نشاط الدماغ لدى المشاركين دون تضمين محاكاة للأجهزة الصوتية للمتحدثين. أنتجت الخوارزميات جملًا مفهومة لمئات المستمعين من البشر في اختبارات النسخ الجماعية التي أجريت على منصة Amazon Mechanical Turk.
كما هو الحال في الكلام الطبيعي ، كان الناسخون أكثر نجاحًا عندما تم إعطاؤهم قوائم أقصر من الكلمات للاختيار من بينها ، كما هو الحال مع مقدمي الرعاية الذين يستعدون لأنواع العبارات أو الطلبات التي قد ينطقها المرضى. حددت الناسخات بدقة 69 في المئة من الكلمات المركبة من قوائم من 25 بدائل ونسخ 43 في المئة من الجمل بدقة كاملة. مع وجود 50 كلمة أكثر تحديا للاختيار من بينها ، انخفضت دقة النسخ الإجمالية إلى 47 في المائة ، على الرغم من أنهم ما زالوا قادرين على فهم 21 في المائة من الجمل المركبة بشكل مثالي.
“لا يزال لدينا طرق للذهاب إلى تقليد اللغة المنطوقة تماما” ، اعترف Chartier. “نحن جيدون جدًا في تجميع أصوات أبطأ مثل” sh “و” z “وكذلك الحفاظ على إيقاعات الكلام وتعبيراته وجنس المتحدث وهويته ، ولكن بعض الأصوات المفاجئة مثل” b “و” p ” غامض بعض الشيء. ومع ذلك ، فإن مستويات الدقة التي أنتجناها هنا ستكون بمثابة تحسن مذهل في التواصل في الوقت الفعلي مقارنة بما هو متوفر حاليًا. ”
الذكاء الاصطناعي واللغويات وعلم الأعصاب تغذي مقدما
يقوم الباحثون حاليًا بتجربة صفيف إلكترود عالي الكثافة وخوارزميات تعلم آلية أكثر تطوراً يأملون في تحسين الخطاب المركب بدرجة أكبر. الاختبار الرئيسي التالي للتكنولوجيا هو تحديد ما إذا كان الشخص الذي لا يستطيع التحدث يمكن أن يتعلم استخدام النظام دون أن يتمكن من تدريبه على صوته وجعله يعمم على أي شيء يرغب في قوله.
تشير النتائج الأولية لأحد المشاركين في الفريق إلى أن النظام القائم على التشريحية للباحثين يمكنه فك شفرة وتوليف الجمل الجديدة من نشاط الدماغ للمشاركين تقريبًا وكذلك الجمل التي تم تدريب الخوارزمية عليها. حتى عندما قام الباحثون بتزويد الخوارزمية ببيانات نشاط الدماغ المسجلة بينما كان أحد المشاركين يتكلم فقط عن جمل دون صوت ، كان النظام لا يزال قادرًا على إنتاج نسخ تركيبية واضحة للجمل المقلدة في صوت المتحدث.
ووجد الباحثون أيضًا أن الشفرة العصبية للحركات الصوتية تتداخل جزئيًا عبر المشاركين ، وأنه يمكن تكييف محاكاة القناة الصوتية لموضوع البحث للرد على الإرشادات العصبية المسجلة من دماغ مشارك آخر. تشير هذه النتائج مجتمعة إلى أن الأفراد الذين يعانون من فقد الكلام بسبب ضعف الجهاز العصبي قد يكونون قادرين على تعلم التحكم في خطاب بديل على غرار صوت شخص مصاب بالكلام السليم.
وقال شارتييه “الناس الذين لا يستطيعون تحريك أذرعهم وأرجلهم تعلموا التحكم في الأطراف الآلية بأدمغتهم”. “نأمل أن يتمكن الأشخاص الذين يعانون من إعاقة في النطق في يوم من الأيام من تعلم التحدث مرة أخرى باستخدام هذا الجهاز الصوتي الاصطناعي الذي يتحكم فيه الدماغ”.
وأضاف أنومانشيبالي ، “أنا فخور بأننا تمكنا من الجمع بين الخبرات من علم الأعصاب واللغويات والتعلم الآلي كجزء من هذا المعلم الرئيسي نحو مساعدة المرضى المعوقين عصبيًا.”
الصورة أعلاه هي لجوبالا أنومانشيبالي ، دكتوراه ، يحمل مجموعة من الأمثلة على الأقطاب داخل الجمجمة من النوع المستخدم لتسجيل نشاط الدماغ في الدراسة الحالية.
تاريخ الخبر : 24 أبريل 2019
المصدر : جامعة كاليفورنيا – سان فرانسيسكو.
