ترجمه سیگنال‌های مغز به گفتار

پژوهشگران "مؤسسه زوکرمن" (The Zuckerman Institute) در نیویورک و "دانشگاه کالیفرنیا" (Columbia University) در مطالعه‌ای به سرپرستی دکتر "نیما مسگرانی" پژوهشگر ایرانی موفق طراحی و توسعه یک سیستم کامپیوتری پیشرفته شده اند که سیستم مذکور قادر است سیگنال‌های مغز را به گفتار قابل فهم ترجمه کند.

مهندسان مغز و اعصاب مدت‌ها بود در فکر توسعه چنین دستگاهی بودند و برای آن تلاش می‌کردند. آن‌ها در فکر توسعه سیستمی بودند که توسط آن بتوانند سیگنال‌های تولید شده توسط مغز را به کلمات و تصاویر تبدیل کنند. در ابتدا این ایده یک ایده علمی تخیلی محسوب می‌شد، اما اکنون با تلاش پژهشگران این رؤیا تحقق یافت.

در این مطالعه یک تیم از مهندسان مغز و اعصاب آمریکایی به سرپرستی پژوهشگر ایرانی، یک الگوریتم رایانه‌ای را توسعه دادند که این الگوریتم می‌تواند سیگنال‌های ضبط شده از قشر شنوایی انسان را رمزگشایی کند و آن‌ها را به گفتار قابل فهم تبدیل کند.

در این مطالعه پوهشگران داده‌های پنج بیمار را در حالی که آن‌ها تحت عمل جراحی مغز و اعصاب برای صرع قرار گرفته بودند، جمع آوری نمودند.

الکترود‌های مختلفی درون مغز این بیماران ایمپلنت شده بود و این دانشمندان را قادر می‌ساخت تا در حالیکه بیماران به داستان‌های کوتاه که توسط چهار فرد مختلف گفته می‌شد، گوش می‌دادند، داده‌های الکتروکورتیکوگرافی جامعی را ثبت کند.

"نیما مسگرانی" نویسنده ارشد این مطالعه گفت: با همکاری "دکتر مهتا" (Dr. Mehta)، جراحی مغز و اعصاب انجام این روش از بیماران صرعی که قبلاً تحت عمل جراحی مغز قرار گرفته بودند درخواست کردیم تا به جملاتی که توسط افراد مختلف گفته می‌شوند، گوش دهند و در همان زمان نیز ما الگو‌های فعالیت مغز آن‌ها را اندازه گرفتیم.

مسگرانی افزود: ما متوجه شدیم که افراد می‌توانند صدا‌ها را در حدود ۷۵ درصد از موارد، فهمیده و درک کنند. این "دستگاه تبدیل سخن به امواج و بالعکس" (vocoder) حساس و شبکه‌های عصبی قدرتمند نشان دهنده صدایی بود که بیماران در ابتدا با دقت شگفت‌آور گوش دادند.

گام بعدی برای مسگرانی و تیم او، اصلاح الگوریتم‌ها است تا ببینند می‌توانند کلمات و جملات پیچیده‌تر را نیز رمزگشایی کند یا خیر.

یافته‌های این مطالعه در مجله "Scientific Reports" منتشر شد.