نرم افزار تشخیص گفتار از روی حرکات لب طراحی شد
نرم افزار تشخیص گفتار از روی حرکات لب توسط فارغ التحصیلان کارشناسی ارشد دانشکده مهندسی پزشکی دانشگاه صنعتی امیر کبیر طراحی شد.
به گزارش خبرگزاری مهر، رضا شالباف - مجری طرح، کاربرد سامانه های لب خوانی رایانه ای را در تشخیص فرامین ناتوانان گفتاری، تشخیص برخی کلمات خاص، مکمل بازشناسی گفتار صوتی و همچنین کاربردهای نظامی و اطلاعاتی و حفاظتی ذکر کرد.
این محقق گفت : فرآیند بازشناسی تصویری گفتار شامل دو مرحله استخراج ویژگی از دنباله تصاویر لب و طبقه بندی ویِژگی های بدست آمده است.
وی افزود : ویژگی های گفتاری تصویر حرکات لب این افراد که دارای رنگ پوست و ظاهر متفاوتی بودند به کمک طراحی یک الگوریتم جدید استخراج شده و در مرحله بعد با استفاده از الگوریتم مدل مخفی مارکوف، حرکات و گفتار تصویری تشخیص داده شد.
شالباف افزود: این نرم افزار به معلولینی کمک می کند که دچار آسیب در سیستم صوتی بوده و قادر به برقراری ارتباط با دیگران نیستند. این افراد معمولا توانایی انجام صحیح حرکات لب به شکلی که برای تکلم لازم است را داشته و در حالت ایده آل می توان با انجام لب خوانی به مقصود آنها پی برد.
مجری طرح اضافه کرد: بهره گیری از اطلاعات تصویری از شکل های لب و حرکات آن، دقت و اطمینان سیستم های تشخیص اتوماتیک گفتار صوتی را خصوصا در محیط های نویزی بطور قابل توجهی بهبود می دهد.
این فارغ التحصیل دانشگاه امیر کبیر خاطرنشان کرد: در کاربرد حفاظتی، این سامانه می تواند با بهره گیری از حرکات لب و بدون ثبت سیگنال صوتی، کلمات خاصی را شناسایی و تصویر گوینده آن را در مراکز عمومی و محل های تردد ثبت کند.
وی گفت : آزمایش این نرم افزار بر روی مجموعه دادگان جمع آوری شده شامل 20 نفر زن و مرد بین سنین 20 تا 50 سال صورت گرفته و روی 6 واژه گفتاری 1، 2،3،4،5،6با 91 درصد موفقیت، بازشناسی گفتار انجام شده است.
شالیباف گفت: این پژوهش ها در مراحل تکمیلی می توانند با افزایش تعداد کلمات قابل شناسایی، محدوده تشخیص را هر چه بیشتر افزایش دهند.
مجری طرح افزود: این نرم افزار به معلولینی که از صندلی چرخدار استفاده می کنند و فقط توانایی انجام صحیح حرکات لبشان را دارند کمک می کند. بدین ترتیب که با کمک دوربین فیلمبرداری، حرکات لب آنها ثبت می شود و پس از آنالیز، فرامین لازم به ویلچر داده می شود.
منبع : " خبرگزاری مهر "
