Dünyada ilk: Felçli kadın dijital avatar aracılığıyla 'konuşabildi'

San Francisco Kaliforniya Üniversitesi’nde yürütülen çalışmalar sonucu ağır felçli bir kadın, beyin sinyallerini konuşmaya ve yüz ifadelerine dönüştüren teknoloji sayesinde bir avatar aracılığıyla konuşabildi.

San Francisco Kaliforniya Üniversitesi’nde (UCSF) beyin-bilgisayar arayüzlerinin (BCI'ler), felç ve amyotrofik lateral skleroz (ALS) gibi durumlar nedeniyle konuşma yeteneğini kaybeden insanların hayatlarını dönüştürmesinde çalışmalar yürütülüyor.

Çalışmalar kapsamında konuşma ve yüz hareketlerini kontrol eden kısmındaki elektriksel aktiviteyi tespit etmek için beynin yüzeyine yerleştirilen küçük elektrotları kullanılıyor.

Bu sinyaller doğrudan dijital avatarın konuşmasına ve gülümseme, kaşlarını çatma veya şaşkınlık gibi yüz ifadelerine dönüştürülüyor.

“AMACIMIZ SOMUT İLETİŞİM BİÇİMİNİ OLUŞTURMAK”

Üniversitede çalışmayı yöneten Profesör Edward Chang, "Amacımız, başkalarıyla konuşmanın gerçekten en doğal yolu olan tam ve somut bir iletişim biçimini yeniden oluşturmak. Bu gelişmeler bizi bunu hastalar için gerçek bir çözüm haline getirmeye daha da yaklaştırıyor" dedi.

Ann adında 47 yaşındaki bir kadın olan hasta, 18 yıldan fazla bir süre önce beyin sapı felci geçirdiğinden beri ciddi şekilde felç oldu.

Konuşamıyor veya yazamıyor ve normalde dakikada 14 kelimeye kadar harfleri yavaşça seçmesine olanak tanıyan hareket izleme teknolojisini kullanarak iletişim kuruyor.

Avatar teknolojisinin gelecekte danışman olarak çalışmasına olanak sağlayacağını umuyor.

Ekip, Ann'in beyninin konuşma için kritik olan bölgesine 253 elektrottan oluşan kağıt inceliğinde bir dikdörtgen yerleştirdi.

İmplantasyondan sonra Ann, sistemin yapay zeka algoritmasını eğitmek üzere farklı cümleleri tekrar tekrar söyledi.

Bilgisayar 39 farklı sesi öğrendi ve sinyalleri anlaşılır cümlelere çevirmek için Chat GPT tarzı bir dil modeli kullanıldı.

Bu daha sonra, Ann'in düğününde yaptığı konuşmanın bir kaydına dayanarak, Ann'in yaralanmadan önceki sesine benzeyecek şekilde kişiselleştirilmiş bir sese sahip bir avatarı kontrol etmek için kullanıldı.