BEYİNDEKİ SİNYALLERİ SESE DÖNÜŞTÜREN CİHAZ GELİŞTİRİLDİ

Bilim adamları beyindeki sinyalleri yorumlayan ve onları anlaşılır, sentezlenmiş bir konuşmaya dönüştüren bir implant geliştirdiler. Bu yenilikçi teknoloji parçası bir gün başkalarıyla iletişim kuramayan insanlara ses verebilir.

Çocuklarının hikayelerinden pasajlar okuyan beş gönüllü üzerinde modellerini eğiten San Francisco'daki Kaliforniya Üniversitesi'nden araştırmacıların eseridir. Öykü anlatımı sırasında beyin gerilimlerini ölçmek için elektrotlar kullanıldı ve bu kalıplar daha sonra konuşma ile eşleştirildi. Bu özel yaklaşımın en önemli kısmı, düşünceleri okumaya çalışmak yerine, beynin dudakları, çeneyi ve gırtlakları kontrol etme çabalarını okumayı amaçlamasıdır. Konuşma kabiliyetini yitirmiş insanlar bile, kelimeler üretmek için ağızlarını oluşturmayı düşünebilirler ve bu yeni cihazın yakaladığı sinyal budur. Sistem şu anda mükemmel olmaktan uzak olsa da - kelimelerin ortalama yüzde 69'unun uygun bir şekilde anlaşılması, seçilmesi gereken 25 seçenek göz önüne alındığında - ses yolunu simüle etmeye odaklanmanın doğrulukta önemli bir adım attığını belirtti.

Lider araştırmacı Gopala Anumanchipalli, "Ses kanalının hareketleri ile üretilen konuşma sesleri arasındaki ilişki karmaşıktır" diyor. “Beyindeki bu konuşma merkezleri seslerden ziyade hareketleri kodlarsa, bu sinyalleri deşifre etmek için aynı şeyi yapmamız gerektiğini düşündük.”

Anumanchipalli ve meslektaşlarının beraberinde getirdiği iki sinir ağı: Biri beyin sinyallerini ses kanalının hareketleriyle eşleştirmek, diğeri ise bu hareketleri sentezlenmiş konuşmaya dönüştürmek için.

Beyin kalıplarını anlaşılır seslere dönüştürmek için önceki girişimlerde olduğu gibi, kısa kelimeler ve basit cümleler en iyi sonucu verir. Cümleler daha da karmaşıklaştıkça, yeni sentezlenen tercüman pek de iyi çalışmıyor - yine de etkileyici bir ilerleme gösterse de.

İzleme için daha yüksek yoğunluklu elektrot dizileri ve sistemin kendisinde daha karmaşık makine öğrenme algoritmaları çevirilerin doğruluğunu artırabilir. Cesaret verici bir şekilde, yeni implant, eğitim verilerine dahil edilmemiş cümleleri anlayabilmenin işaretlerini gösterdi. Üstelik, bilim adamları, araştırmadaki farklı katılımcıların örüntüleri arasında bir miktar çakışma olduğunu fark ettiler. Takımın bir diğer üyesi Josh Chartier, “Hala konuşulan dili mükemmel şekilde taklit etmenin bir yolunu buluyoruz” diyor. “'Sh' ve 'z' gibi daha yavaş konuşma seslerini sentezlemenin yanı sıra konuşmanın ritimlerini ve tonlamalarını ve konuşmacının cinsiyeti ve kimliğini koruduğumuzda oldukça iyiyiz, ancak 'b' ve 'p's' biraz bulanık." diyor ve ekliyor: “Yine de, burada ürettiğimiz doğruluk seviyeleri, gerçek zamanlı iletişimde şu anda mevcut olana kıyasla inanılmaz bir gelişme olacaktır.”

Bunun gibi bir implant cihazının, konuşma yeteneğini kaybetmiş olanlara yapay olarak oluşturulmuş bir ses vermeye hazır olması biraz zaman alabilir, ancak bu çok cesaret verici bir buluş.

Nature dergisinde bununla ilgili bir makale yayınlandı. Oluşturulan seslerin bir kısmını aşağıdaki linkten veya videodan izleyebilirsiniz.

https://www.youtube.com/watch?v=3pv0vT82Cys