KECERDASAN BUATAN

Inovasi AI yang mampu terjemahkan pikiran jadi ucapan

Ilustrasi 3D dari gelombang otak
Ilustrasi 3D dari gelombang otak | Illustration Forest /Shutterstock

Para ilmuwan di Columbia University, Amerika Serikat, telah mengembangkan mesin berteknologi tinggi yang diklaim mampu mengubah pikiran menjadi ucapan.

Memanfaatkan keunggulan kecerdasan buatan (AI), inovasi ini mampu menerjemahkan sinyal otak menjadi ucapan yang dapat dipahami.

Ketika orang berbicara atau mengucap dalam hati, pola aktivitas yang terukur muncul di otak.

Pola aktivitas otak yang sama muncul ketika orang mendengarkan atau membayangkan sejumlah percakapan.

Selama beberapa dekade, para ilmuwan telah mencoba memecahkan kode pola aktivitas seperti itu di otak manusia dan mengubahnya menjadi kata-kata yang dapat dikenali. Namun, untuk mencapai tujuan tersebut terbukti tidak mudah.

"Suara membantu menghubungkan kita dengan teman, keluarga, dan dunia di sekitar, itulah sebabnya kehilangan kekuatan suara karena cedera atau penyakit terasa begitu menyedihkan," kata Nima Mesgarani, associate professor teknik elektro di Columbia University, sekaligus pemimpin tim peneliti.

Ahli neural engineering menghadapi tantangan besar ketika meneliti potensi komunikasi otak-komputer. Terutama bagaimana menerjemahkan beragam sinyal yang dihasilkan oleh otak ke dalam gambar dan kata-kata yang menghasilkan komunikasi.

Kemajuan teknologi pembelajaran mesin telah membuka pintu untuk penghitungan data abstrak. Seperti tahun lalu, tim peneliti Kanada menciptakan sebuah algoritma dengan potensi untuk memanfaatkan data electroencephalography (EEG) untuk secara digital membuat ulang wajah-wajah yang menjadi subjek uji.

Untuk studi terbaru ini, para ilmuwan mengumpulkan data dengan mempelajari lima pasien yang menjalani bedah saraf atas penyakit epilepsi. Ketimbang secara langsung melacak pemikiran untuk menghasilkan ucapan, para peneliti mencatat pola neurologis yang dihasilkan oleh subjek tes yang mendengarkan orang lain berbicara.

Pasien ditanamkan banyak elektroda ke otak mereka yang memungkinkan para peneliti untuk merekam pengukuran elektrokortikografi (ECoG) komprehensif ketika pasien mendengarkan cerita pendek. Hanya 30 menit rekaman dapat dilakukan pada satu waktu karena sifat invasif operasi otak.

Pasien epilepsi dipilih untuk penelitian karena mereka sering harus menjalani operasi otak. Mesgarani mengatakan, ia bekerja dengan Ashesh Dinesh Mehta, seorang ahli bedah saraf, yang melakukan prosedur tersebut.

“Kami meminta pasien epilepsi yang sudah menjalani operasi otak untuk mendengarkan kalimat yang diucapkan oleh orang yang berbeda, sementara kami mengukur pola aktivitas otak. Pola saraf ini melatih vocoder. ”

Vocoder adalah algoritma komputer yang digunakan untuk menerjemahkan pola rekaman menjadi kata-kata.

Menurut para peneliti, algoritma komputer ini mirip dengan algoritma yang digunakan dalam asisten pintar seperti Apple Siri dan Amazon Echo. Selain itu, juga dapat dilatih mengenai rekaman suara guna mensintesis ucapan.

Pada akhirnya, kata-kata yang dihasilkan oleh vocoder diubah menjadi ucapan melalui sistem suara robot.

Para pasien mendengarkan, misalnya, pembicara yang membaca angka dari nol hingga sembilan. Pola otak mereka kemudian dimasukkan ke dalam vocoder yang memiliki AI menghasilkan percakapan yang disintesis.

Hasilnya pun terdengar seperti suara robot, tetapi cukup dapat dipahami. Dalam tes, pendengar dapat mengidentifikasi dengan benar angka yang diucapkan sekitar 75 persen dari setiap kesempatan. Mereka bahkan bisa mengetahui apakah penuturnya laki-laki atau perempuan.

Mesgarani menjelaskan, hasilnya jauh di atas dan di luar upaya sebelumnya. "Vocoder yang sensitif dan jaringan saraf yang kuat mewakili suara-suara yang sebelumnya didengarkan pasien dengan akurasi yang mengejutkan."

Tim ilmuwan berencana untuk melihat apakah mereka dapat mereplikasi studi sambil meminta seseorang berbicara atau berpikir tentang berbicara tanpa perlu melibatkan proses mendengarkan.

Pada akhirnya, tim berharap sistem ini dapat menjadi bagian dari implan yang menerjemahkan pikiran pemakai secara langsung ke dalam kata-kata.

“Dalam skenario ini, jika pemakainya berpikir 'Saya butuh segelas air’, sistem kami dapat mengambil sinyal otak yang dihasilkan oleh pikiran itu, dan mengubahnya menjadi ucapan verbal yang disintesis,” jelas Mesgarani.

"Ini akan menjadi pengubah permainan. Teknologi ini akan memberi siapa pun yang kehilangan kemampuan untuk berbicara, apakah karena cedera atau penyakit, kesempatan baru untuk terhubung ke dunia di sekitar mereka.”

Sebuah makalah tentang penelitian telah diterbitkan dalam jurnal Scientific Reports.

BACA JUGA
Tanya Loper Tanya LOPER
Artikel terkait: SPONSOR