Відомості про те, як вчені вивчають та перетворюють людські думки на текст, тепер не викликають захоплення, це стала реальність у найпрямішому сенсі. Новітня наукова розробка дозволяє перетворювати людські думки, що виникають у мозку, на текст, який можна побачити на екрані. Це значний крок вперед у сфері технології, що перекладає мозкові сигнали на слова. Цей метод є найбільш передовим, оскільки не вимагає ніяких імплантатів у мозку чи доступу до повноцінного апарату МРТ.
Остання сенсаційна технологія була розроблена фахівцями з Центру штучного інтелекту GrapheneX-UTS у Сіднейському технологічному університеті. Результати їх роботи були представлені на конференції NeurIPS, а сам препринт, який ще потребує рецензування, доступний на ArXiV.
Що відомо про цю новаторську розробку?
За висловами Чін-Тен Ліна, почесного професора Школи комп’ютерних наук UTS та директора GrapheneX-UTS HAI Centre, це дослідження стало піонером у перекладі сигналів електроенцефалографії (або просто ЕЕГ) безпосередньо на текст, що є значним проривом у цій галузі.
«Це перше дослідження, яке використовує методи дискретного кодування для перекладу «мозок-текст», що представляє інноваційний підхід до нейронального декодування. Інтеграція з великими мовними моделями також розширює горизонти в галузі нейронауки та штучного інтелекту», — роз’яснив Лін.
Під час експерименту учасники читали уривки тексту мовчки, а модель штучного інтелекту DeWave застосовувала їхні мозкові хвилі для відображення тексту на екрані з точністю від 40 до 60%.
Які переваги властиві цій програмі?
Дослідники відзначають кілька переваг розробки DeWave:
Це не потребує додаткових пристроїв (наприклад, програмного забезпечення для відстеження очей); користувачам просто потрібно носити «шапку», яка фіксує активність їхнього мозку за допомогою ЕЕГ. В порівнянні з іншими інтерфейсами «мозок-комп’ютер», які перетворюють думки в текст, цей метод не вимагає сканування МРТ або інвазивних процедур через ніс або череп для встановлення електродів.
Вимірювання точності за допомогою алгоритму BLEU — це спосіб оцінити схожість оригінального тексту з результатом машинного перекладу шляхом присвоєння йому оцінки від 0 до 1 — показує, що нова технологія має приблизно 0,4.
Хоча це менше, ніж у деяких інших пристроїв, що використовують більш інвазивні методи, таких як імплантація електродів, проте ця модель краще підбирає дієслова, ніж іменники.
«Що стосується іменників, ми помітили тенденцію до синонімічних пар, а не до точних перекладів, таких як «чоловік» замість «автор». Ми вважаємо, що ці помилки виникають тому, що коли мозок обробляє ці слова, семантично схожі слова можуть створювати схожі шаблони мозкових хвиль», — пояснив перший автор статті, що супроводжує дослідження, Іцюнь Дуань.
Однак дослідники вважають, що можуть покращити цю точність до 0,9 — рівень, порівняний із традиційними програмами перекладу мов.
Вони також вважають, що вже мають перевагу завдяки проведенню тестів на 29 учасниках — це може здатися не так багато, але це на порядок більше, ніж у багатьох інших випробувань технологій декодування.
Яке практичне застосування нової технології?
Ця передова програма може допомогти людям, які не можуть говорити через захворювання або травму, а також надати можливість безпосередньо взаємодіяти з машинами.
