Стартап из Сан-Франциско последние шесть месяцев занимался одним из самых необычных проектов в сфере ИИ. Компания Conduit заявила, что собрала около 10 000 часов неинвазивных нейронных данных от «тысяч уникальных людей» в подвальной студии, сформировав, по её мнению, крупнейший на сегодняшний день нейролингвистический набор данных. Компания использует эти записи для обучения ИИ-моделей, преобразующих мысли в текст, которые пытаются расшифровать семантическое содержание активности мозга за несколько секунд до того, как участник заговорит или начнет печатать.
Участники проводят двухчасовые сеансы в небольших кабинах и свободно общаются с большой языковой моделью (LLM) посредством речи или печатая на «упрощенных» клавиатурах. На ранних этапах использовались строгие задания, но затем Conduit перешла к персонализированным диалогам, заметив, что вовлеченность сильно влияет на качество данных. Цель — максимизировать объем естественного языка, произведенного во время каждой записи, сохраняя при этом точное временное соответствие между текстом, аудио и нейронными сигналами.
Conduit самостоятельно разработала оборудование, поскольку ни один коммерческий мультимодальный гарнитур не соответствовал её требованиям. Команда объединила лучшие в своем классе ЭЭГ, фНИРС и другие датчики в изготовленные на заказ 3D-печатные корпуса, создав отдельные конструкции для обучения и инференса. Тренировочные гарнитуры представляют собой плотные, тяжелые (около 1,8 кг) устройства, предназначенные для максимального охвата сигналов, в то время как гарнитуры для инференса будут оптимизированы после созревания моделей на основе исследований по абляции. Все данные теперь обрабатываются в формате Zarr 3, который объединяет входные данные от нескольких типов датчиков в единую структуру.
Изначально компания рассматривала электрические помехи как основную угрозу качеству данных. Сотрудники оборачивали оборудование резиной, экспериментировали с сетевыми фильтрами и в конечном итоге полностью отключали основное питание, полагаясь на аккумуляторные батареи для устранения 60-герцового всплеска, типичного для записей ЭЭГ. Такой подход создал свои проблемы, включая потерю кадров и постоянную замену тяжелых батарей, но позже Conduit восстановила нормальное питание, обнаружив, что масштаб изменил компромиссы. Как только набор данных превысил примерно 4000–5000 часов, модель начала обобщать данные между людьми, кабинами и настройками, снижая ценность агрессивного шумоподавления.
Эксплуатационные расходы снизились по мере масштабирования процесса. Conduit сократила себестоимость часа пригодных данных примерно на 40% в период с мая по октябрь за счет перепроектирования серверной части для отлова поврежденных сеансов в режиме реального времени и предоставления менеджерам сеансов возможности контролировать несколько кабин с помощью камер. Пользовательская система бронирования ввела динамическое ценообразование и перебронирование, чтобы обеспечить полную загрузку гарнитур в течение 20-часового ежедневного расписания.
В настоящее время Conduit сосредоточена почти исключительно на обучении моделей и планирует подробно описать свою систему декодирования в последующем релизе.
Автор – Luke James
