Компания Block, которой руководит Джек Дорси, представила Dessa — новую голосовую модель собственной исследовательской лаборатории. Модель работает локально и воспроизводит выразительные человеческие реакции: смех, паузы, плач. По словам компании, Dessa обучали полностью на человеческой речи, использовав одну стойку GPU NVIDIA.
Dessa — дуплексная модель: она одновременно говорит и слушает, как GPT-Live от OpenAI. У большинства речевых моделей есть отдельная большая языковая модель как источник знаний, но Block утверждает, что знания Dessa приходят из данных её разговорного обучения.
В блоге Block объясняет, почему современный голосовой ИИ часто звучит неестественно: речь сначала превращается в текст, и вместе с этим теряется информация, которую текст не переносит. В итоге даже мощные модели не слышат, как чувствует себя собеседник. Компания называет такой опыт худшим и потенциально опасным.
Отличается Dessa и от моделей вроде ElevenLabs v4 и Fish Audio Drama 3, которые управляют эмоциями через голосовые теги. По заявлению Block, эмоции в Dessa встроены в саму модель, хотя неясно, играет ли тегирование какую-то роль. Исследователи опубликовали демо с разными голосами, темпом речи и эмоциями.
Модель запускается на потребительском оборудовании — например, на MacBook M4 Max. Публичного доступа пока нет: Block приглашает исследователей по безопасности протестировать систему. Локальная модель может пригодиться самой Block — подразделение Square уже применяет голосовой ИИ для оформления заказов, и on-device решения позволят развивать больше сервисов при меньших затратах.
