Fish Audio Drama 3 — управляемая озвучка с режиссурой в тексте

Fish Audio Drama 3 — модель синтеза речи, в которой режиссура вшита в текст: эмоцию, паузу или звук можно указать прямо в строке, а точечные эффекты ограничить парными тегами. Материал объясняет, как устроено управление, когда модель полезна и чем отличается от предыдущих поколений.

Что это

Drama 3 — флагманская модель TTS от Fish Audio, выпущенная 13 октября 2026 года и доступная в статусе Preview. Она превращает текст в озвученную реплику с учётом режиссёрского описания: наряду с фразой автор указывает, как её произнести — с какой эмоцией, темпом, паузой или звуком. Модель понимает 83 языка и работает в веб-редакторе на fish.audio, в мобильных приложениях для iOS и Android, а также через API.

Архитектурно это смесь экспертов на 35 млрд параметров с примерно 3 млрд активных на токен, дополненная гибридным вниманием и аудиодекодером codebook-MTP на 10 кодбуков с итоговым звуком 44,1 кГц моно. Длинный текст модель режет на чанки автоматически и умеет отдавать их потоком. Веса опубликованы как open weights на Hugging Face под лицензией Fish Audio Community License v1.0.

Ключевое правило: режиссура — часть текста. То, что в скобках и тегах, читается как инструкция для голоса, а не как слова для озвучки.

Зачем нужно

• Озвучка с эмоцией по сценарию — указать шёпот, нарастающую тревогу или сдержанную радость без перезаписи диктора.
• Точная расстановка пауз и звуков — поставить вздох, смешок, вдох или короткую паузу именно там, где это нужно по драматургии.
• Точечное управление словами — выделить несколько слов эффектом и не затрагивать остальную фразу.
• Многоязычные и многоспикерные сцены — переключить язык внутри строки или собрать диалог нескольких персонажей в один проход.
• Контент, который рендерят один раз и хранят — аудиокниги, аудиоспектакли, реплики для игр и анимации, короткие видео.

Как устроено

Управлять подачей можно пятью способами в одной строке, свободно их смешивая. Направление в квадратных скобках ставят перед словами, к которым оно относится — это обычный текст вроде [defensive, slightly uneasy tone] или [pause]. Парные теги оборачивают конкретные слова и действуют только на них.

Поддерживаемые парные теги в документации: <whisper>, <emphasis>, <soft>, <fast>, <slow>, <stress>, <forceful>. Для переключения языка внутри строки есть языковые теги — экспериментальная возможность, точность зависит от пары языков и голоса. Режиссуру можно писать на любом языке, не обязательно совпадающем с языком реплики.

Мультиспикер и редактирование

В редакторе каждому персонажу назначают голос — сцена с несколькими героями генерируется целиком за один проход. В будущих обновлениях Fish Audio тестирует два инструмента: многошаговую правку дубля по текстовой подсказке («мягче и чуть грустнее») и точечную замену слова в готовом аудио с сохранением тембра и переходов. На момент релиза эти инструменты находятся в закрытом тестировании, отдельного API для редактирования ещё нет.

API-вызов

В API Drama 3 не требует отдельного эндпоинта. Достаточно добавить заголовок model: drama-3 к существующему POST /v1/tts и передать текст с теми же скобками и тегами. Если заголовок отсутствует или написан с ошибкой, запрос не падает, а тихо откатывается на s2.1-pro.

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer $FISH_API_KEY" \
  -H "Content-Type: application/json" \
  -H "model: drama-3" \
  -d '{
    "text": "I\u2019m fine. Really. <whisper>Go on without me.</whisper>",
    "reference_id": "f3a2b90078d54a65af4b95f63bc7798e"
  }' --output speech.mp3

Под капотом та же схема, что и у семейства Fish Speech: смесь экспертов на базе Qwen3.5-35B-A3B, декодер на 10 кодбуков и поддержка запуска через SGLang-Omni. Заявленная скорость декодирования — 271 кадр в секунду на одном H200 против 177 у S2.

Модель особенно заметна там, где нужно точное произношение сложных слов. Подробнее о том, как устроены такие системы в целом, помогает понять разбор подходов к синтезу речи и опыт предыдущего поколения Fish Audio S2 Pro. Для фонового сравнения с музыкальными генеративными моделями полезен материал про Suno AI.

Когда использовать

Пример

Одна строка с разными приёмами режиссуры — смена тона, звук и точечное выделение:

[horrified, staring at the plate] Haiyaa. Nephew, why you put ketchup in egg fried rice? [sigh] Fried rice need soy sauce. Need MSG. Need wok hei. Not tomato sauce! <slow>Uncle Roger cannot watch this.</slow>

Сцена на два голоса с паузой и сменой отношения внутри диалога:

Adrian · Detective: <stress>You</stress> were there that night.
Delia · Suspect: [defensive, slightly uneasy tone] I was home. [pause] Asleep.
Adrian · Detective: [skeptical, questioning tone] Then why is your coat still wet?
Delia · Suspect: It rained.

Для многоязычной реплики язык переключают парным тегом вокруг нужных слов, а направление можно написать на третьем языке — модель следует смыслу инструкции независимо от языка текста.

Итог прост: Drama 3 переносит режиссуру из отдельного этапа в строку текста — чем точнее описана подача, тем ближе результат к задуманной игре, при этом произношение сложных мест остаётся на уровне лидера независимого теста.

Ссылки

• Документация: Fish Audio — Drama 3
• Документация: Fish Audio Docs — Drama 3
• Статья: Fish Audio Blog — Introducing Drama 3
• Репозиторий: fishaudio/fish-speech — GitHub
• Репозиторий: fishaudio/drama-3 — Hugging Face

По теме

• База знаний: Fish Audio S2 Pro — эмоции, клонирование и API
• База знаний: Silero Models — синтез и распознавание речи
• База знаний: Suno AI — генератор музыки