Google’s Soundstorm

SoundStorm: 高效並行音頻生成

SoundStorm 是由 Google Research 開發的突破性模型，專為高效、非自回歸音頻生成而設計。它利用雙向注意力和基於信心的並行解碼，從語義標記生成高質量音頻，比傳統的自回歸模型快得多。

主要特點

• 效率：SoundStorm 比其前身快兩個數量級生成音頻，在 TPU-v4 上僅需 0.5 秒即可生成 30 秒的音頻。
• 質量和一致性：保持相同的音頻質量，同時確保更高的語音和聲學條件一致性。
• 可擴展性：能夠將音頻生成擴展到更長的序列，通過合成高質量的對話段落展示。
• 控制：通過轉錄和語音提示允許控制語音內容、說話者聲音和說話者轉換。

主要用例

• 對話合成：與 SPEAR-TTS 結合，SoundStorm 根據轉錄和語音提示合成自然對話。
• 音頻生成：適合快速生成高質量音頻，適用於媒體和娛樂中的各種應用。

用戶體驗

SoundStorm 因其速度和音頻輸出質量而受到讚揚。它保持高度的聲學一致性和說話者聲音保真度，在提示和無提示音頻生成場景中均優於以前的模型。

如何使用

要使用 SoundStorm，輸入來自 AudioLM 的語義標記，可選擇包含 3 秒的語音提示以指定說話者特徵，並讓模型高效生成高質量音頻。

潛在限制

• 訓練數據中的偏見：模型可能反映訓練數據中存在的偏見，影響口音和語音特徵的多樣性。
• 濫用潛力：模仿聲音的能力可能被惡意利用，需要安全措施和持續的檢測方法研究。

SoundStorm 代表了音頻生成技術的重大進步，承諾更快、更可控的音頻生產，同時解決 AI 開發中的倫理考慮。