Month: December 2025

🎤 Tacotron2とは？
Tacotron2 は Google が開発した「自然な音声を生成するTTSモデル」 で、
Neural TTS（ニューラルTTS）を大きく前進させた代表的な音声生成モデルです。

✔️ Tacotron2 の特徴（ざっくり）
テキスト → メルスペクトログラムを生成するモデル
WaveGlow / WaveRNN などの vocoder と組み合わせて音声に復元
人間の声に近い自然な抑揚（プロソディ）が得られる
End-to-End（前処理が少ない）

🎛 Tacotron2 の構造（これが最重要）
Tacotron2 は大きく ２つの部分 に分かれています。
① Acoustic Model（文章 → Melスペクトログラム）
② Vocoder（Melスペクトログラム → 音声波形）

① Acoustic Model（Tacotron2本体）
内部構造：
Encoder（文章を特徴ベクトルに変換）
テキストを文字単位でEmbedding
Convolution + LSTM
Attention（位置を揃える）
テキストとメルスペクトログラムの対応を学習
Location-Sensitive Attention で「読み飛ばし」を防止
Decoder（Melスペクトログラム生成）
RNNベース

1フレームずつメルスペクトログラムを生成
→ Tacotron2はテキストを“メル画像”に変換する装置

② Vocoder（WaveGlow / WaveRNN など）
Tacotron2はメルスペクトログラムまでしか作らないので、
これを波形に変えるのが Vocoder の役割。
有名な組み合わせ：
Acoustic Vocoder
Tacotron2 WaveGlow
Tacotron2 WaveRNN
Tacotron2 HiFi-GAN
🎧 Tacotron2 が使うメルスペクトログラムの特徴

80次元 Mel
22,050Hz サンプリング
対数変換（log-mel）
hop=256, win=1024
これらは ほぼすべての NeuraI TTS の標準仕様 になりました。

🔍 Tacotron2 がすごかった理由
✔️ 1. 文章のリズム（韻律）が自然
Attentionにより、
「どこを読んでいるか」を内部で推定することで
自然な抑揚を作れるようになった。

✔️ 2. End-to-Endなので音質が高い
従来：
形態素解析
音素列変換
音響モデル
デュレーションモデル
vocoder
→ Tacotron2は中間を自動学習

✔️ 3. WaveGlowと組み合わせて高品質な音声
従来のvocoder（Griffin-Lim等）は粗い音質だったが
WaveGlowで劇的に改善。

📘 Tacotron2 の処理フロー（図）
Text → Encoder → Attention → Decoder → Mel-spec
Mel-spec → Vocoder → Audio(WAV)

🧪 Pythonでの実行例（PyTorch）
※ NVIDIA の公式実装を利用した例
import torch
from tacotron2.model import Tacotron2
from denoiser import Denoiser

# モデル読み込み
checkpoint_path = “tacotron2_statedict.pt”
model = torch.load(checkpoint_path)[‘state_dict’]

# 入力テキスト
text = “こんにちは、これはTacotron2のテストです。”

# 1) テキスト → メルスペクトログラム
mel = tacotron2(text)

# 2) vocoder (WaveGlow)
audio = waveglow.infer(mel)

# 保存
torchaudio.save(“output.wav”, audio, 22050)

実際にはモデルファイルが必要ですが、
構造としてはこのように Mel → Audio の2段階です。

✔️ 要点まとめ
項目 内容
モデル名 Tacotron2
種類 Acoustic Model（テキスト→メル）
Vocoderが必要か 必要（WaveGlow等）
長所 抑揚が自然、高品質
短所 生成速度が遅い・Attentionの不安定性