ソフトウェアエンジニアの技術ブログ：Software engineer tech blog

$ sudo apt install portaudio19-dev
$ pip3 install maai

import time
from maai import Maai, MaaiOutput, MaaiInput 
import numpy as np

# 1. 設定
# マイクを使用するため、ファイルパスはコメントアウト
# AUDIO_FILE_PATH = "sample.wav" 

# maai の初期化設定
# 安定動作が確認された "vap" モードを使用
maai = Maai(
    mode="vap", 
    lang="jp",  # 日本語設定
    frame_rate=10, 
    context_len_sec=5,
    
    # マイク入力を使用
    audio_ch1=MaaiInput.Mic(), 
    audio_ch2=MaaiInput.Zero(), 
    device="cpu"
)

# 2. 結果出力設定（ConsoleBarは使用せず、直接値を表示）
print("--- maai リアルタイム予測開始 (マイク入力) ---")
print("マイクに向かって何か話してください。予測結果が直接出力されます。Ctrl+Cで停止します。")
print("---------------------------------------------")
maai.start()

start_time = time.time() # 時間計測開始

# 3. 処理ループ
try:
    while True:
        # 結果を待機して取得
        result = maai.get_result()
        
        if result is None:
            continue
            
        # 💡 リスト型対応の処理: result の値がリストの場合、最初の要素 [0] を抽出する
        processed_result = {}
        for key, value in result.items():
            if isinstance(value, list) and value:
                # リストの最初の要素を抽出
                processed_result[key] = value[0]
            else:
                # リストではないか、空のリストの場合はそのまま使用
                processed_result[key] = value

        # 頷き/相槌の値を取得 (キーが "nod" や "aizuchi" になっていることを期待)
        nod_val = processed_result.get('nod', processed_result.get('p_nod', -1)) 
        aizuchi_val = processed_result.get('aizuchi', processed_result.get('p_aizuchi', -1)) 
        
        # ターンテイキングの値を取得
        p_now_val = processed_result.get('p_now', -1)
        p_future_val = processed_result.get('p_future', -1)
        
        output_line = f"Time: {time.time() - start_time:.2f}s | "
        
        # 頷き/相槌の予測値が含まれているか確認
        if nod_val != -1 or aizuchi_val != -1:
             # 頷き/相槌の予測がある場合の出力
            output_line += f"Nod: {nod_val:.3f} | Aizuchi: {aizuchi_val:.3f} | P_Now: {p_now_val:.3f}"
        else:
            # 含まれていない場合のデフォルト出力（ターンテイキング予測のみ）
            output_line += f"P_Now: {p_now_val:.3f} | P_Future: {p_future_val:.3f}"
            
        print(output_line)
        
        time.sleep(0.1) # 100ms ごとに結果を出力

except KeyboardInterrupt:
    print("\n処理を中断しました。")

# 4. 終了処理
maai.stop()
print("\n--- maai 処理終了 ---")

画面収録 2025-10-25 午前11.38.11

TTS（Text-to-Speech）は大きく分けると、Rule-based（ルールベース）TTS と Neural（ニューラル）TTS の2種類に分類される

全体像：TTS技術の進化段階
世代 技術名 代表方式 特徴
第1世代 Rule-based TTS 記号変換・音声ルール合成 機械的・不自然だが制御しやすい
第2世代 Statistical Parametric TTS HMMなど 統計的だが声がややロボット的
第3世代 Neural TTS（Deep Learning TTS） Tacotron, WaveNetなど 人間のように自然な音声

① Rule-based TTS（ルールベース音声合成）
人間が手作業で定義した「発音ルール」「音声単位（音素）」をもとに、
音を組み合わせて音声を作る仕組みです。
テキスト → 発音記号（ルールで変換） → 音声単位をつなげて波形生成

方式 説明
Formant synthesis（フォルマント合成） 声帯や口の共鳴特性を数式モデル化（例：Bell Labsの技術）
Concatenative synthesis（連結合成） 実際の録音音声（単語や音素）を切り貼りして繋ぐ方式（例：初期のナビ音声）

🎙 特徴
✅ メモリ・計算コストが低い
✅ 特定の発音やイントネーションを細かく制御できる
❌ 音のつなぎ目が不自然（滑らかさがない）
❌ 抑揚や感情表現が単調・ロボット的

② Neural TTS（ニューラル音声合成）
🧠 仕組み
深層学習モデル（ディープニューラルネットワーク）が
テキスト→音声波形 の変換を「学習」

主な代表モデル
モデル 内容
Tacotron / Tacotron2 テキスト→メルスペクトログラムをSeq2Seqで生成。自然なイントネーション。
FastSpeech / FastSpeech2 Tacotronを改良し、高速かつ安定。
WaveNet / HiFi-GAN / DiffWave 高品質なボコーダ（波形生成）。人間に近い音質。

🎙 特徴
✅ 自然な抑揚・滑らかさ・感情表現
✅ 大量データを使えば「人の声をそっくり再現」できる
✅ マルチスピーカー・多言語対応が容易
❌ 計算コストが高く、学習に大規模データが必要
❌ 「声のなりすまし」などの倫理リスクがある

🎯 Rule-based vs Neural TTS 比較表
比較項目 Rule-based TTS Neural TTS
生成方法 手作りルール・辞書ベース ディープラーニングによる学習ベース
音声の自然さ 機械的・単調 滑らかで人間的
柔軟性（声質・感情） 制御しやすいが不自然 データ次第で柔軟・感情表現可
開発コスト 小規模でも可能 大量データとGPUが必要
リアルタイム性 軽量・高速 モデルによる（最近はリアルタイム可能）
代表的技術 Formant, Concatenative Tacotron, FastSpeech, WaveNet
応用例 初期のカーナビ、読み上げ機器 音声アシスタント、AIナレーション、音声翻訳

[全体像]
テキスト（文字列）
↓
① Text Normalization（前処理）
↓
② Acoustic Model（音響モデル）
↓
③ Vocoder（ボコーダ）
↓
音声波形（実際に聞こえる音）

① Text Normalization（テキスト正規化・前処理）
🔍 目的：
文字データを「読み上げ可能な形」に整えること。
人間が“読む”ときに自然になるよう、TTSに理解できる形式へ変換します。

数字の読み方変換 「2025年」 「にせんにじゅうごねん」
記号・略語展開 「Dr.」 「ドクター」
文の区切り付け 「こんにちは。元気？」 （文境界を明示）
発音表記への変換（G2P: Grapheme→Phoneme） 「東京」 /toːkjoː/

② Acoustic Model（音響モデル）
🔍 目的：
「この文をどう発音するか（音の特徴）」を予測する。
つまり、テキスト（音素列）→メルスペクトログラム を生成します。
📘 メルスペクトログラムとは？
時間 × 周波数の2次元表現で、音の「強さ」「高さ」「声質」を可視化したもの。

音声波形を直接作る代わりに、この中間表現を生成することで、
音の自然さや安定性を確保できます。
💡 Acoustic Modelの役割
要素 内容
発音タイミング 各音素の長さや間（Duration）を決定
抑揚（イントネーション） ピッチ（F0）の変化を予測
音量・エネルギー 声の強弱を再現
声質・感情 声のトーンや感情表現を生成

⚙️ 代表的なモデル構造
モデル名 特徴
Tacotron / Tacotron2 Seq2Seqでメルスペクトログラムを直接生成。自然な抑揚。
FastSpeech / FastSpeech2 Duration情報を明示的に予測し、高速かつ安定。
Glow-TTS / Grad-TTS 正規化フローや拡散モデルで高品質生成。

③ Vocoder（ボコーダ）
🔍 目的：
メルスペクトログラムなどの中間表現を、
実際の波形（音声）に変換 する。
🎧 どうやって波形を作るの？

スペクトログラムを入力として、時間ドメインの音波をサンプル単位で生成。
深層学習モデルが「周波数特性」を復元し、自然な音を再構成します。
💡 代表的なニューラルボコーダ
モデル名 特徴
WaveNet (Google) 最初の高品質ニューラルボコーダ。非常に自然だが遅い。
WaveRNN 軽量・高速でリアルタイム合成可能。
Parallel WaveGAN / HiFi-GAN GANベースで高音質＆超高速。現行主流。
DiffWave / WaveGrad 拡散モデルを応用。高品質で滑らか。

補足：3ステップの関係性
ステップ 入力 出力 技術の主役
Text Normalization 文字列 発音記号 or 音素列 言語処理（NLP）
Acoustic Model 音素列 メルスペクトログラム 深層学習（Seq2Seq, Transformerなど）
Vocoder メルスペクトログラム 波形データ 深層生成モデル（WaveNet, GAN, Diffusionなど）

TTSとは 「Text-To-Speech（テキスト読み上げ）」 の略で、
簡単に言うと 文字を音声に変換する技術 のことです。

たとえば…
スマホの読み上げ機能で、メッセージやニュースを声で聞ける
カーナビが目的地までの案内を音声で話す
Siri や Google アシスタントが話して答える
これらはすべて TTS（音声合成） の仕組みを使っている。

仕組みのざっくりイメージ
テキスト入力：「こんにちは、今日はいい天気ですね」
音声合成エンジンが文字を読み方に変換
人工的な声で読み上げる音声を生成（自然な抑揚をつける）

最近のTTSはAI技術（特に深層学習）によって、
まるで人間のように自然な話し方ができるようになっている。

「深層学習を使ったTTS」は、文字列→音声の処理を学習ベースで行い、人間らしい抑揚・リズム・声質を自動で作れるようになった技術です。従来より滑らかで自然な発話が可能になり、少ない手作業で多様な話し方や声を生成できるようになった。

仕組み（高レベルのパイプライン）
一般的な現代TTSは大きく3つのステップに分かれる

– テキスト前処理（Frontend）
文字列を音素（発音単位）に変換（G2P = Grapheme→Phoneme）したり、句読点や数字を正しい読みへ変換したりする。

– アコースティックモデル（Acoustic / Spectrogram Generator）
テキスト（音素や言語特徴）を入力に取り、音の時間周波数表現（例：メルスペクトログラム）を生成する。
ここで抑揚（ピッチ）、長さ（音の持続）、強弱などの「話し方」が決まる。

– ボコーダ（Vocoder）
メルスペクトログラムなどの中間表現を受け取り、実際の波形（聞ける音声）を生成する。
深層学習は主に（2）と（3）で活躍

なるほど〜　かなり勉強になりますね。少しずつでも毎日勉強したほうが良さそう…