Author: blog

[TTS] モデルのパラーメタファイルと設定ファイル

1. パラメータファイル (Model Checkpoint)
パラメータファイル（例：my_voice_model.pth）はバイナリデータなので中身をテキストで見ることはできませんが、概念的には以下のようなモデルの学習結果が数値の配列として格納されています。

項目概念的な内容役割
ジェネレーターの重み$W_G: [[0.12, -0.05, …], [0.99, 0.01, …], …]$音響特徴量から生の音声波形を生成するための数百万の数値。
エンコーダーの重み$W_E: [[-0.45, 0.22, …], [0.10, -0.87, …], …]$テキスト情報から音響特徴量を作り出すための数百万の数値。
話者埋め込みベクトル$V_{\text{speaker}}: [0.75, -0.11, 0.40, …]$このモデルが学習した**話者（声質）**を特徴づける固有の数値（声のDNAのようなもの）。

ポイント: このファイルは、提供された音声データとテキストの関係を学習したニューラルネットワークの脳そのものです。

2. 設定ファイル

"train": {
    "log_interval": 200,
    "eval_interval": 1000,
    "seed": 1234,
    "epochs": 1000
  },
  "data": {
    "training_files": "filelists/train.txt",
    "validation_files": "filelists/val.txt",
    "max_wav_value": 32768.0,
    "sampling_rate": 24000  // 💡重要：音声の品質（サンプリングレート）
  },
  "model": {
    "inter_channels": 192,
    "hidden_channels": 192,
    "filter_channels": 768,
    "n_heads": 2,
    "n_layers": 6,
    "kernel_size": 3,
    "p_dropout": 0.1,
    "gin_channels": 256, // 💡話者埋め込みベクトルの次元
    "style_channels": 128 // 💡Style-Bert-VITS2のスタイル特徴量の次元
  },
  "speakers": {
    "speaker01": 0,
    "speaker02": 1
  } // 💡話者IDとモデル内でのインデックスの対応
}

https://github.com/litagin02/Style-Bert-VITS2
config.jsonと.pthのセット
https://huggingface.co/RinneAi/Rinne_Style-Bert-VITS2

設定ファイル config.json モデルの構造、サンプリングレートなどの設計情報を定義するテキストファイル。
パラメータファイル Rinne.safetensors 学習によって得られた**モデルの重み（パラメータ）**を格納したファイル。従来の.pthに代わり、安全性の高い.safetensors形式が使われることが増えています。
スタイル情報 style_vectors.npy Style-Bert-VITS2特有の、声の**スタイル（話し方、感情など）**の特徴を格納したファイル。

これらのファイル3点セットをダウンロードし、Style-Bert-VITS2の実行環境に配置することで、テキストから指定した声（この場合は「Rinne」）で音声を合成できるようになります。

なるほど〜、

[3D] BlendShape

BlendShape（ブレンドシェイプ）とは、3Dキャラクターの表情や口の動きなどの“変形”を作るための仕組みです。
アニメーション制作やゲーム、VTuberの顔モデルなどで非常によく使われます。

🔷 BlendShape の基本的な考え方
1つの3Dモデルに対して、
笑顔
怒り顔
口を「あ」形に開ける
目を閉じる
など、**形が変化した複数のモデル（ターゲット形状）**を用意します。

そして、アニメーション中に
「元の形」＋「ターゲット形状の混合量（0〜1）」
でモデルの形が変わる仕組みです。
例：
“Smile” ブレンドシェイプを 0 → 1 にすると、だんだん笑顔になる
“Mouth Open” を 0.5 にすると、口が半分開く

🔷 なぜBlensShapeが使われるのか？
自然な表情の作りやすさ
骨（ボーン）だけでは難しい細かな変形が可能
リアルタイムで軽い処理（ゲーム・VTuber向き）
複数の表情を混ぜられる（笑いながら目を閉じるなども簡単）

🔷 具体例：口のBlendShape
例えば「口」に関係するBlendShapeには：
A（あ）
I（い）
U（う）
E（え）
O（お）

口角上げ
口すぼめ
ニコッと笑う

などがあり、MMD・VTuber・ゲーム顔アニメで使われています。

🔷 まとめ
BlendShape＝“複数の形を混ぜて表情や口の形を変える仕組み”
ボーンのアニメと違い、メッシュ自体が変形するので、細かい顔表現に最適です。

[デザイン] 基本原則

デザインの基本原則は、**誰でもデザインが上手に見えるための「土台」**になるルールです。
センスに依存しないので、エンジニアでも非デザイナーでも、これを理解すれば UI の質が一気に上がります。

ここでは「UIデザインで最も重要な5つ」に絞って、例つき・実践的に説明します。

🎨 デザインの基本原則（UIデザイン版）
1️⃣ コントラスト（Contrast）

「違いを強調してメリハリをつける」こと。

✔ 良い例

重要なボタンだけ濃い色

タイトルは太字、大きめ

背景が薄い → テキストは濃い

✘ 悪い例

背景#FFFFFF に #F5F5F5 の薄いグレー文字

ボタンの色が全部同じでクリック先が分からない

テキストの階層がどれも同じ大きさ

使い方（Figma）

文字の「大・中・小」の階層をつける

Primary ボタンはブランドカラーで統一

余白でもコントラストを作れる（→後述）

2️⃣ 整列（Alignment）

「要素の位置を揃える」こと。
UIの「高級感」と「プロっぽさ」は整列で決まると言っても過がありません。

✔ 良い例

テキスト左揃え

アイコンと文字の中央揃え

要素の開始位置が1列のガイドに沿っている

✘ 悪い例

テキストが微妙にズレている

ボタンの幅がバラバラ

カードの余白が整っていない

使い方（Figma）

Option + Click で整列ツール

Layout Grid を ON（8pt/4pt）

Auto Layout を使えばほぼズレない

3️⃣ 反復（Repetition）

「同じルールを繰り返す」こと。

✔ 良い例

ボタンの丸みは全て 8px

同じ色・フォントを繰り返す

カードUIのパターンを統一

✘ 悪い例

あるページだけボタンの角丸が違う

フォントが3種類以上ある

余白ルールがバラバラ

使い方（Figma）

Color Style / Text Style を使う

Auto Layout で間隔を固定（8/12/16 など）

Components と Variants で統一感を出す

4️⃣ 近接（Proximity）

「意味が近いものは近くに、違うものは離す」。

✔ 良い例

タイトルと説明文を近づける

セクションごとにまとまっている

ボタン → 前後の要素と十分な距離

✘ 悪い例

タイトルと関係ないテキストが近くにある

セクションの境目が分からない

使い方（Figma）

Auto Layout の「Padding / Gap」で距離を一定に

セクションごとに余白を大きくつける
→ 例：同じグループ「16px」、違うセクション「32px」

5️⃣ 余白（Whitespace）

「空間はデザインの一部」。
優れたデザインほど余白が広い。

✔ 良い例

ボタンの内側がしっかり余白

セクションの外側に大きな余白

縦の間隔を揃える（例：8/16/24）

✘ 悪い例

全部の要素がぎゅうぎゅう

見出しと本文が近すぎる

カードが狭くて読みにくい

使い方（Figma）

Auto Layout の「Padding」「Gap」を積極的に使う

余白にも階層を作る（例：8 → 小、16 → 中、32 → 大）

📘 これらを使って「良いUI」はこう作る
Before（悪い例）

フォントサイズが全部同じ

ボタンの色がバラバラ

余白が不揃い

テキストがズレている

After（良い例）

タイトル → 24px / Bold

本文 → 16px

ボタン → Primary Color

余白 → 16/32 で統一

整列 → Auto Layout + Grid

🎯 最重要ポイント（覚えるだけで UI が変わる）

1. 大事なものは大きく＆濃く（コントラスト）
2. 全部きっちり揃える（整列）
3. 同じルールを繰り返す（反復）
4. 近い意味のものはくっつける（近接）
5. 迷ったら余白を増やす（Whitespace）

[iOS] Video Upload

import SwiftUI
import PhotosUI

struct ContentView: View {
    @State private var selectedItem: PhotosPickerItem?
    @State private var selectedImage: UIImage?
    @State private var selectedVideoURL: URL?

    var body: some View {
        VStack(spacing: 20) {

            // 選択 UI
            PhotosPicker(selection: $selectedItem,
                         matching: .any(of: [.images, .videos])) {
                Text("画像・動画を選択")
                    .padding()
                    .background(Color.blue)
                    .foregroundColor(.white)
                    .cornerRadius(8)
            }

            // 選択した画像があれば表示
            if let image = selectedImage {
                Image(uiImage: image)
                    .resizable()
                    .scaledToFit()
                    .frame(height: 200)
            }

            // 選択した動画の URL を表示
            if let url = selectedVideoURL {
                Text("動画URL: \(url.lastPathComponent)")
                    .font(.caption)
            }

            // アップロードボタン
            Button("アップロード") {
                upload()
            }
            .padding()
            .background(Color.green)
            .foregroundColor(.white)
            .cornerRadius(8)
        }
        .onChange(of: selectedItem) { newValue in
            Task {
                await loadSelectedItem()
            }
        }
        .padding()
    }

    // 画像 / 動画を読み込む
    func loadSelectedItem() async {
        guard let item = selectedItem else { return }

        // 画像読み込み
        if let data = try? await item.loadTransferable(type: Data.self),
           let image = UIImage(data: data) {
            self.selectedImage = image
            self.selectedVideoURL = nil
            return
        }

        // 動画読み込み
        if let url = try? await item.loadTransferable(type: URL.self) {
            self.selectedVideoURL = url
            self.selectedImage = nil
            return
        }
    }

    // アップロード処理
    func upload() {
        if let image = selectedImage {
            print("📤 画像アップロード: \(image)")
        }

        if let url = selectedVideoURL {
            print("📤 動画アップロード: \(url)")
        }
    }
}

VS codeでClaude Codeを使ってみる

Claude Codeにコードを生成させる
VS Codeの画面左側にあるClaudeアイコンをクリックして、Claude Codeのサイドバーを開きます。

サイドバー下部のチャット入力欄に、次のプロンプトを入力します。

「Pythonで、コンソールに ‘Hello World’ と出力するコードを書いてください。」

なるほど、こういうことか！

Pytorch

PyTorchとは一言で？
“AIモデルを作るための、プログラミング用の工具セット”

ニューラルネットワークを作る
訓練（train）する
GPUで高速計算する
推論（inference）する

こういった処理を 簡単に・速く実装できる のが PyTorch。
🧠 PyTorch がよく使われる理由（特徴）
① 直感的で書きやすい（Pythonらしい書き味）
コードが自然でシンプル。
数学より「書きながら理解できる」スタイル。

例）テンソルを作る：
import torch
x = torch.tensor([1.0, 2.0, 3.0])

② 自動で微分（自動微分）ができる
ニューラルネットの学習に必要な“勾配”を
勝手に計算してくれる仕組みがあります。

x = torch.tensor(2.0, requires_grad=True)
y = x**2
y.backward()
print(x.grad) # 4 が自動で計算される

③ GPUを簡単に使える（高速）

AI学習は重い処理ですが、
PyTorchは GPU を簡単に使えます。

device = “cuda” if torch.cuda.is_available() else “cpu”
x = torch.randn(1000, 1000).to(device)

④ 研究コミュニティに強い
論文
最新モデル
サンプルコード

多くがまず PyTorch で公開されるため、
最新AIに触れたい人に必須。

⑤ 大規模AIモデルと相性がよい
ChatGPT などの LLM（大規模言語モデル）も
裏側で PyTorch を使っている場合が多い。

📦 PyTorchでできることの例
画像分類（猫 / 犬を判定）
物体検出（人・車を検出）
音声認識
文章生成（GPT系）
翻訳モデル
音声合成（TTS）
3Dモデル生成
動画AI
AIのほぼすべての分野に使える万能ツールです。

🏗 PyTorch の基本構造
PyTorch はざっくりこの5つでできています：
Tensor（テンソル）
→ 画像・音声・テキストなど全データの“入れ物”
Autograd（自動微分）
→ 学習に必要な勾配を自動計算
nn（ニューラルネットワーク）
→ 層（Layer）を作る
optim（最適化）
→ 重みを更新して学習
dataloader
→ データを読み込んで学習に渡す

import torch
import torch.nn as nn
import torch.optim as optim

# 1. モデル
model = nn.Linear(1, 1)

# 2. 損失関数
criterion = nn.MSELoss()

# 3. 最適化
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 4. 学習ループ
for _ in range(100):
    x = torch.tensor([[1.0]])
    y = torch.tensor([[2.0]])

    pred = model(x)
    loss = criterion(pred, y)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print(model.weight, model.bias)

[TTS] TTS のサンプリング周波数・ビット深度

1. サンプリング周波数（Sampling Rate）
1秒間に「音を何回測るか」
を表す数字。
例：
サンプリング周波数 何を意味する？ 用途
16,000 Hz (16kHz) 1秒に16,000回測る 音声AI・電話
22,050 Hz 1秒に22,050回測る 一般的なTTS
44,100 Hz (44.1kHz) CD音質 音楽・高音質TTS

2. ビット深度（Bit Depth）
1回の測定で、音の強さを何段階で記録するか
例：
ビット深度 段階数 特徴
16bit 65,536段階 CD音質・一般的
24bit 16,777,216段階 スタジオ品質
32bit 約40億段階 研究・高音質合成

TTSではどう使われる？
用途 サンプリング周波数 ビット深度
音声AI（STT/TTS） 16kHz 16bit
高音質TTS（商用） 22kHz〜48kHz 16bit or 24bit
音楽/歌声合成 44.1kHz or 48kHz 24bit

[LLM] 合成データ生成と自己学習

LLM の 合成データ生成（Synthetic Data Generation） と
自己学習（Self-learning / Self-Improvement） は、
近年の LLM 開発の中で最も重要な技術の一つ

. 合成データ生成とは？（Synthetic Data）
簡単に言うと：

LLM が 自分自身で学習用データ（QA・文章・会話など）を作る 技術です。
🎯 なぜ重要なのか？
人間がデータを作ると コストが高い
高品質な人間教師データ（instruction data）が不足している
誤解や偏りがない、LLM学習に最適化されたデータが必要

そこで LLMが自分でデータを生成 → それをまた学習に使う
という循環が作られています。

自己学習（Self-learning / Self-Training）とは？
LLM が “自分で作ったデータ” を使って、さらに賢くなる仕組み

以下のようなプロセスです：

① 既存LLM（Teacher）がデータを生成（合成データ）
② 新しいLLM（Student）がそれを学習
③ Student が Teacher に近づいたり追い越したりする
④ Student を Teacher として活用 → また合成データ生成

これは Self-Play（自己対戦） や Self-Supervision（自己教師） とも呼ばれます。

合成データ生成の代表的な方法
① Self-Instruct（セルフ・インストラクト）

LLM が自分に「学習するタスク」を作り出す。

例：

「役立つ指示文を20個作って、それぞれ適切な回答を生成して」

→ 指示（instruction）と回答（output）のペアが大量にできる
→ これを学習すると ChatGPT のような「指示に強いモデル」が作れる
Google・Meta・Stability・OpenAI が使う一般的手法。

Reject Sampling（不良回答の排除）

LLM に複数回答を出させ、
「良い回答だけを採用し、悪い回答は捨てる」仕組み。

例：
Model → A案, B案, C案 を生成
Judge（別モデル or 同じモデル）が評価
AとCは不採用、Bだけ学習に使う
→ これにより合成データの品質が爆上がりする
最新の GPT-4o/DeepSeek にも使われている。

Self-Rewarding（自分で評価して学習）

モデル自身が回答の良し悪しを評価し、そのスコアを使って学習する。

OpenAI の研究
“Self-Rewarding Language Models”（2024）
で注目された方式。

Distillation（蒸留）

教師（Teacher）モデル → 弟子（Student）モデルへ知識を移す。
❶ Teacher で大量の合成データを生成
❷ Student がそれを学習
❸ 小型モデルでも高性能に！
例：
LLaMA → Mistral
GPT-4 → GPT-4o mini
Gemini Pro → Gemini Flash

from openai import OpenAI
client = OpenAI()

tasks = [
    "AI とは何か小学生にもわかるように説明してください。",
    "営業メールを丁寧な文体に書き直してください。",
    "Python のデコレーターを例付きで解説してください。"
]

synthetic_dataset = []

for task in tasks:
    res = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": task}]
    )
    answer = res.choices[0].message.content
    synthetic_dataset.append({"instruction": task, "output": answer})

print(synthetic_dataset)

. 合成データは実務でどう使われる？
✔ ① 社内チャットボットの学習データ生成

例：

社内規定の QA を権威ある文書から合成

人間が 1ヶ月かかる1000問データを数分で生成

✔ ② カスタマーサポートの学習データ

FAQ → 指示文化 → 例文生成 → 自動生成

✔ ③ 特定業界に特化した LLM の構築（金融・法律・医療）
✔ ④ 小型モデルの強化（LLM distillation）
⚠️ 6. 合成データの注意点
問題 説明
幻覚（hallucination） LLM が嘘を生成し、それを学習すると悪循環
バイアス 教師モデルの偏見や癖がそのままコピーされる
権利問題 合成データでも、元の学習データに依存する

→ 解決法：Reject Sampling、Human-in-the-loop、評価基準導入

🧠 7. 自己学習が今後どう進化する？

現在の最先端：

✔ Self-Play × 合成データ × Reasoning（推論強化）

OpenAI o1 モデル系（深い推論）

DeepSeek-R1（自己学習で強化）

Google Gemini 2.0（マルチステップ推論）

未来像は…

🧩 AI が 自分で作った問題 → 自分で解き → 自分で改善

という 完全自律型学習 に近づくこと。

[dify] function calling

manifest.yaml

name: "agent_strategy_demo"
description: "Sample Agent Strategy plugin with Function Calling"
version: "1.0.0"

tools:
- name: "calculator"
description: "Perform basic math operations"
parameters:
type: object
properties:
expression:
type: string
description: "Math expression to evaluate"
required: ["expression"]

agent_strategy:
entry: agent_strategy.py:SampleAgentStrategy

agent_strategy.py

from dify_plugin import AgentStrategy

class SampleAgentStrategy(AgentStrategy):
def run(self, llm_response, tools):
"""
llm_response: dict (may contain tool call request)
tools: dict of tools defined in manifest
"""
# If model requests a tool execution
if "tool" in llm_response:
tool_name = llm_response["tool"]["name"]
tool_args = llm_response["tool"]["arguments"]

tool = tools.get(tool_name)
if tool is None:
return {
"type": "message",
"content": f"Tool '{tool_name}' not found."
}

result = tool.run(**tool_args)
return {
"type": "tool_result",
"tool_name": tool_name,
"result": result
}

# Regular text response
return {
"type": "message",
"content": llm_response.get("content", "")
}

calclator.py

from dify_plugin import Tool

class CalculatorTool(Tool):
def run(self, expression: str):
try:
result = eval(expression)
return {"result": result}
except Exception as e:
return {"error": str(e)}

[LLM] Difyカスタムプラグインの超簡単な作成

まず、Difyのツールで「カスタムツールを作成する」画面

### カスタムツールを作成
OpenAI json schema

{
  "openapi": "3.0.0",
  "info": {
    "title": "Postman Echo Test Tool",
    "version": "v1.0.0",
    "description": "Postman Echoの/getエンドポイントを使って、パラメータを渡してテストするためのツールです。送信したパラメータがレスポンスに含まれて返ってきます。"
  },
  "servers": [
    {
      "url": "https://postman-echo.com"
    }
  ],
  "paths": {
    "/get": {
      "get": {
        "operationId": "echoGetData",
        "summary": "指定したクエリパラメータを付けてGETリクエストを送信します。",
        "parameters": [
          {
            "name": "message",
            "in": "query",
            "required": true,
            "schema": {
              "type": "string",
              "description": "APIに送りたいメッセージ（例：Hello Dify Test）"
            }
          }
        ],
        "responses": {
          "200": {
            "description": "成功。送信されたパラメータが確認できます。"
          }
        }
      }
    }
  }
}

テスト出力
{“args”: {“message”: “testです。”}, “headers”: {“host”: “postman-echo.com”, “accept”: “*/*”, “accept-encoding”: “gzip, br”, “x-forwarded-proto”: “https”, “traceparent”: “00-9e12edb5cab8bd6636404a653b1715c7-7b44fd7d72a90d90-00”, “baggage”: “sentry-environment=production,sentry-public_key=c0bcc0e36783694f41e4fb1e6a3efea9,sentry-trace_id=cd5aed1beb774af0a190db512449113f,sentry-sample_rate=0.0,sentry-sampled=false,sentry-sample_rand=0.743119”, “sentry-trace”: “cd5aed1beb774af0a190db512449113f-9e0d41f50b19024e-0”, “user-agent”: “python-httpx/0.27.2”}, “url”: “https://postman-echo.com/get?message=test%E3%81%A7%E3%81%99%E3%80%82”}

カスタムツールとFuctionCallingは仕組み的には似ているけど、実装方法がまるきり異なる…