Text-to-Image ＆ Text-to-Video
📘 Text-to-Image ＆ Text-to-Video 学習プラン
（基礎〜実装〜応用〜研究の4段階）
🌱 Stage 1：基礎理解（1〜2週間）
■ 1. 基礎知識
🔹 必須領域
Python（Numpy, PyTorch）
Deep Learning の基礎
CNN / RNN / Transformer
損失関数、最適化、正規化
生成モデルの基礎
GAN
VAE
Autoencoder
🔹 Text-to-Image/Text-to-Video に必要な基礎トピック
Diffusion Models（ノイズ→サンプルの生成）
画像特徴量（CLIP embedding）
🚀 Stage 2：Text-to-Image（T2I）基礎実装（2〜4週間）
■ 1. 代表モデルの理解
DDPM
Latent Diffusion（LDM）
Stable Diffusion（SD1.5 / SDXL）
■ 2. 実装ステップ
🔹 手順
ノイズ添加 → 除去のプロセスを理解
U-Net アーキテクチャの理解
CLIPTextEncoder で文章 → 潜在ベクトル化
逆拡散で画像生成
🔹 実装課題（おすすめ）
MNIST 画像で「拡散モデルの最小実装」
テキスト条件なし → ありの拡張
LoRA の学習（簡易ファインチューニング）
自作データセットで DreamBooth を実行
🎞 Stage 3：Text-to-Video（T2V）基礎実装（3〜6週間）
■ 1. 代表モデルの理解
ModelScope T2V
Video Diffusion Models（VDM）
AnimateDiff（T2I モデルを動画化）
Stable Video Diffusion (SVD)
■ 2. 動画モデル特有のポイント
時間方向の Attention
3D U-Net（時間軸の畳み込み）
時間的一貫性（Temporal Consistency）
Motion dynamics（動き生成）
■ 3. 実装ステップ
画像生成モデルをベースに時系列次元を追加
連続フレームでノイズ除去
モーション学習（Optical Flow などの活用）
■ 4. 実践課題
画像→動画の簡易版（SVD を使った生成）
AnimateDiff で静止画アニメーション生成
ModelScope T2V を動かして文章→短い動画の生成
自作 LoRA でスタイル変換
🔧 Stage 4：高度な応用（1〜3ヶ月）
■ 1. 高度機能の実装
高解像度生成（Tile, ControlNet, Refiner）
モーション制御
Depth
Pose
Optical Flow
長尺動画生成（Temporal Chaining）
■ 2. 研究論文の理解
Imagen Video
Phenaki（単語→長尺動画）
Sora（OpenAI）
VideoPoet（Google）
理論（拡散）＋ 工学（高速化）＋ データ設計など、総合力が必要です。
🧪 Stage 5：実践プロジェクト（ポートフォリオ）
以下から3つほど実行するとポートフォリオになります：
🔹 Text-to-Image
固有キャラクターの T2I モデル作成（LoRA + DreamBooth）
ControlNet を使ったポーズ制御アプリ
Web UI（Gradio）で T2I 生成アプリ構築
🔹 Text-to-Video
Text → 5秒動画生成ツール
T2I → T2V 変換パイプライン
AnimateDiff を使ったアニメキャラ動画生成
Video Dynamics（動きだけ変更するモデル）
📚 推奨教材・環境
■ 書籍
Deep Learning with Diffusion Models（Draft）
Hands-On Image Generation with Diffusion Models
■ コース
HuggingFace Diffusion Course（無料）
FastAI（基礎強化）
■ 環境
PyTorch
Diffusers（HuggingFace）
A100 or 4090（動画学習は VRAM 20GB 以上推奨）
