ソフトウェアエンジニアの技術ブログ：Software engineer tech blog

エージェント型 LLM（LLM Agents）は、
「LLM に“考えさせて→行動させる”仕組みを加えたもの」 です。

ChatGPT のような「入力 → 出力」だけの LLM ではなく、
自分で計画を立て、情報を集め、ツールを使い、最終回答を作る“自律的なシステム” に近づきます。

1. LLM エージェントとは？（最も簡単な定義）
LLM エージェント = LLM + Tool + Memory + Reasoning
要素 役割
LLM（大規模言語モデル） 頭脳。計画・判断・生成をする
Tool（外部ツール） 検索、計算、API 呼び出し、データベースなど
Memory（記憶） 会話履歴やユーザ設定の保存（短期・長期）
Reasoning（推論） 目的を分解し、必要なステップを考える

人間と同じように「目的を達成する」仕組みを持つ LLM がエージェントです。

2. “エージェント型 LLM” でできること
① 自律タスク実行
例：メールを読み → 締切を見つけ → カレンダーに入れる

② 外部ツールの利用
Google検索
SQL 実行
Python 計算
API の呼び出し など

③ 情報収集 → 判断 → 行動
RAG（検索）
Web 操作（例：自動ログインして情報取得）
データ分析 → グラフ作成

④ 複雑タスクの分解
“旅行プランを作る”
→ ホテル検索 → 比較 → 予算計算 → プラン生成

🧩 3. 技術構造のイメージ（全体図）
┌───────────┐
│ LLM（頭脳） │
└─────┬─────┘
│ 推論（ReAct / o1 reasoning）
┌─────▼─────┐
│ Agent Policy │ ← どのツールを使うべきか判断
└─────┬─────┘
┌─────▼─────┐
│ Tools │ ← 検索 / 計算 / 実行
└─────┬─────┘
▼
メモリ / DB など

🔧 4. エージェントで使われる代表的な方式
■ ① ReAct（Reasoning + Acting）方式
LLM が「思考」と「行動」を交互に行う。
Thought: 情報が足りないので検索が必要
Action: search(“LLM エージェントとは”)
Observation: 検索結果が返ってきた
Thought: これを要約しよう
Final Answer: …
→ GPT-4 以降のエージェントフレームワークの定番。

■ ② Tool Calling（ツール呼び出し）方式
ChatGPT や OpenAI API の
function calling（tool calling） で、LLM が API を使い分ける。

{
  "tool": "search_google",
  "arguments": {
    "query": "東京駅 ランチ おすすめ"
  }
}

■ ③ Planning（計画生成）方式
大きなタスクを分割し、実行順序を決める。
例：
「YouTube の台本を作る」
↓
テーマ調査
競合動画の分析
構成案
台本作成
推奨サムネ案

🧪 5. Pythonでの“最小エージェント”サンプル
※ OpenAI gpt-4o を使用

from openai import OpenAI
client = OpenAI()

def search_google(query):
    return f"『{query}』を検索した結果（ダミー）"

tools = [
    {
        "type": "function",
        "function": {
            "name": "search_google",
            "description": "Google検索を実行",
            "parameters": {
                "type": "object",
                "properties": {
                    "query": {"type": "string"}
                },
                "required": ["query"]
            }
        }
    }
]

prompt = "LLMエージェントとは何か要点を調べて説明して"

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": prompt}],
    tools=tools,
)

# ツール呼び出しか確認
msg = response.choices[0].message
if msg.tool_calls:
    call = msg.tool_calls[0]
    if call.function.name == "search_google":
        result = search_google(call.function.arguments["query"])
        # LLM に戻す
        final = client.chat.completions.create(
            model="gpt-4o",
            messages=[
                {"role": "user", "content": prompt},
                {"role": "assistant", "tool_calls": msg.tool_calls},
                {"role": "tool", "tool_call_id": call.id, "content": result},
            ]
        )
        print(final.choices[0].message["content"])
else:
    print(msg["content"])

🚀 6. LLMエージェントの代表的なフレームワーク
フレームワーク特徴LangChain最も有名。ツール統合・エージェント実装が豊富LlamaIndexRAG 系に強い。データ接続が簡単OpenAI Assistants API超簡単にエージェント構築可能Microsoft AutoGenマルチエージェント（複数AIが協働）

🧠 7. エージェント型 LLM の強み
✔ 自動化
→ 情報収集、検索、分析、報告書生成まで自動でやる
✔ データ統合が得意
→ RAG + ツールで「会社のナレッジ → 即時回答」
✔ 高い拡張性
→ 必要に応じてツール追加が可能

🧩 8. どんなアプリに使われている？
AI カスタマーサポート
社内ナレッジ検索（RAG）+ エージェント
自動メール返信
Web リサーチ bot
自動議事録 → 要約 → タスク化
データ分析 bot（SQL + プロット）
AI 事務アシスタント

🎉 最後に
エージェント型 LLM は 「ただのチャットボット」から “AIアシスタント” に進化させるための重要技術 です。

画像 → 理解 → テキスト回答 の最小構成

from openai import OpenAI
import base64

client = OpenAI()

# 画像ファイルを base64 化
with open("image.jpg", "rb") as f:
    img_base64 = base64.b64encode(f.read()).decode("utf-8")

# マルチモーダル（画像 + テキスト）問い合わせ
response = client.chat.completions.create(
    model="gpt-4o",   # または gpt-4o-mini
    messages=[
        {"role": "user", "content": [
            {"type": "text", "text": "この画像を説明してください。"},
            {
                "type": "image_url",
                "image_url": {
                    "url": f"data:image/jpeg;base64,{img_base64}"
                }
            }
        ]}
    ]
)

print(response.choices[0].message["content"])

何が起きているか？
1. 画像を base64 でエンコード
OpenAI API ではファイルアップロードせず、そのまま Base64 で画像を送れる。

2. messages に「画像 + テキスト」を混在させる
{“type”: “image_url”, …} を入れることでマルチモーダルの入力が可能になる。

3. gpt-4o が画像を理解し、テキストで返す
画像認識モデル + 言語モデルが統合されているため、追加設定不要。