ソフトウェアエンジニアの技術ブログ：Software engineer tech blog

Hugging Face Spaces に Llama / Mistral のチャットデモを公開する最小構成

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

# ここを Llama / Mistral など好きなモデルに変更
MODEL_NAME = "mistralai/Mistral-7B-Instruct-v0.2"
# MODEL_NAME = "meta-llama/Llama-3.1-8B-Instruct"  # ← Llama に変更したい場合

# モデルとトークナイザのロード
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto"
)

def chat_fn(message, history):
    # 過去履歴を LLM のプロンプト形式に変換
    prompt = ""
    for user, assistant in history:
        prompt += f"<s>[ユーザー]: {user}\n[アシスタント]: {assistant}</s>\n"
    prompt += f"<s>[ユーザー]: {message}\n[アシスタント]:"

    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

    output_ids = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        do_sample=True,
        top_p=0.9
    )

    response = tokenizer.decode(output_ids[0], skip_special_tokens=True)

    # 最後のアシスタント発言だけ抽出
    if "[アシスタント]:" in response:
        response = response.split("[アシスタント]:")[-1].strip()

    history.append((message, response))
    return response, history


# Gradio UI
with gr.Blocks() as demo:
    gr.Markdown("# 🦙💬 Simple Llama / Mistral Chatbot")
    chatbot = gr.Chatbot()
    msg = gr.Textbox(label="Message")

    def user_send(user_message, chat_history):
        return "", chat_history + [[user_message, None]]

    msg.submit(user_send, [msg, chatbot], [msg, chatbot]).then(
        chat_fn, [msg, chatbot], [chatbot]
    )

demo.launch()

===== Application Startup at 2025-11-16 11:06:22 =====

tokenizer_config.json: 0%| | 0.00/2.10k [00:00

Hugging Face は オープンソースLLMのプラットフォーム & コミュニティ
世界中のAIモデル・データセット・サンプルコードが集まるGitHub＋App Store＋AI研究コミュニティ

## Hugging Faceで何が出来る？
🤖 モデルHub Llama・Mistral・Gemma など数万のLLMをダウンロードして試せる
📚 データセットHub 研究用の巨大データセットが公開されていて利用可能
🚀 Transformers ライブラリ Python でLLMを簡単に使える神ライブラリ
🧪 Inference API / Endpoints GPUいらずでモデルをAPIとして利用できる
🧱 PEFT / LoRA サポート 軽量ファインチューニングが簡単
📊 Spaces（デモアプリ） Streamlit / Gradio でAIアプリをホスティング
🫂 AIコミュニティ モデル公開や議論・PRが活発で世界最大級

① Model Hub
世界中のLLMがここに集まっています。

例：
meta-llama/Llama-3.1-8B
mistralai/Mistral-7B
google/gemma-2-9b
EleutherAI/gpt-j-6b
GitHubと同じように、モデルごとにページがあり

説明
推奨ハイパーパラメータ
サンプルコード
重み（weights）
が公開されています。
→ とりあえず Hugging Face の中心はコレ と覚えればOK。

e.g.
https://huggingface.co/meta-llama/Llama-3.1-8B

### Transformer library

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct")

inputs = tokenizer("こんにちは！自己紹介してください。", return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

### Space（AIアプリ）
Gradio や Streamlit を使って、ブラウザで動くデモアプリを無料で公開できるサービス。

Mistral (ミストラル)
Mistralは、フランスのAIスタートアップ企業Mistral AIによって開発されているLLMのシリーズです。
開発元: Mistral AI (フランス)
主な特徴:
オープンソース/オープンウェイト: 多くのモデルがオープンソースまたはオープンウェイト（モデルの重み/パラメータが公開されている）で提供されており、研究者や開発者が自由に利用、改変、再配布しやすいのが大きな特徴です。

### Gradio、Streamlit
GradioとStreamlitは、どちらもPythonのコードのみで、機械学習モデルのデモやデータ分析のためのインタラクティブなWebアプリケーションを簡単に作成するためのライブラリ（フレームワーク）です。

Hugging Faceは、特にGradioの開発元を傘下に収めており、そのプラットフォーム「Hugging Face Spaces」でGradioとStreamlitのアプリケーションをホスティング（公開）できるようにしています。

## はじめに：AIの勢力図が変わる？

大規模言語モデル（LLM）の世界は、これまでOpenAIの**GPT**やGoogleの**Gemini**といったアメリカの巨大テック企業が牽引してきました。しかし今、この勢力図を大きく塗り替えようとしているのが、中国から登場した二大巨頭、**DeepSeek**と**Qwen（通義千問）**です。

両モデルは、国際的なベンチマークでトップクラスの性能を発揮するだけでなく、その**提供戦略**においても大きな特徴を持っています。本記事では、この二つの高性能LLMの特徴と、従来のGPT・Geminiとの決定的な違いを解説します。

—

## 🚀 DeepSeekとは？：効率と推論力のスペシャリスト

DeepSeekは、中国のAIスタートアップによって開発されました。その最大の特徴は、**「効率性」**と**「高性能な推論能力」**の両立です。

### 💡 主な特徴

* **低コストでの開発:** 大量のデータと計算リソースを必要とするLLM開発において、DeepSeekは**非常に効率的な学習プロセス**を採用していることで知られています。
* **推論能力の特化:** 特に**コーディング（プログラミング）**や**数学**といった論理的な推論を要するタスクで、非常に高いスコアを叩き出します。
* **MoE（Mixture-of-Experts）の活用:** 効率的なモデル構造であるMoEアーキテクチャを採用し、より高速な推論と少ない計算コストでの運用を実現しています。

—

## 🌟 Qwen（通義千問）とは？：アリババ発の多言語対応モデル

Qwen（通義千問）は、中国の巨大テック企業**Alibaba Cloud（アリババクラウド）**によって開発されました。商用利用を強く意識しており、グローバルな展開を視野に入れています。

### 💡 主な特徴

* **驚異的な多言語対応:** **日本語を含む119言語以上**に対応する強力な多言語処理能力を持ち、世界中のユーザーやビジネスでの利用を想定しています。
* **長いコンテキストウィンドウ:** **長文の理解・処理**に優れており、大量のドキュメントを一度に処理する能力が高いです。
* **マルチモーダル機能:** テキストだけでなく、画像や音声なども理解できる**マルチモーダル機能**も強化されており、より複雑なタスクに対応できます。

—

## 🆚 DeepSeek・QwenとGPT・Geminiの決定的な違い

DeepSeekとQwenが、GPTやGeminiと最も大きく異なる点は、その**モデル提供戦略**と**利用のしやすさ**にあります。

### 1. オープンソース戦略

| モデル群 | 提供形態の傾向 | 開発・利用のしやすさ |
| :— | :— | :— |
| **GPT / Gemini** | 主に**クローズドソース**（API経由での提供が中心） | 高度な機能は提供されますが、モデルの内部構造は非公開で、**カスタマイズに制限**がある。 |
| **DeepSeek / Qwen** | 多くの高性能モデルを**オープンソース**として公開 | モデルを**無料でダウンロード**し、自由に**カスタマイズ**して商用利用が可能。スタートアップや研究機関が導入しやすい。 |

このオープンソース戦略により、DeepSeekとQwenは世界の開発者コミュニティに急速に浸透し、LLMの**コモディティ化（汎用化）**を加速させています。

### 2. コストとアクセシビリティ

オープンソース版のDeepSeekやQwenは、利用にAPI料金などがかからないため、**コストを大幅に抑える**ことができます。これは、資金力の限られたスタートアップや、AI導入の実験段階にある企業にとって非常に大きなメリットです。

### 3. 特化分野

| モデル | 強みとする分野 |
| :— | :— |
| **GPT** | 汎用的な対話、創造性、幅広い知識。 |
| **Gemini** | Google検索との連携による最新情報、マルチモーダル（画像、動画の理解）。 |
| **DeepSeek** | **コーディング**、**数学**、**効率的な推論**。 |
| **Qwen** | **多言語対応**、**長文処理**、アリババクラウドとの連携。 |

—

## 📌 まとめ：AIの未来は多様化へ

DeepSeekとQwenの登場は、AIの高性能化が特定の地域や企業に独占される時代が終わりつつあることを示しています。

* **コストを抑えて独自のAIを開発したい**
* **特定のタスク（例：コーディングや多言語対応）に特化したモデルが欲しい**

というニーズを持つ企業や開発者にとって、DeepSeekとQwenはGPTやGeminiの**強力な代替選択肢**となります。

AIの未来は、特定のモデルに依存するのではなく、それぞれの目的に応じて最適なモデルを選択する**多様化**の時代へと移行していると言えるでしょう。

**あなたもぜひ、DeepSeekやQwenのオープンソースモデルを試して、その力を体験してみてはいかがでしょうか。**