なぜLocal LLMを使うのか
クラウドAPIの懸念点は「データが外部サーバーに送信される」点です。個人情報・営業秘密・顧客データを扱うシステムではLocal LLMが有力な選択肢になります。
Ollamaとは
OllamaはLlama・DeepSeek・Mistraなどの大規模言語モデルをローカルで簡単に動かせるツールです。ollama run llama3 のコマンド1つでモデルが起動し、OpenAI互換のAPIでアクセスできます。
対応モデル
弊社で動作確認済みのモデルです。
-
Llama 3.1 / 3.2（Meta製。汎用タスクに最適）
-
DeepSeek-Coder V2（コード生成に特化。Claude並みの性能）
-
Qwen2.5-Coder（日本語対応が比較的良好）
-
Aida（日本語特化のLLM。日本語文書処理に強み）
LaravelからAPIで呼び出す
OllamaはOpenAI互換のREST APIを提供するため、Laravelからは通常のHTTPクライアントでアクセスできます。エンドポイントを http://localhost:11434/api/generate に向けるだけです。
実用的なユースケース
社内FAQ自動回答 — 社内マニュアル・規程をRAGで検索してLocal LLMが回答。データが外部に出ない完全プライベート環境。
顧客問い合わせの自動分類 — 受信したお問い合わせを自動でカテゴリ分類・優先度付けするシステム。
コード自動生成ツール — DeepSeek-Coderを使ったコード補完・スニペット生成の内部ツール。
ハードウェア要件
7Bパラメータのモデルなら16GB RAM・MacBook Pro M1以上で動作します。13B以上は32GB RAM推奨です。弊社サーバーではNVIDIA GPU + 64GB RAMで70Bモデルを運用しています。
まとめ
Local LLMはクラウドAPIに比べてセットアップのコストはかかりますが、プライバシー・コスト・レイテンシのすべてで優れています。弊社ではお客様の環境に合わせてクラウド/ローカルを選択して提案しています。
