2.4 KiB
2.4 KiB
Running Ollama on NVIDIA Jetson Devices
いくつかの細かい設定で、Ollama は NVIDIA Jetsonデバイスでうまく動作します。以下は JetPack 5.1.2 でのテストが行われました。
NVIDIA Jetson デバイスは、AIアプリケーション向けに特別に設計されたLinuxベースの組み込み型AIコンピュータです。
Jetson にはメモリコントローラに直接接続された統合 GPU があります。このため、nvidia-smi コマンドは認識されず、Ollama は「CPUのみ」モードで動作します。これは、jtop などのモニタリングツールを使用して確認できます。
これを解決するために、Jetson の事前インストールされた CUDA ライブラリのパスを単純に ollama serve に渡します（tmuxセッション内で）。そして、ターゲットモデルのクローンに num_gpu パラメータをハードコードします。
事前に必要:
- curl
- tmux
以下は手順です：
- 標準の Linux コマンドを使用して Ollama をインストールします（404 エラーは無視してください）：
curl https://ollama.com/install.sh | sh - Ollama サービスを停止します：
sudo systemctl stop ollama tmuxセッションで Ollama serve を起動します。これをollama_jetsonという tmux セッションとして開始し、CUDA ライブラリのパスを参照します：tmux has-session -t ollama_jetson 2>/dev/null || tmux new-session -d -s ollama_jetson 'LD_LIBRARY_PATH=/usr/local/cuda/lib64 ollama serve'- 使用したいモデル（例：mistral ）を取得します：
ollama pull mistral - Jetson で GPU サポートを有効にするための新しい Modelfile を作成します：
touch ModelfileMistralJetson - ModelfileMistralJetson ファイルで、以下に示すように FROM モデルと num_gpu PARAMETER を指定します：
FROM mistral
PARAMETER num_gpu 999
- Modelfile から新しいモデルを作成します：
ollama create mistral-jetson -f ./ModelfileMistralJetson - 新しいモデルを実行します：
ollama run mistral-jetson
jtop などのモニタリングツールを実行すると、Ollama が Jetson の統合 GPU を使用していることが確認できるはずです。
以上で完了です！