2.4 KiB
2.4 KiB
Running Ollama on NVIDIA Jetson Devices
いくつかの細かい設定で、OllamaはNVIDIA Jetsonデバイスでうまく動作します。以下はJetPack 5.1.2でのテストが行われました。
NVIDIA Jetsonデバイスは、AIアプリケーション向けに特別に設計されたLinuxベースの組み込み型AIコンピュータです。
Jetsonにはメモリコントローラに直接接続された統合GPUがあります。このため、nvidia-smiコマンドは認識されず、Ollamaは「CPUのみ」モードで動作します。これは、jtopなどのモニタリングツールを使用して確認できます。
これを解決するために、Jetsonの事前インストールされたCUDAライブラリのパスを単純にollama serveに渡します（tmuxセッション内で）。そして、ターゲットモデルのクローンにnum_gpuパラメータをハードコードします。
事前に必要:
- curl
- tmux
以下は手順です：
- 標準のLinuxコマンドを使用してOllamaをインストールします（404エラーは無視してください）：
curl https://ollama.ai/install.sh | sh - Ollamaサービスを停止します：
sudo systemctl stop ollama tmuxセッションでOllama serveを起動します。これをollama_jetsonというtmuxセッションとして開始し、CUDAライブラリのパスを参照します：tmux has-session -t ollama_jetson 2>/dev/null || tmux new-session -d -s ollama_jetson 'LD_LIBRARY_PATH=/usr/local/cuda/lib64 ollama serve'- 使用したいモデル（例：mistral）を取得します：
ollama pull mistral - JetsonでGPUサポートを有効にするための新しいModelfileを作成します：
touch ModelfileMistralJetson - ModelfileMistralJetsonファイルで、以下に示すようにFROMモデルとnum_gpu PARAMETERを指定します：
FROM mistral
PARAMETER num_gpu 999
- Modelfileから新しいモデルを作成します：
ollama create mistral-jetson -f ./ModelfileMistralJetson - 新しいモデルを実行します：
ollama run mistral-jetson
jtopなどのモニタリングツールを実行すると、OllamaがJetsonの統合GPUを使用していることが確認できるはずです。
以上で完了です！