37 lines
2.4 KiB
Markdown
37 lines
2.4 KiB
Markdown
# Running Ollama on NVIDIA Jetson Devices
|
||
|
||
いくつかの細かい設定で、Ollama は [NVIDIA Jetsonデバイス](https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/)でうまく動作します。以下は [JetPack 5.1.2](https://developer.nvidia.com/embedded/jetpack) でのテストが行われました。
|
||
|
||
NVIDIA Jetson デバイスは、AIアプリケーション向けに特別に設計されたLinuxベースの組み込み型AIコンピュータです。
|
||
|
||
Jetson にはメモリコントローラに直接接続された統合 GPU があります。このため、`nvidia-smi` コマンドは認識されず、Ollama は「CPUのみ」モードで動作します。これは、jtop などのモニタリングツールを使用して確認できます。
|
||
|
||
これを解決するために、Jetson の事前インストールされた CUDA ライブラリのパスを単純に `ollama serve` に渡します（tmuxセッション内で）。そして、ターゲットモデルのクローンに `num_gpu` パラメータをハードコードします。
|
||
|
||
事前に必要:
|
||
|
||
- curl
|
||
- tmux
|
||
|
||
以下は手順です：
|
||
|
||
- 標準の Linux コマンドを使用して Ollama をインストールします（404 エラーは無視してください）：`curl https://ollama.com/install.sh | sh`
|
||
- Ollama サービスを停止します：`sudo systemctl stop ollama`
|
||
- `tmux`セッションで Ollama serve を起動します。これを`ollama_jetson`という tmux セッションとして開始し、CUDA ライブラリのパスを参照します：`tmux has-session -t ollama_jetson 2>/dev/null || tmux new-session -d -s ollama_jetson 'LD_LIBRARY_PATH=/usr/local/cuda/lib64 ollama serve'`
|
||
- 使用したいモデル（例：mistral ）を取得します：`ollama pull mistral`
|
||
- Jetson で GPU サポートを有効にするための新しい Modelfile を作成します：`touch ModelfileMistralJetson`
|
||
- ModelfileMistralJetson ファイルで、以下に示すように FROM モデルと num_gpu PARAMETER を指定します：
|
||
|
||
```
|
||
FROM mistral
|
||
PARAMETER num_gpu 999
|
||
```
|
||
|
||
- Modelfile から新しいモデルを作成します：`ollama create mistral-jetson -f ./ModelfileMistralJetson`
|
||
- 新しいモデルを実行します：`ollama run mistral-jetson`
|
||
|
||
jtop などのモニタリングツールを実行すると、Ollama が Jetson の統合 GPU を使用していることが確認できるはずです。
|
||
|
||
以上で完了です！
|
||
|