third-party-mirrors/ollama
1
0
Fork 1
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
ollama/README_ja.md
Jesse C. Lin 791cdf416c Added Japanese translation of documentation
2024-02-05 19:05:38 +08:00

12 KiB
Raw Blame History

ollama

Ollama

Discord

大規模な言語モデルをローカルでセットアップし、実行しましょう。

macOS

Download

Windows

近日公開予定！現時点では、WSL2を介してWindowsにOllamaをインストールすることができます。

Linux と WSL2

curl https://ollama.ai/install.sh | sh

手動インストール手順

Docker

公式の Ollama Docker イメージ である ollama/ollama は Docker Hub で利用可能です。

ライブラリー

クイックスタート

Llama 2 を実行してチャットするには：

ollama run llama2

モデルライブラリ

Ollamaはollama.ai/libraryで利用可能なオープンソースモデルのリストをサポートしています。

以下はダウンロード可能ないくつかのオープンソースモデルの例です：

モデル パラメーター サイズ ダウンロード
Llama 2 7B 3.8GB ollama run llama2
Mistral 7B 4.1GB ollama run mistral
Dolphin Phi 2.7B 1.6GB ollama run dolphin-phi
Phi-2 2.7B 1.7GB ollama run phi
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
Llama 2 13B 13B 7.3GB ollama run llama2:13b
Llama 2 70B 70B 39GB ollama run llama2:70b
Orca Mini 3B 1.9GB ollama run orca-mini
Vicuna 7B 3.8GB ollama run vicuna
LLaVA 7B 4.5GB ollama run llava

注意: 7Bモデルを実行するには少なくとも8 GBのRAMが必要であり、13Bモデルを実行するには16 GB、33Bモデルを実行するには32 GBが必要です。

モデルをカスタマイズする

GGUF からインポート

OllamaはModelfileでのGGUFモデルのインポートをサポートしています。

  1. Modelfileという名前のファイルを作成し、インポートしたいモデルのローカルファイルパスを指定するFROM命令を記述します。

    FROM ./vicuna-33b.Q4_0.gguf

  2. Ollamaでモデルを作成します。

    ollama create example -f Modelfile

  3. モデルを実行します。

    ollama run example

PyTorch または Safetensor からのインポート

詳細については、ガイドを参照してください。

プロンプトをカスタマイズする

Ollamaライブラリのモデルは、プロンプトでカスタマイズできます。たとえば、llama2モデルをカスタマイズするには、次のようにします：

ollama pull llama2

Modelfileを作成してください：

FROM llama2

# 温度を1に設定してください（高いほど創造的、低いほど論理的）。
PARAMETER temperature 1

# システムメッセージを設定してください。
SYSTEM """
あなたはスーパーマリオブラザーズのマリオです。マリオ、アシスタントとしてのみお答えください。
"""

次に、モデルを作成して実行してください：

ollama create mario -f ./Modelfile
ollama run mario
>>> こんにちは！
マリオだよ。

さらなる例については、examples ディレクトリを参照してください。Modelfileの操作に関する詳細は、Modelfile のドキュメントをご覧ください。

CLI リファレンス

モデルを作成する

ollama create は、Modelfile からモデルを作成するために使用されます。

ollama create mymodel -f ./Modelfile

モデルを引っ張る

ollama pull llama2

このコマンドは、ローカルのモデルを更新するためにも使用できます。 差分のみが取得されます。

モデルを削除する

ollama rm llama2

モデルをコピーする

ollama cp llama2 my-llama2

複数行入力

複数行の入力の場合、テキストを """ で囲むことができます：

>>> """こんにちは、
... 世界！
... """
私は基本的なプログラムで、コンソールに有名な「こんにちは、世界！」のメッセージを表示します。

マルチモーダルモデル

>>> この画像には何がありますか？ /Users/jmorgan/Desktop/smile.png
画像には黄色い笑顔の絵文字があり、おそらく画像の中心的な焦点です。

プロンプトを引数として渡します

$ ollama run llama2 "このファイルを要約してください：$(cat README_ja.md)"
 Ollamaは、ローカルマシン上で言語モデルを構築および実行するための軽量で拡張可能なフレームワークです。モデルの作成、実行、および管理のためのシンプルなAPIを提供し、さらにさまざまなアプリケーションで簡単に使用できる事前に構築されたモデルのライブラリも提供しています。

コンピュータ上のモデルをリストする

ollama list

オラマを開始

ollama serveは、デスクトップアプリケーションを実行せずにOllamaを起動したい場合に使用します。

ビルディング

cmakeとgoをインストールしてください:

brew install cmake go

その後、依存関係を生成してください:

go generate ./...

その後、バイナリをビルドしてください:

go build .

より詳細な手順は開発者ガイドに記載されています。

ローカルビルドの実行

次に、サーバーを起動しますL

./ollama serve

最後に、別のシェルでモデルを実行します:

./ollama run llama2

REST API

Ollamaにはモデルの実行と管理のためのREST APIがあります。

応答を生成する

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"空はなぜ青いのでしょうか？"
}'

モデルとチャットする

curl http://localhost:11434/api/chat -d '{
  "model": "mistral",
  "messages": [
    { "role": "user", "content": "空はなぜ青いのでしょうか？" }
  ]
}'

すべてのエンドポイントについては、APIドキュメントを参照してください。

コミュニティの統合

ウェブとデスクトップ

ターミナル

データベース

パッケージマネージャー

ライブラリー

携帯

拡張機能とプラグイン