1050 lines
39 KiB
Markdown
1050 lines
39 KiB
Markdown
# API
|
||
|
||
## エンドポイント
|
||
|
||
- [完了を生成する](#完了を生成する)
|
||
- [チャットの完了を生成する](#チャットの完了を生成する)
|
||
- [モデルを作成する](#モデルを作成する)
|
||
- [ローカルモデルの一覧表示](#ローカルモデルの一覧表示)
|
||
- [モデル情報の表示](#モデル情報の表示)
|
||
- [モデルのコピー](#モデルのコピー)
|
||
- [モデルの削除](#モデルの削除)
|
||
- [モデルのプル](#モデルのプル)
|
||
- [モデルのプッシュ](#モデルのプッシュ)
|
||
- [埋め込みの生成](#埋め込みの生成)
|
||
|
||
## コンベンション
|
||
|
||
### モデル名
|
||
|
||
モデルの名前は model:tag の形式に従います。ここで、model には example/model のようなオプションの名前空間が付くことがあります。いくつかの例として、orca-mini:3b-q4_1 や llama2:70b があります。tag はオプションで、指定されていない場合はデフォルトで latest になります。tag は特定のバージョンを識別するために使用されます。
|
||
|
||
### 期間
|
||
|
||
すべての期間はナノ秒で返されます。
|
||
|
||
### ストリーミング応答
|
||
|
||
特定のエンドポイントでは、JSON オブジェクトとして応答をストリーミングでき、オプションで非ストリーミングの応答を返すこともできます。
|
||
|
||
## 完了を生成する
|
||
|
||
```shell
|
||
POST /api/generate
|
||
```
|
||
|
||
指定されたプロンプトに対して提供されたモデルで応答を生成します。これはストリーミングエンドポイントですので、一連の応答があります。最終的な応答オブジェクトには、リクエストからの統計情報や追加のデータが含まれます。
|
||
|
||
### パラメータ
|
||
|
||
- `model`: （必須）[モデル名](#モデル名)
|
||
- `prompt`: 応答を生成するためのプロンプト
|
||
- `images`: （オプション）Base64 エンコードされた画像のリスト（`llava` などのマルチモーダルモデル用）
|
||
|
||
高度なパラメータ（オプション）:
|
||
|
||
- `format`: 応答の返却形式。現在唯一受け入れられている値は `json` です
|
||
- `options`: `temperature` など、[モデルファイル](./modelfile.md#有効なパラメータと値) のドキュメントにリストされている追加のモデルパラメーター
|
||
- `system`: （`Modelfile` で定義されたものを上書きする）システムメッセージ
|
||
- `template`: 使用するプロンプトテンプレート（`Modelfile` で定義されたものを上書きする）
|
||
- `context`: `/generate` への前回のリクエストから返されるコンテキストパラメーター。これは短い対話的なメモリを維持するために使用できます
|
||
- `stream`: `false` の場合、応答はオブジェクトのストリームではなく、単一の応答オブジェクトとして返されます
|
||
- `raw`: `true` の場合、プロンプトに書式設定を適用しません。API へのリクエストで完全なテンプレート化されたプロンプトを指定する場合は、`raw` パラメータを使用することができます。
|
||
- `keep_alive`: リクエスト後にモデルがメモリにロードされたままでいる時間を制御します（デフォルト： `5m`）。
|
||
|
||
|
||
#### JSON モード
|
||
|
||
`format` パラメータを `json` に設定することで、JSON モードを有効にできます。これにより、レスポンスが有効な JSON オブジェクトとして構造化されます。以下は JSON モードの[例](#request-json-mode)です。
|
||
|
||
> 注意: `prompt` でモデルに JSON を使用するように指示することが重要です。それ以外の場合、モデルは大量の空白を生成する可能性があります。
|
||
|
||
### 例
|
||
|
||
#### 生成リクエスト（ストリーミング）
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "Why is the sky blue?"
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSON オブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T08:52:19.385406455-07:00",
|
||
"response": "The",
|
||
"done": false
|
||
}
|
||
```
|
||
|
||
ストリーム内の最終応答には、生成に関する追加のデータも含まれます:
|
||
|
||
- `total_duration`: 応答の生成に費やした時間
|
||
- `load_duration`: モデルのロードに費やした時間 (ナノ秒)
|
||
- `prompt_eval_count`: プロンプト内のトークンの数
|
||
- `prompt_eval_duration`: プロンプトの評価に費やした時間 (ナノ秒)
|
||
- `eval_count`: 応答のトークンの数
|
||
- `eval_duration`: 応答の生成に費やされた時間 (ナノ秒)
|
||
- `context`: この応答で使用された会話のエンコード。これは会話のメモリを保持するために次のリクエストに送信できます
|
||
- `response`: ストリーミングされた場合は空です。ストリーミングされていない場合、これには完全な応答が含まれます
|
||
|
||
応答がトークン毎秒（token/s）でどれくらい速く生成されるかを計算するには、`eval_count` を `eval_duration` で割ります。
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"response": "",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 10706818083,
|
||
"load_duration": 6338219291,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 130079000,
|
||
"eval_count": 259,
|
||
"eval_duration": 4232710000
|
||
}
|
||
```
|
||
|
||
#### リクエスト（ストリーミングなし）
|
||
|
||
##### リクエスト
|
||
|
||
ストリーミングがオフの場合、1回の返信で応答を受け取ることができます。
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "Why is the sky blue?",
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
`stream` が `false` に設定されている場合、応答は単一の JSON オブジェクトになります:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"response": "The sky is blue because it is the color of the sky.",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 5043500667,
|
||
"load_duration": 5025959,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 325953000,
|
||
"eval_count": 290,
|
||
"eval_duration": 4709213000
|
||
}
|
||
```
|
||
|
||
<div id="request-json-mode">
|
||
<h4>リクエスト（JSON モード）</h4>
|
||
</div>
|
||
|
||
> `format` が `json` に設定されている場合、出力は常に整形された JSON オブジェクトになります。モデルにも JSON で応答するように指示することが重要です。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "What color is the sky at different times of the day? Respond using JSON",
|
||
"format": "json",
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-11-09T21:07:55.186497Z",
|
||
"response": "{\n\"morning\": {\n\"color\": \"blue\"\n},\n\"noon\": {\n\"color\": \"blue-gray\"\n},\n\"afternoon\": {\n\"color\": \"warm gray\"\n},\n\"evening\": {\n\"color\": \"orange\"\n}\n}\n",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 4648158584,
|
||
"load_duration": 4071084,
|
||
"prompt_eval_count": 36,
|
||
"prompt_eval_duration": 439038000,
|
||
"eval_count": 180,
|
||
"eval_duration": 4196918000
|
||
}
|
||
```
|
||
|
||
`response` の値は、次のような JSON を含む文字列になります:
|
||
|
||
```json
|
||
{
|
||
"morning": {
|
||
"color": "blue"
|
||
},
|
||
"noon": {
|
||
"color": "blue-gray"
|
||
},
|
||
"afternoon": {
|
||
"color": "warm gray"
|
||
},
|
||
"evening": {
|
||
"color": "orange"
|
||
}
|
||
}
|
||
```
|
||
|
||
#### リクエスト（画像付き）
|
||
|
||
`llava` や `bakllava` などのマルチモーダルモデルに画像を提出するには、Base64 エンコードされた `images` のリストを提供してください:
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llava",
|
||
"prompt":"What is in this picture?",
|
||
"stream": false,
|
||
"images": ["iVBORw0KGgoAAAANSUhEUgAAAG0AAABmCAYAAADBPx+VAAAACXBIWXMAAAsTAAALEwEAmpwYAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAA3VSURBVHgB7Z27r0zdG8fX743i1bi1ikMoFMQloXRpKFFIqI7LH4BEQ+NWIkjQuSWCRIEoULk0gsK1kCBI0IhrQVT7tz/7zZo888yz1r7MnDl7z5xvsjkzs2fP3uu71nNfa7lkAsm7d++Sffv2JbNmzUqcc8m0adOSzZs3Z+/XES4ZckAWJEGWPiCxjsQNLWmQsWjRIpMseaxcuTKpG/7HP27I8P79e7dq1ars/yL4/v27S0ejqwv+cUOGEGGpKHR37tzJCEpHV9tnT58+dXXCJDdECBE2Ojrqjh071hpNECjx4cMHVycM1Uhbv359B2F79+51586daxN/+pyRkRFXKyRDAqxEp4yMlDDzXG1NPnnyJKkThoK0VFd1ELZu3TrzXKxKfW7dMBQ6bcuWLW2v0VlHjx41z717927ba22U9APcw7Nnz1oGEPeL3m3p2mTAYYnFmMOMXybPPXv2bNIPpFZr1NHn4HMw0KRBjg9NuRw95s8PEcz/6DZELQd/09C9QGq5RsmSRybqkwHGjh07OsJSsYYm3ijPpyHzoiacg35MLdDSIS/O1yM778jOTwYUkKNHWUzUWaOsylE00MyI0fcnOwIdjvtNdW/HZwNLGg+sR1kMepSNJXmIwxBZiG8tDTpEZzKg0GItNsosY8USkxDhD0Rinuiko2gfL/RbiD2LZAjU9zKQJj8RDR0vJBR1/Phx9+PHj9Z7REF4nTZkxzX4LCXHrV271qXkBAPGfP/atWvu/PnzHe4C97F48eIsRLZ9+3a3f/9+87dwP1JxaF7/3r17ba+5l4EcaVo0lj3SBq5kGTJSQmLWMjgYNei2GPT1MuMqGTDEFHzeQSP2wi/jGnkmPJ/nhccs44jvDAxpVcxnq0F6eT8h4ni/iIWpR5lPyA6ETkNXoSukvpJAD3AsXLiwpZs49+fPn5ke4j10TqYvegSfn0OnafC+Tv9ooA/JPkgQysqQNBzagXY55nO/oa1F7qvIPWkRL12WRpMWUvpVDYmxAPehxWSe8ZEXL20sadYIozfmNch4QJPAfeJgW3rNsnzphBKNJM2KKODo1rVOMRYik5ETy3ix4qWNI81qAAirizgMIc+yhTytx0JWZuNI03qsrgWlGtwjoS9XwgUhWGyhUaRZZQNNIEwCiXD16tXcAHUs79co0vSD8rrJCIW98pzvxpAWyyo3HYwqS0+H0BjStClcZJT5coMm6D2LOF8TolGJtK9fvyZpyiC5ePFi9nc/oJU4eiEP0jVoAnHa9wyJycITMP78+eMeP37sXrx44d6+fdt6f82aNdkx1pg9e3Zb5W+RSRE+n+VjksQWifvVaTKFhn5O8my63K8Qabdv33b379/PiAP//vuvW7BggZszZ072/+TJk91YgkafPn166zXB1rQHFvouAWHq9z3SEevSUerqCn2/dDCeta2jxYbr69evk4MHDyY7d+7MjhMnTiTPnz9Pfv/+nfQT2ggpO2dMF8cghuoM7Ygj5iWCqRlGFml0QC/ftGmTmzt3rmsaKDsgBSPh0/8yPeLLBihLkOKJc0jp8H8vUzcxIA1k6QJ/c78tWEyj5P3o4u9+jywNPdJi5rAH9x0KHcl4Hg570eQp3+vHXGyrmEeigzQsQsjavXt38ujRo44LQuDDhw+TW7duRS1HGgMxhNXHgflaNTOsHyKvHK5Ijo2jbFjJBQK9YwFd6RVMzfgRBmEfP37suBBm/p49e1qjEP2mwTViNRo0VJWH1deMXcNK08uUjVUu7s/zRaL+oLNxz1bpANco4npUgX4G2eFbpDFyQoQxojBCpEGSytmOH8qrH5Q9vuzD6ofQylkCUmh8DBAr+q8JCyVNtWQIidKQE9wNtLSQnS4jDSsxNHogzFuQBw4cyM61UKVsjfr3ooBkPSqqQHesUPWVtzi9/vQi1T+rJj7WiTz4Pt/l3LxUkr5P2VYZaZ4URpsE+st/dujQoaBBYokbrz/8TJNQYLSonrPS9kUaSkPeZyj1AWSj+d+VBoy1pIWVNed8P0Ll/ee5HdGRhrHhR5GGN0r4LGZBaj8oFDJitBTJzIZgFcmU0Y8ytWMZMzJOaXUSrUs5RxKnrxmbb5YXO9VGUhtpXldhEUogFr3IzIsvlpmdosVcGVGXFWp2oU9kLFL3dEkSz6NHEY1sjSRdIuDFWEhd8KxFqsRi1uM/nz9/zpxnwlESONdg6dKlbsaMGS4EHFHtjFIDHwKOo46l4TxSuxgDzi+rE2jg+BaFruOX4HXa0Nnf1lwAPufZeF8/r6zD97WK2qFnGjBxTw5qNGPxT+5T/r7/7RawFC3j4vTp09koCxkeHjqbHJqArmH5UrFKKksnxrK7FuRIs8STfBZv+luugXZ2pR/pP9Ois4z+TiMzUUkUjD0iEi1fzX8GmXyuxUBRcaUfykV0YZnlJGKQpOiGB76x5GeWkWWJc3mOrK6S7xdND+W5N6XyaRgtWJFe13GkaZnKOsYqGdOVVVbGupsyA/l7emTLHi7vwTdirNEt0qxnzAvBFcnQF16xh/TMpUuXHDowhlA9vQVraQhkudRdzOnK+04ZSP3DUhVSP61YsaLtd/ks7ZgtPcXqPqEafHkdqa84X6aCeL7YWlv6edGFHb+ZFICPlljHhg0bKuk0CSvVznWsotRu433alNdFrqG45ejoaPCaUkWERpLXjzFL2Rpllp7PJU2a/v7Ab8N05/9t27Z16KUqoFGsxnI9EosS2niSYg9SpU6B4JgTrvVW1flt1sT+0ADIJU2maXzcUTraGCRaL1Wp9rUMk16PMom8QhruxzvZIegJjFU7LLCePfS8uaQdPny4jTTL0dbee5mYokQsXTIWNY46kuMbnt8Kmec+LGWtOVIl9cT1rCB0V8WqkjAsRwta93TbwNYoGKsUSChN44lgBNCoHLHzquYKrU6qZ8lolCIN0Rh6cP0Q3U6I6IXILYOQI513hJaSKAorFpuHXJNfVlpRtmYBk1Su1obZr5dnKAO+L10Hrj3WZW+E3qh6IszE37F6EB+68mGpvKm4eb9bFrlzrok7fvr0Kfv727dvWRmdVTJHw0qiiCUSZ6wCK+7XL/AcsgNyL74DQQ730sv78Su7+t/A36MdY0sW5o40ahslXr58aZ5HtZB8GH64m9EmMZ7FpYw4T6QnrZfgenrhFxaSiSGXtPnz57e9TkNZLvTjeqhr734CNtrK41L40sUQckmj1lGKQ0rC37x544r8eNXRpnVE3ZZY7zXo8NomiO0ZUCj2uHz58rbXoZ6gc0uA+F6ZeKS/jhRDUq8MKrTho9fEkihMmhxtBI1DxKFY9XLpVcSkfoi8JGnToZO5sU5aiDQIW716ddt7ZLYtMQlhECdBGXZZMWldY5BHm5xgAroWj4C0hbYkSc/jBmggIrXJWlZM6pSETsEPGqZOndr2uuuR5rF169a2HoHPdurUKZM4CO1WTPqaDaAd+GFGKdIQkxAn9RuEWcTRyN2KSUgiSgF5aWzPTeA/lN5rZubMmR2bE4SIC4nJoltgAV/dVefZm72AtctUCJU2CMJ327hxY9t7EHbkyJFseq+EJSY16RPo3Dkq1kkr7+q0bNmyDuLQcZBEPYmHVdOBiJyIlrRDq41YPWfXOxUysi5fvtyaj+2BpcnsUV/oSoEMOk2CQGlr4ckhBwaetBhjCwH0ZHtJROPJkyc7UjcYLDjmrH7ADTEBXFfOYmB0k9oYBOjJ8b4aOYSe7QkKcYhFlq3QYLQhSidNmtS2RATwy8YOM3EQJsUjKiaWZ+vZToUQgzhkHXudb/PW5YMHD9yZM2faPsMwoc7RciYJXbGuBqJ1UIGKKLv915jsvgtJxCZDubdXr165mzdvtr1Hz5LONA8jrUwKPqsmVesKa49S3Q4WxmRPUEYdTjgiUcfUwLx589ySJUva3oMkP6IYddq6HMS4o55xBJBUeRjzfa4Zdeg56QZ43LhxoyPo7Lf1kNt7oO8wWAbNwaYjIv5lhyS7kRf96dvm5Jah8vfvX3flyhX35cuX6HfzFHOToS1H4BenCaHvO8pr8iDuwoUL7tevX+b5ZdbBair0xkFIlFDlW4ZknEClsp/TzXyAKVOmmHWFVSbDNw1l1+4f90U6IY/q4V27dpnE9bJ+v87QEydjqx/UamVVPRG+mwkNTYN+9tjkwzEx+atCm/X9WvWtDtAb68Wy9LXa1UmvCDDIpPkyOQ5ZwSzJ4jMrvFcr0rSjOUh+GcT4LSg5ugkW1Io0/SCDQBojh0hPlaJdah+tkVYrnTZowP8iq1F1TgMBBauufyB33x1v+NWFYmT5KmppgHC+NkAgbmRkpD3yn9QIseXymoTQFGQmIOKTxiZIWpvAatenVqRVXf2nTrAWMsPnKrMZHz6bJq5jvce6QK8J1cQNgKxlJapMPdZSR64/UivS9NztpkVEdKcrs5alhhWP9NeqlfWopzhZScI6QxseegZRGeg5a8C3Re1Mfl1ScP36ddcUaMuv24iOJtz7sbUjTS4qBvKmstYJoUauiuD3k5qhyr7QdUHMeCgLa1Ear9NquemdXgmum4fvJ6w1lqsuDhNrg1qSpleJK7K3TF0Q2jSd94uSZ60kK1e3qyVpQK6PVWXp2/FC3mp6jBhKKOiY2h3gtUV64TWM6wDETRPLDfSakXmH3w8g9Jlug8ZtTt4kVF0kLUYYmCCtD/DrQ5YhMGbA9L3ucdjh0y8kOHW5gU/VEEmJTcL4Pz/f7mgoAbYkAAAAAElFTkSuQmCC"]
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
```
|
||
{
|
||
"model": "llava",
|
||
"created_at": "2023-11-03T15:36:02.583064Z",
|
||
"response": "A happy cartoon character, which is cute and cheerful.",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 2938432250,
|
||
"load_duration": 2559292,
|
||
"prompt_eval_count": 1,
|
||
"prompt_eval_duration": 2195557000,
|
||
"eval_count": 44,
|
||
"eval_duration": 736432000
|
||
}
|
||
```
|
||
|
||
#### リクエスト (Raw モード)Request (Raw Mode)
|
||
|
||
場合によっては、テンプレートシステムをバイパスして完全なプロンプトを提供したい場合があります。その場合、`raw` パラメーターを使用してテンプレート処理を無効にすることができます。また、raw モードではコンテキストが返されないことに注意してください。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "mistral",
|
||
"prompt": "[INST] why is the sky blue? [/INST]",
|
||
"raw": true,
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
#### リクエスト（再現可能な出力）
|
||
|
||
再現可能な出力を得るために、`temperature` を 0 に設定し、`seed` を数字に設定します。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "mistral",
|
||
"prompt": "Why is the sky blue?",
|
||
"options": {
|
||
"seed": 123,
|
||
"temperature": 0
|
||
}
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "mistral",
|
||
"created_at": "2023-11-03T15:36:02.583064Z",
|
||
"response": " The sky appears blue because of a phenomenon called Rayleigh scattering.",
|
||
"done": true,
|
||
"total_duration": 8493852375,
|
||
"load_duration": 6589624375,
|
||
"prompt_eval_count": 14,
|
||
"prompt_eval_duration": 119039000,
|
||
"eval_count": 110,
|
||
"eval_duration": 1779061000
|
||
}
|
||
```
|
||
|
||
#### リクエストの生成（オプションあり）
|
||
|
||
モデルの設定を Modelfile ではなく実行時にカスタムオプションで設定したい場合は、`options` パラメータを使用できます。この例ではすべての利用可能なオプションを設定していますが、個々のオプションを任意に設定し、上書きしたくないものは省略できます。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "Why is the sky blue?",
|
||
"stream": false,
|
||
"options": {
|
||
"num_keep": 5,
|
||
"seed": 42,
|
||
"num_predict": 100,
|
||
"top_k": 20,
|
||
"top_p": 0.9,
|
||
"tfs_z": 0.5,
|
||
"typical_p": 0.7,
|
||
"repeat_last_n": 33,
|
||
"temperature": 0.8,
|
||
"repeat_penalty": 1.2,
|
||
"presence_penalty": 1.5,
|
||
"frequency_penalty": 1.0,
|
||
"mirostat": 1,
|
||
"mirostat_tau": 0.8,
|
||
"mirostat_eta": 0.6,
|
||
"penalize_newline": true,
|
||
"stop": ["\n", "user:"],
|
||
"numa": false,
|
||
"num_ctx": 1024,
|
||
"num_batch": 2,
|
||
"num_gqa": 1,
|
||
"num_gpu": 1,
|
||
"main_gpu": 0,
|
||
"low_vram": false,
|
||
"f16_kv": true,
|
||
"vocab_only": false,
|
||
"use_mmap": true,
|
||
"use_mlock": false,
|
||
"embedding_only": false,
|
||
"rope_frequency_base": 1.1,
|
||
"rope_frequency_scale": 0.8,
|
||
"num_thread": 8
|
||
}
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"response": "The sky is blue because it is the color of the sky.",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 4935886791,
|
||
"load_duration": 534986708,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 107345000,
|
||
"eval_count": 237,
|
||
"eval_duration": 4289432000
|
||
}
|
||
```
|
||
|
||
#### モデルの読み込み
|
||
|
||
空のプロンプトが提供されると、モデルがメモリに読み込まれます。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2"
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
単一の JSON オブジェクトが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-12-18T19:52:07.071755Z",
|
||
"response": "",
|
||
"done": true
|
||
}
|
||
```
|
||
|
||
## チャットの完了を生成する
|
||
|
||
```shell
|
||
POST /api/chat
|
||
```
|
||
|
||
提供されたモデルとのチャットで次のメッセージを生成します。これはストリーミングエンドポイントですので、一連の応答があります。`"stream": false` を使用してストリーミングを無効にすることができます。最終的な応答オブジェクトには、リクエストからの統計情報や追加のデータが含まれます。
|
||
|
||
### パラメータ
|
||
|
||
- `model`: （必須） [モデル名](#モデル名)
|
||
- `messages`: チャットのメッセージ。これはチャットのメモリを保持するために使用できます
|
||
|
||
`message` オブジェクトには以下のフィールドがあります:
|
||
|
||
- `role`: メッセージの役割、`system`、`user`、または `assistant` のいずれか
|
||
- `content`:メッセージの内容
|
||
- `images` （オプション）: メッセージに含める画像のリスト（`llava`などのマルチモーダルモデル用）
|
||
|
||
高度なパラメータ（オプション）:
|
||
|
||
- `format`: 応答を返す形式。現在唯一受け入れられている値は `json` です
|
||
- `options`: [Modelfile](./modelfile.md#有効なパラメータと値)のドキュメントにリストされている追加のモデルパラメーター（`temperature`など）
|
||
- `template`: 使用するプロンプトテンプレート（`Modelfile` で定義されたものを上書きする）
|
||
- `stream`: `false` の場合、応答はオブジェクトのストリームではなく、単一の応答オブジェクトとして返されます
|
||
- `keep_alive`: リクエスト後にモデルがメモリにロードされたままになる時間を制御します（デフォルト： `5m`）
|
||
|
||
### 例
|
||
|
||
#### チャットリクエスト（ストリーミング）
|
||
|
||
##### リクエスト
|
||
|
||
ストリーミング応答でチャットメッセージを送信します。
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "why is the sky blue?"
|
||
}
|
||
]
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSON オブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T08:52:19.385406455-07:00",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "The",
|
||
"images": null
|
||
},
|
||
"done": false
|
||
}
|
||
```
|
||
|
||
最終レスポンス:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"done": true,
|
||
"total_duration": 4883583458,
|
||
"load_duration": 1334875,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 342546000,
|
||
"eval_count": 282,
|
||
"eval_duration": 4535599000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト (ストリーミングなし)
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "why is the sky blue?"
|
||
}
|
||
],
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "registry.ollama.ai/library/llama2:latest",
|
||
"created_at": "2023-12-12T14:13:43.416799Z",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "Hello! How are you today?"
|
||
},
|
||
"done": true,
|
||
"total_duration": 5191566416,
|
||
"load_duration": 2154458,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 383809000,
|
||
"eval_count": 298,
|
||
"eval_duration": 4799921000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト（履歴あり）
|
||
|
||
会話履歴を持つチャットメッセージを送信してください。この方法は、multi-shot や chain-of-thought プロンプトを使用して会話を開始する際にも同じように利用できます。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "why is the sky blue?"
|
||
},
|
||
{
|
||
"role": "assistant",
|
||
"content": "due to rayleigh scattering."
|
||
},
|
||
{
|
||
"role": "user",
|
||
"content": "how is that different than mie scattering?"
|
||
}
|
||
]
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSON オブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T08:52:19.385406455-07:00",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "The"
|
||
},
|
||
"done": false
|
||
}
|
||
```
|
||
|
||
最終レスポンス:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"done": true,
|
||
"total_duration": 8113331500,
|
||
"load_duration": 6396458,
|
||
"prompt_eval_count": 61,
|
||
"prompt_eval_duration": 398801000,
|
||
"eval_count": 468,
|
||
"eval_duration": 7701267000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト（画像付き）
|
||
|
||
##### リクエスト
|
||
|
||
チャットメッセージと会話履歴を送信します。
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llava",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "what is in this image?",
|
||
"images": ["iVBORw0KGgoAAAANSUhEUgAAAG0AAABmCAYAAADBPx+VAAAACXBIWXMAAAsTAAALEwEAmpwYAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAA3VSURBVHgB7Z27r0zdG8fX743i1bi1ikMoFMQloXRpKFFIqI7LH4BEQ+NWIkjQuSWCRIEoULk0gsK1kCBI0IhrQVT7tz/7zZo888yz1r7MnDl7z5xvsjkzs2fP3uu71nNfa7lkAsm7d++Sffv2JbNmzUqcc8m0adOSzZs3Z+/XES4ZckAWJEGWPiCxjsQNLWmQsWjRIpMseaxcuTKpG/7HP27I8P79e7dq1ars/yL4/v27S0ejqwv+cUOGEGGpKHR37tzJCEpHV9tnT58+dXXCJDdECBE2Ojrqjh071hpNECjx4cMHVycM1Uhbv359B2F79+51586daxN/+pyRkRFXKyRDAqxEp4yMlDDzXG1NPnnyJKkThoK0VFd1ELZu3TrzXKxKfW7dMBQ6bcuWLW2v0VlHjx41z717927ba22U9APcw7Nnz1oGEPeL3m3p2mTAYYnFmMOMXybPPXv2bNIPpFZr1NHn4HMw0KRBjg9NuRw95s8PEcz/6DZELQd/09C9QGq5RsmSRybqkwHGjh07OsJSsYYm3ijPpyHzoiacg35MLdDSIS/O1yM778jOTwYUkKNHWUzUWaOsylE00MyI0fcnOwIdjvtNdW/HZwNLGg+sR1kMepSNJXmIwxBZiG8tDTpEZzKg0GItNsosY8USkxDhD0Rinuiko2gfL/RbiD2LZAjU9zKQJj8RDR0vJBR1/Phx9+PHj9Z7REF4nTZkxzX4LCXHrV271qXkBAPGfP/atWvu/PnzHe4C97F48eIsRLZ9+3a3f/9+87dwP1JxaF7/3r17ba+5l4EcaVo0lj3SBq5kGTJSQmLWMjgYNei2GPT1MuMqGTDEFHzeQSP2wi/jGnkmPJ/nhccs44jvDAxpVcxnq0F6eT8h4ni/iIWpR5lPyA6ETkNXoSukvpJAD3AsXLiwpZs49+fPn5ke4j10TqYvegSfn0OnafC+Tv9ooA/JPkgQysqQNBzagXY55nO/oa1F7qvIPWkRL12WRpMWUvpVDYmxAPehxWSe8ZEXL20sadYIozfmNch4QJPAfeJgW3rNsnzphBKNJM2KKODo1rVOMRYik5ETy3ix4qWNI81qAAirizgMIc+yhTytx0JWZuNI03qsrgWlGtwjoS9XwgUhWGyhUaRZZQNNIEwCiXD16tXcAHUs79co0vSD8rrJCIW98pzvxpAWyyo3HYwqS0+H0BjStClcZJT5coMm6D2LOF8TolGJtK9fvyZpyiC5ePFi9nc/oJU4eiEP0jVoAnHa9wyJycITMP78+eMeP37sXrx44d6+fdt6f82aNdkx1pg9e3Zb5W+RSRE+n+VjksQWifvVaTKFhn5O8my63K8Qabdv33b379/PiAP//vuvW7BggZszZ072/+TJk91YgkafPn166zXB1rQHFvouAWHq9z3SEevSUerqCn2/dDCeta2jxYbr69evk4MHDyY7d+7MjhMnTiTPnz9Pfv/+nfQT2ggpO2dMF8cghuoM7Ygj5iWCqRlGFml0QC/ftGmTmzt3rmsaKDsgBSPh0/8yPeLLBihLkOKJc0jp8H8vUzcxIA1k6QJ/c78tWEyj5P3o4u9+jywNPdJi5rAH9x0KHcl4Hg570eQp3+vHXGyrmEeigzQsQsjavXt38ujRo44LQuDDhw+TW7duRS1HGgMxhNXHgflaNTOsHyKvHK5Ijo2jbFjJBQK9YwFd6RVMzfgRBmEfP37suBBm/p49e1qjEP2mwTViNRo0VJWH1deMXcNK08uUjVUu7s/zRaL+oLNxz1bpANco4npUgX4G2eFbpDFyQoQxojBCpEGSytmOH8qrH5Q9vuzD6ofQylkCUmh8DBAr+q8JCyVNtWQIidKQE9wNtLSQnS4jDSsxNHogzFuQBw4cyM61UKVsjfr3ooBkPSqqQHesUPWVtzi9/vQi1T+rJj7WiTz4Pt/l3LxUkr5P2VYZaZ4URpsE+st/dujQoaBBYokbrz/8TJNQYLSonrPS9kUaSkPeZyj1AWSj+d+VBoy1pIWVNed8P0Ll/ee5HdGRhrHhR5GGN0r4LGZBaj8oFDJitBTJzIZgFcmU0Y8ytWMZMzJOaXUSrUs5RxKnrxmbb5YXO9VGUhtpXldhEUogFr3IzIsvlpmdosVcGVGXFWp2oU9kLFL3dEkSz6NHEY1sjSRdIuDFWEhd8KxFqsRi1uM/nz9/zpxnwlESONdg6dKlbsaMGS4EHFHtjFIDHwKOo46l4TxSuxgDzi+rE2jg+BaFruOX4HXa0Nnf1lwAPufZeF8/r6zD97WK2qFnGjBxTw5qNGPxT+5T/r7/7RawFC3j4vTp09koCxkeHjqbHJqArmH5UrFKKksnxrK7FuRIs8STfBZv+luugXZ2pR/pP9Ois4z+TiMzUUkUjD0iEi1fzX8GmXyuxUBRcaUfykV0YZnlJGKQpOiGB76x5GeWkWWJc3mOrK6S7xdND+W5N6XyaRgtWJFe13GkaZnKOsYqGdOVVVbGupsyA/l7emTLHi7vwTdirNEt0qxnzAvBFcnQF16xh/TMpUuXHDowhlA9vQVraQhkudRdzOnK+04ZSP3DUhVSP61YsaLtd/ks7ZgtPcXqPqEafHkdqa84X6aCeL7YWlv6edGFHb+ZFICPlljHhg0bKuk0CSvVznWsotRu433alNdFrqG45ejoaPCaUkWERpLXjzFL2Rpllp7PJU2a/v7Ab8N05/9t27Z16KUqoFGsxnI9EosS2niSYg9SpU6B4JgTrvVW1flt1sT+0ADIJU2maXzcUTraGCRaL1Wp9rUMk16PMom8QhruxzvZIegJjFU7LLCePfS8uaQdPny4jTTL0dbee5mYokQsXTIWNY46kuMbnt8Kmec+LGWtOVIl9cT1rCB0V8WqkjAsRwta93TbwNYoGKsUSChN44lgBNCoHLHzquYKrU6qZ8lolCIN0Rh6cP0Q3U6I6IXILYOQI513hJaSKAorFpuHXJNfVlpRtmYBk1Su1obZr5dnKAO+L10Hrj3WZW+E3qh6IszE37F6EB+68mGpvKm4eb9bFrlzrok7fvr0Kfv727dvWRmdVTJHw0qiiCUSZ6wCK+7XL/AcsgNyL74DQQ730sv78Su7+t/A36MdY0sW5o40ahslXr58aZ5HtZB8GH64m9EmMZ7FpYw4T6QnrZfgenrhFxaSiSGXtPnz57e9TkNZLvTjeqhr734CNtrK41L40sUQckmj1lGKQ0rC37x544r8eNXRpnVE3ZZY7zXo8NomiO0ZUCj2uHz58rbXoZ6gc0uA+F6ZeKS/jhRDUq8MKrTho9fEkihMmhxtBI1DxKFY9XLpVcSkfoi8JGnToZO5sU5aiDQIW716ddt7ZLYtMQlhECdBGXZZMWldY5BHm5xgAroWj4C0hbYkSc/jBmggIrXJWlZM6pSETsEPGqZOndr2uuuR5rF169a2HoHPdurUKZM4CO1WTPqaDaAd+GFGKdIQkxAn9RuEWcTRyN2KSUgiSgF5aWzPTeA/lN5rZubMmR2bE4SIC4nJoltgAV/dVefZm72AtctUCJU2CMJ327hxY9t7EHbkyJFseq+EJSY16RPo3Dkq1kkr7+q0bNmyDuLQcZBEPYmHVdOBiJyIlrRDq41YPWfXOxUysi5fvtyaj+2BpcnsUV/oSoEMOk2CQGlr4ckhBwaetBhjCwH0ZHtJROPJkyc7UjcYLDjmrH7ADTEBXFfOYmB0k9oYBOjJ8b4aOYSe7QkKcYhFlq3QYLQhSidNmtS2RATwy8YOM3EQJsUjKiaWZ+vZToUQgzhkHXudb/PW5YMHD9yZM2faPsMwoc7RciYJXbGuBqJ1UIGKKLv915jsvgtJxCZDubdXr165mzdvtr1Hz5LONA8jrUwKPqsmVesKa49S3Q4WxmRPUEYdTjgiUcfUwLx589ySJUva3oMkP6IYddq6HMS4o55xBJBUeRjzfa4Zdeg56QZ43LhxoyPo7Lf1kNt7oO8wWAbNwaYjIv5lhyS7kRf96dvm5Jah8vfvX3flyhX35cuX6HfzFHOToS1H4BenCaHvO8pr8iDuwoUL7tevX+b5ZdbBair0xkFIlFDlW4ZknEClsp/TzXyAKVOmmHWFVSbDNw1l1+4f90U6IY/q4V27dpnE9bJ+v87QEydjqx/UamVVPRG+mwkNTYN+9tjkwzEx+atCm/X9WvWtDtAb68Wy9LXa1UmvCDDIpPkyOQ5ZwSzJ4jMrvFcr0rSjOUh+GcT4LSg5ugkW1Io0/SCDQBojh0hPlaJdah+tkVYrnTZowP8iq1F1TgMBBauufyB33x1v+NWFYmT5KmppgHC+NkAgbmRkpD3yn9QIseXymoTQFGQmIOKTxiZIWpvAatenVqRVXf2nTrAWMsPnKrMZHz6bJq5jvce6QK8J1cQNgKxlJapMPdZSR64/UivS9NztpkVEdKcrs5alhhWP9NeqlfWopzhZScI6QxseegZRGeg5a8C3Re1Mfl1ScP36ddcUaMuv24iOJtz7sbUjTS4qBvKmstYJoUauiuD3k5qhyr7QdUHMeCgLa1Ear9NquemdXgmum4fvJ6w1lqsuDhNrg1qSpleJK7K3TF0Q2jSd94uSZ60kK1e3qyVpQK6PVWXp2/FC3mp6jBhKKOiY2h3gtUV64TWM6wDETRPLDfSakXmH3w8g9Jlug8ZtTt4kVF0kLUYYmCCtD/DrQ5YhMGbA9L3ucdjh0y8kOHW5gU/VEEmJTcL4Pz/f7mgoAbYkAAAAAElFTkSuQmCC"]
|
||
}
|
||
]
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "llava",
|
||
"created_at": "2023-12-13T22:42:50.203334Z",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": " The image features a cute, little pig with an angry facial expression. It's wearing a heart on its shirt and is waving in the air. This scene appears to be part of a drawing or sketching project.",
|
||
"images": null
|
||
},
|
||
"done": true,
|
||
"total_duration": 1668506709,
|
||
"load_duration": 1986209,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 359682000,
|
||
"eval_count": 83,
|
||
"eval_duration": 1303285000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト（再現可能な出力）
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "Hello!"
|
||
}
|
||
],
|
||
"options": {
|
||
"seed": 101,
|
||
"temperature": 0
|
||
}
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "registry.ollama.ai/library/llama2:latest",
|
||
"created_at": "2023-12-12T14:13:43.416799Z",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "Hello! How are you today?"
|
||
},
|
||
"done": true,
|
||
"total_duration": 5191566416,
|
||
"load_duration": 2154458,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 383809000,
|
||
"eval_count": 298,
|
||
"eval_duration": 4799921000
|
||
}
|
||
```
|
||
|
||
## モデルを作成する
|
||
|
||
```shell
|
||
POST /api/create
|
||
```
|
||
|
||
[`Modelfile`](./modelfile.md) を使ってモデルを作成する場合、`path` を設定するだけではなく、Modelfile の内容自体を `modelfile` フィールドに設定することを推奨します。これは、リモートでのモデル作成が必要な場合に必須です。
|
||
|
||
リモートでモデルを作成する際には、`FROM` や `ADAPTER` など、ファイルブロブ (file blobs) を含む全てのフィールドについても、[Create a Blob](#create-a-blob) API を使ってサーバーに明示的に作成し、レスポンスで返却されたパスを Modelfile に設定する必要があります。
|
||
|
||
|
||
### パラメーター
|
||
|
||
- `name`: 作成するモデルの名前
|
||
- `modelfile` （オプション）: Modelfile の内容
|
||
- `stream`: （オプション）: `false` の場合、応答はオブジェクトのストリームではなく、単一の応答オブジェクトとして返されます
|
||
- `path` （オプション）: Modelfile へのパス
|
||
|
||
### 例
|
||
|
||
#### 新しいモデルを作成する
|
||
|
||
`Modelfile` から新しいモデルを作成します。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/create -d '{
|
||
"name": "mario",
|
||
"modelfile": "FROM llama2\nSYSTEM You are mario from Super Mario Bros."
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSON オブジェクトのストリーム。最終的な JSON オブジェクトには `"status": "success"` が表示されることに注意してください。
|
||
|
||
```json
|
||
{"status":"reading model metadata"}
|
||
{"status":"creating system layer"}
|
||
{"status":"using already created layer sha256:22f7f8ef5f4c791c1b03d7eb414399294764d7cc82c7e94aa81a1feb80a983a2"}
|
||
{"status":"using already created layer sha256:8c17c2ebb0ea011be9981cc3922db8ca8fa61e828c5d3f44cb6ae342bf80460b"}
|
||
{"status":"using already created layer sha256:7c23fb36d80141c4ab8cdbb61ee4790102ebd2bf7aeff414453177d4f2110e5d"}
|
||
{"status":"using already created layer sha256:2e0493f67d0c8c9c68a8aeacdf6a38a2151cb3c4c1d42accf296e19810527988"}
|
||
{"status":"using already created layer sha256:2759286baa875dc22de5394b4a925701b1896a7e3f8e53275c36f75a877a82c9"}
|
||
{"status":"writing layer sha256:df30045fe90f0d750db82a058109cecd6d4de9c90a3d75b19c09e5f64580bb42"}
|
||
{"status":"writing layer sha256:f18a68eb09bf925bb1b669490407c1b1251c5db98dc4d3d81f3088498ea55690"}
|
||
{"status":"writing manifest"}
|
||
{"status":"success"}
|
||
```
|
||
|
||
### Blob の存在を確認
|
||
|
||
```shell
|
||
HEAD /api/blobs/:digest
|
||
```
|
||
|
||
`FROM` または `ADAPTER` フィールドに使用されるファイルブロブがサーバー上に存在することを確認します。これは Ollama.ai ではなく、あなたの Ollama サーバーを確認しています。
|
||
|
||
|
||
#### クエリパラメータ
|
||
|
||
- `digest`: BLOB の SHA256 ダイジェスト
|
||
|
||
#### 例
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl -I http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
ブロブが存在する場合は 200 OK を返し、存在しない場合は 404 Not Found を返します。
|
||
|
||
### Create a Blob
|
||
|
||
```shell
|
||
POST /api/blobs/:digest
|
||
```
|
||
|
||
サーバー上のファイルからブロブを作成します。サーバーのファイルパスを返します。
|
||
|
||
|
||
#### クエリパラメータ
|
||
|
||
- `digest`: ファイルの予想される SHA256 ダイジェスト
|
||
|
||
#### 例
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl -T model.bin -X POST http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
ブロブが成功製作された場合は 201 Created を返し、使用されたダイジェストが予想外の場合は 400 Bad Request を返します。
|
||
|
||
## ローカルモデルの一覧表示
|
||
|
||
```shell
|
||
GET /api/tags
|
||
```
|
||
|
||
ローカルで利用可能なモデルの一覧を表示します。
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/tags
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
単一の JSON オブジェクトが返されます。
|
||
|
||
```json
|
||
{
|
||
"models": [
|
||
{
|
||
"name": "codellama:13b",
|
||
"modified_at": "2023-11-04T14:56:49.277302595-07:00",
|
||
"size": 7365960935,
|
||
"digest": "9f438cb9cd581fc025612d27f7c1a6669ff83a8bb0ed86c94fcf4c5440555697",
|
||
"details": {
|
||
"format": "gguf",
|
||
"family": "llama",
|
||
"families": null,
|
||
"parameter_size": "13B",
|
||
"quantization_level": "Q4_0"
|
||
}
|
||
},
|
||
{
|
||
"name": "llama2:latest",
|
||
"modified_at": "2023-12-07T09:32:18.757212583-08:00",
|
||
"size": 3825819519,
|
||
"digest": "fe938a131f40e6f6d40083c9f0f430a515233eb2edaa6d72eb85c50d64f2300e",
|
||
"details": {
|
||
"format": "gguf",
|
||
"family": "llama",
|
||
"families": null,
|
||
"parameter_size": "7B",
|
||
"quantization_level": "Q4_0"
|
||
}
|
||
}
|
||
]
|
||
}
|
||
```
|
||
|
||
## モデル情報の表示
|
||
|
||
```shell
|
||
POST /api/show
|
||
```
|
||
|
||
モデルに関する情報を表示します。詳細、モデルファイル、テンプレート、パラメータ、ライセンス、およびシステムプロンプトを含みます。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: 表示するモデルの名前
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/show -d '{
|
||
"name": "llama2"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
```json
|
||
{
|
||
"modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this one, replace the FROM line with:\n# FROM llava:latest\n\nFROM /Users/matt/.ollama/models/blobs/sha256:200765e1283640ffbd013184bf496e261032fa75b99498a9613be4e94d63ad52\nTEMPLATE \"\"\"{{ .System }}\nUSER: {{ .Prompt }}\nASSSISTANT: \"\"\"\nPARAMETER num_ctx 4096\nPARAMETER stop \"\u003c/s\u003e\"\nPARAMETER stop \"USER:\"\nPARAMETER stop \"ASSSISTANT:\"",
|
||
"parameters": "num_ctx 4096\nstop \u003c/s\u003e\nstop USER:\nstop ASSSISTANT:",
|
||
"template": "{{ .System }}\nUSER: {{ .Prompt }}\nASSSISTANT: ",
|
||
"details": {
|
||
"format": "gguf",
|
||
"family": "llama",
|
||
"families": ["llama", "clip"],
|
||
"parameter_size": "7B",
|
||
"quantization_level": "Q4_0"
|
||
}
|
||
}
|
||
```
|
||
|
||
## モデルのコピー
|
||
|
||
```shell
|
||
POST /api/copy
|
||
```
|
||
|
||
モデルをコピーします。既存のモデルから別の名前のモデルを作成します。
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/copy -d '{
|
||
"source": "llama2",
|
||
"destination": "llama2-backup"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
成功した場合は 200 OK を返し、ソースモデルが存在しない場合は 404 Not Found を返します。
|
||
|
||
## モデルの削除
|
||
|
||
```shell
|
||
DELETE /api/delete
|
||
```
|
||
|
||
モデルとそのデータを削除します。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: 削除するモデル名
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl -X DELETE http://localhost:11434/api/delete -d '{
|
||
"name": "llama2:13b"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
成功した場合は 200 OK を返し、削除されるモデルが存在しない場合は 404 Not Found を返します。
|
||
|
||
## モデルのプル
|
||
|
||
```shell
|
||
POST /api/pull
|
||
```
|
||
|
||
Ollama ライブラリからモデルをダウンロードします。キャンセルされたプルは中断した場所から再開され、複数の呼び出しは同じダウンロード進捗を共有します。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: プルするモデルの名前
|
||
- `insecure`: (オプション) ライブラリへの安全でない接続を許可します。開発中に自分のライブラリからプルする場合にのみ使用してください
|
||
- `stream`: (オプション) `false` の場合、レスポンスはオブジェクトのストリームではなく、単一のレスポンスオブジェクトとして返されます
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/pull -d '{
|
||
"name": "llama2"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
`stream`が指定されていないか、または `true` に設定されている場合、JSON オブジェクトのストリームが返されます:
|
||
|
||
最初のオブジェクトはマニフェストです:
|
||
|
||
```json
|
||
{
|
||
"status": "pulling manifest"
|
||
}
|
||
```
|
||
|
||
その後、一連のダウンロードの応答があります。ダウンロードが完了するまで、`completed` キーは含まれないかもしれません。ダウンロードするファイルの数は、マニフェストで指定されたレイヤーの数に依存します。
|
||
|
||
```json
|
||
{
|
||
"status": "downloading digestname",
|
||
"digest": "digestname",
|
||
"total": 2142590208,
|
||
"completed": 241970
|
||
}
|
||
```
|
||
|
||
すべてのファイルがダウンロードされたら、最終的な応答は以下の通りです：
|
||
|
||
```json
|
||
{
|
||
"status": "verifying sha256 digest"
|
||
}
|
||
{
|
||
"status": "writing manifest"
|
||
}
|
||
{
|
||
"status": "removing any unused layers"
|
||
}
|
||
{
|
||
"status": "success"
|
||
}
|
||
```
|
||
`stream` が `false` に設定されている場合、応答は単一の JSON オブジェクトです:
|
||
|
||
```json
|
||
{
|
||
"status": "success"
|
||
}
|
||
```
|
||
|
||
## モデルのプッシュ
|
||
|
||
```shell
|
||
POST /api/push
|
||
```
|
||
|
||
モデルをモデルライブラリにアップロードします。まず、ollama.aiに登録し、公開鍵を追加する必要があります。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: `<namespace>/<model>:<tag>` の形式でプッシュするモデルの名前
|
||
- `insecure`: （オプション）ライブラリへの安全でない接続を許可します。開発中にライブラリにプッシュする場合のみ使用してください
|
||
- `stream`: （オプション）`false` の場合、レスポンスは単一のレスポンスオブジェクトとして返されます。オブジェクトのストリームではありません
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/push -d '{
|
||
"name": "mattw/pygmalion:latest"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
`stream` が指定されていないか、または `true` に設定されている場合、JSON オブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{ "status": "retrieving manifest" }
|
||
```
|
||
|
||
その後:
|
||
|
||
```json
|
||
{
|
||
"status": "starting upload",
|
||
"digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
|
||
"total": 1928429856
|
||
}
|
||
```
|
||
|
||
次に、アップロードの応答が続きます:
|
||
|
||
```json
|
||
{
|
||
"status": "starting upload",
|
||
"digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
|
||
"total": 1928429856
|
||
}
|
||
```
|
||
|
||
最後に、アップロードが完了すると"
|
||
|
||
```json
|
||
{"status":"pushing manifest"}
|
||
{"status":"success"}
|
||
```
|
||
|
||
`stream` が `false` に設定されている場合、応答は単一の JSON オブジェクトとなります:
|
||
|
||
```json
|
||
{ "status": "success" }
|
||
```
|
||
|
||
## 埋め込みの生成
|
||
|
||
```shell
|
||
POST /api/embeddings
|
||
```
|
||
|
||
モデルから埋め込みを生成する
|
||
|
||
### パラメーター
|
||
|
||
- `model`: 埋め込みを生成するモデルの名前
|
||
- `prompt`: 埋め込みを生成するためのテキスト
|
||
|
||
高度なパラメータ:
|
||
|
||
- `options`: `Modelfile` の[ドキュメント](./modelfile.md#有効なパラメータと値)にリストされている `temperature` などの追加のモデルパラメータ
|
||
- `keep_alive`：リクエスト後にモデルがメモリにロードされたままとどまる時間を制御します（デフォルト：`5m`）
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/embeddings -d '{
|
||
"model": "all-minilm",
|
||
"prompt": "Here is an article about llamas..."
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
```json
|
||
{
|
||
"embedding": [
|
||
0.5670403838157654, 0.009260174818336964, 0.23178744316101074, -0.2916173040866852, -0.8924556970596313,
|
||
0.8785552978515625, -0.34576427936553955, 0.5742510557174683, -0.04222835972905159, -0.137906014919281
|
||
]
|
||
}
|
||
```
|