985 lines
37 KiB
Markdown
985 lines
37 KiB
Markdown
# API
|
||
|
||
## エンドポイント
|
||
|
||
- [完了を生成する](#完了を生成する)
|
||
- [チャットの完了を生成する](#チャットの完了を生成する)
|
||
- [モデルを作成する](#モデルを作成する)
|
||
- [ローカルモデルの一覧表示](#ローカルモデルの一覧表示)
|
||
- [モデル情報の表示](#モデル情報の表示)
|
||
- [モデルのコピー](#モデルのコピー)
|
||
- [モデルの削除](#モデルの削除)
|
||
- [モデルのプル](#モデルのプル)
|
||
- [モデルのプッシュ](#モデルのプッシュ)
|
||
- [埋め込みの生成](#埋め込みの生成)
|
||
|
||
## コンベンション
|
||
|
||
### モデル名
|
||
|
||
モデルの名前は model:tag の形式に従います。ここで、model には example/model のようなオプションの名前空間が付くことがあります。いくつかの例として、orca-mini:3b-q4_1 や llama2:70b があります。tag はオプションで、指定されていない場合はデフォルトで latest になります。tag は特定のバージョンを識別するために使用されます。
|
||
|
||
### 期間
|
||
|
||
すべての期間はナノ秒で返されます。
|
||
|
||
### ストリーミング応答
|
||
|
||
特定のエンドポイントでは、JSONオブジェクトとして応答をストリーミングでき、オプションで非ストリーミングの応答を返すこともできます。
|
||
|
||
## 完了を生成する
|
||
|
||
```shell
|
||
POST /api/generate
|
||
```
|
||
|
||
指定されたプロンプトに対して提供されたモデルで応答を生成します。これはストリーミングエンドポイントですので、一連の応答があります。最終的な応答オブジェクトには、リクエストからの統計情報や追加のデータが含まれます。
|
||
|
||
### パラメータ
|
||
|
||
- `model`: （必須）[モデル名](#モデル名)
|
||
- `prompt`: 応答を生成するためのプロンプト
|
||
- `images`: （オプション）Base64エンコードされた画像のリスト（`llava`などのマルチモーダルモデル用）
|
||
|
||
高度なパラメータ（オプション）:
|
||
|
||
- `format`: 応答の返却形式。現在唯一受け入れられている値は `json` です
|
||
- `options`: `temperature` など、[モデルファイル](./modelfile.md#有効なパラメータと値) のドキュメントにリストされている追加のモデルパラメーター
|
||
- `system`: （`Modelfile` で定義されたものを上書きする）システムメッセージ
|
||
- `template`: 使用するプロンプトテンプレート（`Modelfile` で定義されたものを上書きする）
|
||
- `context`: `/generate` への前回のリクエストから返されるコンテキストパラメーター。これは短い対話的なメモリを維持するために使用できます
|
||
- `stream`: `false` の場合、応答はオブジェクトのストリームではなく、単一の応答オブジェクトとして返されます
|
||
- `raw`: `true` の場合、プロンプトには書式設定が適用されません。APIへのリクエストで完全なテンプレート化されたプロンプトを指定する場合は、`raw`
|
||
|
||
#### JSONモード
|
||
|
||
`format` パラメーターを `json` に設定して JSON モードを有効にします。これにより、応答が有効な JSON オブジェクトとして構造化されます。以下にJSONモードの[例](#generate-request-json-mode) を参照してください。
|
||
|
||
> 注意: `prompt` でモデルにJSONを使用するように指示することが重要です。それ以外の場合、モデルは大量の空白を生成する可能性があります。
|
||
|
||
### 例
|
||
|
||
#### 生成リクエスト（ストリーミング）
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "Why is the sky blue?"
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSONオブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T08:52:19.385406455-07:00",
|
||
"response": "The",
|
||
"done": false
|
||
}
|
||
```
|
||
|
||
ストリーム内の最終応答には、生成に関する追加のデータも含まれます:
|
||
|
||
- `total_duration`: 応答の生成に費やした時間
|
||
- `load_duration`: モデルのロードに費やした時間 (ナノ秒)
|
||
- `prompt_eval_count`: プロンプト内のトークンの数
|
||
- `prompt_eval_duration`: プロンプトの評価に費やした時間 (ナノ秒)
|
||
- `eval_count`: 応答のトークンの数
|
||
- `eval_duration`: 応答の生成に費やされた時間 (ナノ秒)
|
||
- `context`: この応答で使用された会話のエンコード。これは会話のメモリを保持するために次のリクエストに送信できます
|
||
- `response`: ストリーミングされた場合は空です。ストリーミングされていない場合、これには完全な応答が含まれます
|
||
|
||
応答がトークン毎秒（token/s）でどれくらい速く生成されるかを計算するには、`eval_count` を `eval_duration` で割ります。
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"response": "",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 10706818083,
|
||
"load_duration": 6338219291,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 130079000,
|
||
"eval_count": 259,
|
||
"eval_duration": 4232710000
|
||
}
|
||
```
|
||
|
||
#### リクエスト（ストリーミングなし）
|
||
|
||
##### リクエスト
|
||
|
||
ストリーミングがオフの場合、1回の返信で応答を受け取ることができます。
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "Why is the sky blue?",
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
`stream` が `false` に設定されている場合、応答は単一のJSONオブジェクトになります:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"response": "The sky is blue because it is the color of the sky.",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 5043500667,
|
||
"load_duration": 5025959,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 325953000,
|
||
"eval_count": 290,
|
||
"eval_duration": 4709213000
|
||
}
|
||
```
|
||
|
||
#### リクエスト（JSONモード）
|
||
|
||
> `format` が `json` に設定されている場合、出力は常に整形されたJSONオブジェクトになります。モデルにもJSONで応答するように指示することが重要です。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "What color is the sky at different times of the day? Respond using JSON",
|
||
"format": "json",
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-11-09T21:07:55.186497Z",
|
||
"response": "{\n\"morning\": {\n\"color\": \"blue\"\n},\n\"noon\": {\n\"color\": \"blue-gray\"\n},\n\"afternoon\": {\n\"color\": \"warm gray\"\n},\n\"evening\": {\n\"color\": \"orange\"\n}\n}\n",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 4648158584,
|
||
"load_duration": 4071084,
|
||
"prompt_eval_count": 36,
|
||
"prompt_eval_duration": 439038000,
|
||
"eval_count": 180,
|
||
"eval_duration": 4196918000
|
||
}
|
||
```
|
||
|
||
`response` の値は、次のようなJSONを含む文字列になります:
|
||
|
||
```json
|
||
{
|
||
"morning": {
|
||
"color": "blue"
|
||
},
|
||
"noon": {
|
||
"color": "blue-gray"
|
||
},
|
||
"afternoon": {
|
||
"color": "warm gray"
|
||
},
|
||
"evening": {
|
||
"color": "orange"
|
||
}
|
||
}
|
||
```
|
||
|
||
#### リクエスト（画像付き）
|
||
|
||
`llava` や `bakllava` などのマルチモーダルモデルに画像を提出するには、Base64エンコードされた `images` のリストを提供してください:
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llava",
|
||
"prompt":"What is in this picture?",
|
||
"stream": false,
|
||
"images": ["iVBORw0KGgoAAAANSUhEUgAAAG0AAABmCAYAAADBPx+VAAAACXBIWXMAAAsTAAALEwEAmpwYAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAA3VSURBVHgB7Z27r0zdG8fX743i1bi1ikMoFMQloXRpKFFIqI7LH4BEQ+NWIkjQuSWCRIEoULk0gsK1kCBI0IhrQVT7tz/7zZo888yz1r7MnDl7z5xvsjkzs2fP3uu71nNfa7lkAsm7d++Sffv2JbNmzUqcc8m0adOSzZs3Z+/XES4ZckAWJEGWPiCxjsQNLWmQsWjRIpMseaxcuTKpG/7HP27I8P79e7dq1ars/yL4/v27S0ejqwv+cUOGEGGpKHR37tzJCEpHV9tnT58+dXXCJDdECBE2Ojrqjh071hpNECjx4cMHVycM1Uhbv359B2F79+51586daxN/+pyRkRFXKyRDAqxEp4yMlDDzXG1NPnnyJKkThoK0VFd1ELZu3TrzXKxKfW7dMBQ6bcuWLW2v0VlHjx41z717927ba22U9APcw7Nnz1oGEPeL3m3p2mTAYYnFmMOMXybPPXv2bNIPpFZr1NHn4HMw0KRBjg9NuRw95s8PEcz/6DZELQd/09C9QGq5RsmSRybqkwHGjh07OsJSsYYm3ijPpyHzoiacg35MLdDSIS/O1yM778jOTwYUkKNHWUzUWaOsylE00MyI0fcnOwIdjvtNdW/HZwNLGg+sR1kMepSNJXmIwxBZiG8tDTpEZzKg0GItNsosY8USkxDhD0Rinuiko2gfL/RbiD2LZAjU9zKQJj8RDR0vJBR1/Phx9+PHj9Z7REF4nTZkxzX4LCXHrV271qXkBAPGfP/atWvu/PnzHe4C97F48eIsRLZ9+3a3f/9+87dwP1JxaF7/3r17ba+5l4EcaVo0lj3SBq5kGTJSQmLWMjgYNei2GPT1MuMqGTDEFHzeQSP2wi/jGnkmPJ/nhccs44jvDAxpVcxnq0F6eT8h4ni/iIWpR5lPyA6ETkNXoSukvpJAD3AsXLiwpZs49+fPn5ke4j10TqYvegSfn0OnafC+Tv9ooA/JPkgQysqQNBzagXY55nO/oa1F7qvIPWkRL12WRpMWUvpVDYmxAPehxWSe8ZEXL20sadYIozfmNch4QJPAfeJgW3rNsnzphBKNJM2KKODo1rVOMRYik5ETy3ix4qWNI81qAAirizgMIc+yhTytx0JWZuNI03qsrgWlGtwjoS9XwgUhWGyhUaRZZQNNIEwCiXD16tXcAHUs79co0vSD8rrJCIW98pzvxpAWyyo3HYwqS0+H0BjStClcZJT5coMm6D2LOF8TolGJtK9fvyZpyiC5ePFi9nc/oJU4eiEP0jVoAnHa9wyJycITMP78+eMeP37sXrx44d6+fdt6f82aNdkx1pg9e3Zb5W+RSRE+n+VjksQWifvVaTKFhn5O8my63K8Qabdv33b379/PiAP//vuvW7BggZszZ072/+TJk91YgkafPn166zXB1rQHFvouAWHq9z3SEevSUerqCn2/dDCeta2jxYbr69evk4MHDyY7d+7MjhMnTiTPnz9Pfv/+nfQT2ggpO2dMF8cghuoM7Ygj5iWCqRlGFml0QC/ftGmTmzt3rmsaKDsgBSPh0/8yPeLLBihLkOKJc0jp8H8vUzcxIA1k6QJ/c78tWEyj5P3o4u9+jywNPdJi5rAH9x0KHcl4Hg570eQp3+vHXGyrmEeigzQsQsjavXt38ujRo44LQuDDhw+TW7duRS1HGgMxhNXHgflaNTOsHyKvHK5Ijo2jbFjJBQK9YwFd6RVMzfgRBmEfP37suBBm/p49e1qjEP2mwTViNRo0VJWH1deMXcNK08uUjVUu7s/zRaL+oLNxz1bpANco4npUgX4G2eFbpDFyQoQxojBCpEGSytmOH8qrH5Q9vuzD6ofQylkCUmh8DBAr+q8JCyVNtWQIidKQE9wNtLSQnS4jDSsxNHogzFuQBw4cyM61UKVsjfr3ooBkPSqqQHesUPWVtzi9/vQi1T+rJj7WiTz4Pt/l3LxUkr5P2VYZaZ4URpsE+st/dujQoaBBYokbrz/8TJNQYLSonrPS9kUaSkPeZyj1AWSj+d+VBoy1pIWVNed8P0Ll/ee5HdGRhrHhR5GGN0r4LGZBaj8oFDJitBTJzIZgFcmU0Y8ytWMZMzJOaXUSrUs5RxKnrxmbb5YXO9VGUhtpXldhEUogFr3IzIsvlpmdosVcGVGXFWp2oU9kLFL3dEkSz6NHEY1sjSRdIuDFWEhd8KxFqsRi1uM/nz9/zpxnwlESONdg6dKlbsaMGS4EHFHtjFIDHwKOo46l4TxSuxgDzi+rE2jg+BaFruOX4HXa0Nnf1lwAPufZeF8/r6zD97WK2qFnGjBxTw5qNGPxT+5T/r7/7RawFC3j4vTp09koCxkeHjqbHJqArmH5UrFKKksnxrK7FuRIs8STfBZv+luugXZ2pR/pP9Ois4z+TiMzUUkUjD0iEi1fzX8GmXyuxUBRcaUfykV0YZnlJGKQpOiGB76x5GeWkWWJc3mOrK6S7xdND+W5N6XyaRgtWJFe13GkaZnKOsYqGdOVVVbGupsyA/l7emTLHi7vwTdirNEt0qxnzAvBFcnQF16xh/TMpUuXHDowhlA9vQVraQhkudRdzOnK+04ZSP3DUhVSP61YsaLtd/ks7ZgtPcXqPqEafHkdqa84X6aCeL7YWlv6edGFHb+ZFICPlljHhg0bKuk0CSvVznWsotRu433alNdFrqG45ejoaPCaUkWERpLXjzFL2Rpllp7PJU2a/v7Ab8N05/9t27Z16KUqoFGsxnI9EosS2niSYg9SpU6B4JgTrvVW1flt1sT+0ADIJU2maXzcUTraGCRaL1Wp9rUMk16PMom8QhruxzvZIegJjFU7LLCePfS8uaQdPny4jTTL0dbee5mYokQsXTIWNY46kuMbnt8Kmec+LGWtOVIl9cT1rCB0V8WqkjAsRwta93TbwNYoGKsUSChN44lgBNCoHLHzquYKrU6qZ8lolCIN0Rh6cP0Q3U6I6IXILYOQI513hJaSKAorFpuHXJNfVlpRtmYBk1Su1obZr5dnKAO+L10Hrj3WZW+E3qh6IszE37F6EB+68mGpvKm4eb9bFrlzrok7fvr0Kfv727dvWRmdVTJHw0qiiCUSZ6wCK+7XL/AcsgNyL74DQQ730sv78Su7+t/A36MdY0sW5o40ahslXr58aZ5HtZB8GH64m9EmMZ7FpYw4T6QnrZfgenrhFxaSiSGXtPnz57e9TkNZLvTjeqhr734CNtrK41L40sUQckmj1lGKQ0rC37x544r8eNXRpnVE3ZZY7zXo8NomiO0ZUCj2uHz58rbXoZ6gc0uA+F6ZeKS/jhRDUq8MKrTho9fEkihMmhxtBI1DxKFY9XLpVcSkfoi8JGnToZO5sU5aiDQIW716ddt7ZLYtMQlhECdBGXZZMWldY5BHm5xgAroWj4C0hbYkSc/jBmggIrXJWlZM6pSETsEPGqZOndr2uuuR5rF169a2HoHPdurUKZM4CO1WTPqaDaAd+GFGKdIQkxAn9RuEWcTRyN2KSUgiSgF5aWzPTeA/lN5rZubMmR2bE4SIC4nJoltgAV/dVefZm72AtctUCJU2CMJ327hxY9t7EHbkyJFseq+EJSY16RPo3Dkq1kkr7+q0bNmyDuLQcZBEPYmHVdOBiJyIlrRDq41YPWfXOxUysi5fvtyaj+2BpcnsUV/oSoEMOk2CQGlr4ckhBwaetBhjCwH0ZHtJROPJkyc7UjcYLDjmrH7ADTEBXFfOYmB0k9oYBOjJ8b4aOYSe7QkKcYhFlq3QYLQhSidNmtS2RATwy8YOM3EQJsUjKiaWZ+vZToUQgzhkHXudb/PW5YMHD9yZM2faPsMwoc7RciYJXbGuBqJ1UIGKKLv915jsvgtJxCZDubdXr165mzdvtr1Hz5LONA8jrUwKPqsmVesKa49S3Q4WxmRPUEYdTjgiUcfUwLx589ySJUva3oMkP6IYddq6HMS4o55xBJBUeRjzfa4Zdeg56QZ43LhxoyPo7Lf1kNt7oO8wWAbNwaYjIv5lhyS7kRf96dvm5Jah8vfvX3flyhX35cuX6HfzFHOToS1H4BenCaHvO8pr8iDuwoUL7tevX+b5ZdbBair0xkFIlFDlW4ZknEClsp/TzXyAKVOmmHWFVSbDNw1l1+4f90U6IY/q4V27dpnE9bJ+v87QEydjqx/UamVVPRG+mwkNTYN+9tjkwzEx+atCm/X9WvWtDtAb68Wy9LXa1UmvCDDIpPkyOQ5ZwSzJ4jMrvFcr0rSjOUh+GcT4LSg5ugkW1Io0/SCDQBojh0hPlaJdah+tkVYrnTZowP8iq1F1TgMBBauufyB33x1v+NWFYmT5KmppgHC+NkAgbmRkpD3yn9QIseXymoTQFGQmIOKTxiZIWpvAatenVqRVXf2nTrAWMsPnKrMZHz6bJq5jvce6QK8J1cQNgKxlJapMPdZSR64/UivS9NztpkVEdKcrs5alhhWP9NeqlfWopzhZScI6QxseegZRGeg5a8C3Re1Mfl1ScP36ddcUaMuv24iOJtz7sbUjTS4qBvKmstYJoUauiuD3k5qhyr7QdUHMeCgLa1Ear9NquemdXgmum4fvJ6w1lqsuDhNrg1qSpleJK7K3TF0Q2jSd94uSZ60kK1e3qyVpQK6PVWXp2/FC3mp6jBhKKOiY2h3gtUV64TWM6wDETRPLDfSakXmH3w8g9Jlug8ZtTt4kVF0kLUYYmCCtD/DrQ5YhMGbA9L3ucdjh0y8kOHW5gU/VEEmJTcL4Pz/f7mgoAbYkAAAAAElFTkSuQmCC"]
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
```
|
||
{
|
||
"model": "llava",
|
||
"created_at": "2023-11-03T15:36:02.583064Z",
|
||
"response": "A happy cartoon character, which is cute and cheerful.",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 2938432250,
|
||
"load_duration": 2559292,
|
||
"prompt_eval_count": 1,
|
||
"prompt_eval_duration": 2195557000,
|
||
"eval_count": 44,
|
||
"eval_duration": 736432000
|
||
}
|
||
```
|
||
|
||
#### リクエスト (Raw モード)Request (Raw Mode)
|
||
|
||
In some cases, you may wish to bypass the templating system and provide a full prompt. In this case, you can use the `raw` parameter to disable templating. Also note that raw mode will not return a context.
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "mistral",
|
||
"prompt": "[INST] why is the sky blue? [/INST]",
|
||
"raw": true,
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "mistral",
|
||
"created_at": "2023-11-03T15:36:02.583064Z",
|
||
"response": " The sky appears blue because of a phenomenon called Rayleigh scattering.",
|
||
"done": true,
|
||
"total_duration": 8493852375,
|
||
"load_duration": 6589624375,
|
||
"prompt_eval_count": 14,
|
||
"prompt_eval_duration": 119039000,
|
||
"eval_count": 110,
|
||
"eval_duration": 1779061000
|
||
}
|
||
```
|
||
|
||
#### リクエストの生成（オプションあり）
|
||
|
||
モデルの設定をModelfileではなく実行時にカスタムオプションで設定したい場合は、`options` パラメータを使用できます。この例ではすべての利用可能なオプションを設定していますが、個々のオプションを任意に設定し、上書きしたくないものは省略できます。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2",
|
||
"prompt": "Why is the sky blue?",
|
||
"stream": false,
|
||
"options": {
|
||
"num_keep": 5,
|
||
"seed": 42,
|
||
"num_predict": 100,
|
||
"top_k": 20,
|
||
"top_p": 0.9,
|
||
"tfs_z": 0.5,
|
||
"typical_p": 0.7,
|
||
"repeat_last_n": 33,
|
||
"temperature": 0.8,
|
||
"repeat_penalty": 1.2,
|
||
"presence_penalty": 1.5,
|
||
"frequency_penalty": 1.0,
|
||
"mirostat": 1,
|
||
"mirostat_tau": 0.8,
|
||
"mirostat_eta": 0.6,
|
||
"penalize_newline": true,
|
||
"stop": ["\n", "user:"],
|
||
"numa": false,
|
||
"num_ctx": 1024,
|
||
"num_batch": 2,
|
||
"num_gqa": 1,
|
||
"num_gpu": 1,
|
||
"main_gpu": 0,
|
||
"low_vram": false,
|
||
"f16_kv": true,
|
||
"vocab_only": false,
|
||
"use_mmap": true,
|
||
"use_mlock": false,
|
||
"embedding_only": false,
|
||
"rope_frequency_base": 1.1,
|
||
"rope_frequency_scale": 0.8,
|
||
"num_thread": 8
|
||
}
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"response": "The sky is blue because it is the color of the sky.",
|
||
"done": true,
|
||
"context": [1, 2, 3],
|
||
"total_duration": 4935886791,
|
||
"load_duration": 534986708,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 107345000,
|
||
"eval_count": 237,
|
||
"eval_duration": 4289432000
|
||
}
|
||
```
|
||
|
||
#### モデルの読み込み
|
||
|
||
If an empty prompt is provided, the model will be loaded into memory.
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/generate -d '{
|
||
"model": "llama2"
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
単一のJSONオブジェクトが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-12-18T19:52:07.071755Z",
|
||
"response": "",
|
||
"done": true
|
||
}
|
||
```
|
||
|
||
## チャットの完了を生成する
|
||
|
||
```shell
|
||
POST /api/chat
|
||
```
|
||
|
||
提供されたモデルとのチャットで次のメッセージを生成します。これはストリーミングエンドポイントですので、一連の応答があります。`"stream": false` を使用してストリーミングを無効にすることができます。最終的な応答オブジェクトには、リクエストからの統計情報や追加のデータが含まれます。
|
||
|
||
### パラメータ
|
||
|
||
- `model`: （必須） [モデル名](#モデル名)
|
||
- `messages`: チャットのメッセージ。これはチャットのメモリを保持するために使用できます
|
||
|
||
`message` オブジェクトには以下のフィールドがあります:
|
||
|
||
- `role`: メッセージの役割、`system`、`user`、または `assistant` のいずれか
|
||
- `content`:メッセージの内容
|
||
- `images` （オプション）: メッセージに含める画像のリスト（`llava`などのマルチモーダルモデル用）
|
||
|
||
高度なパラメータ（オプション）:
|
||
|
||
- `format`: 応答を返す形式。現在唯一受け入れられている値は `json` です
|
||
- `options`: [Modelfile](./modelfile.md#有効なパラメータと値)のドキュメントにリストされている追加のモデルパラメーター（`temperature`など）
|
||
- `template`: 使用するプロンプトテンプレート（`Modelfile`で定義されたものを上書きする）
|
||
- `stream`: `false`の場合、応答はオブジェクトのストリームではなく、単一の応答オブジェクトとして返されます
|
||
|
||
### 例
|
||
|
||
#### チャットリクエスト（ストリーミング）
|
||
|
||
##### リクエスト
|
||
|
||
ストリーミング応答でチャットメッセージを送信します。
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "why is the sky blue?"
|
||
}
|
||
]
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSONオブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T08:52:19.385406455-07:00",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "The",
|
||
"images": null
|
||
},
|
||
"done": false
|
||
}
|
||
```
|
||
|
||
最終レスポンス:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"done": true,
|
||
"total_duration": 4883583458,
|
||
"load_duration": 1334875,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 342546000,
|
||
"eval_count": 282,
|
||
"eval_duration": 4535599000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト (ストリーミングなし)
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "why is the sky blue?"
|
||
}
|
||
],
|
||
"stream": false
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "registry.ollama.ai/library/llama2:latest",
|
||
"created_at": "2023-12-12T14:13:43.416799Z",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "Hello! How are you today?"
|
||
},
|
||
"done": true,
|
||
"total_duration": 5191566416,
|
||
"load_duration": 2154458,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 383809000,
|
||
"eval_count": 298,
|
||
"eval_duration": 4799921000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト（履歴あり）
|
||
|
||
Send a chat message with a conversation history. You can use this same approach to start the conversation using multi-shot or chain-of-thought prompting.
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llama2",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "why is the sky blue?"
|
||
},
|
||
{
|
||
"role": "assistant",
|
||
"content": "due to rayleigh scattering."
|
||
},
|
||
{
|
||
"role": "user",
|
||
"content": "how is that different than mie scattering?"
|
||
}
|
||
]
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSONオブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T08:52:19.385406455-07:00",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": "The"
|
||
},
|
||
"done": false
|
||
}
|
||
```
|
||
|
||
最終レスポンス:
|
||
|
||
```json
|
||
{
|
||
"model": "llama2",
|
||
"created_at": "2023-08-04T19:22:45.499127Z",
|
||
"done": true,
|
||
"total_duration": 8113331500,
|
||
"load_duration": 6396458,
|
||
"prompt_eval_count": 61,
|
||
"prompt_eval_duration": 398801000,
|
||
"eval_count": 468,
|
||
"eval_duration": 7701267000
|
||
}
|
||
```
|
||
|
||
#### チャットリクエスト（画像付き）
|
||
|
||
##### リクエスト
|
||
|
||
チャットメッセージと会話履歴を送信します。
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/chat -d '{
|
||
"model": "llava",
|
||
"messages": [
|
||
{
|
||
"role": "user",
|
||
"content": "what is in this image?",
|
||
"images": ["iVBORw0KGgoAAAANSUhEUgAAAG0AAABmCAYAAADBPx+VAAAACXBIWXMAAAsTAAALEwEAmpwYAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAA3VSURBVHgB7Z27r0zdG8fX743i1bi1ikMoFMQloXRpKFFIqI7LH4BEQ+NWIkjQuSWCRIEoULk0gsK1kCBI0IhrQVT7tz/7zZo888yz1r7MnDl7z5xvsjkzs2fP3uu71nNfa7lkAsm7d++Sffv2JbNmzUqcc8m0adOSzZs3Z+/XES4ZckAWJEGWPiCxjsQNLWmQsWjRIpMseaxcuTKpG/7HP27I8P79e7dq1ars/yL4/v27S0ejqwv+cUOGEGGpKHR37tzJCEpHV9tnT58+dXXCJDdECBE2Ojrqjh071hpNECjx4cMHVycM1Uhbv359B2F79+51586daxN/+pyRkRFXKyRDAqxEp4yMlDDzXG1NPnnyJKkThoK0VFd1ELZu3TrzXKxKfW7dMBQ6bcuWLW2v0VlHjx41z717927ba22U9APcw7Nnz1oGEPeL3m3p2mTAYYnFmMOMXybPPXv2bNIPpFZr1NHn4HMw0KRBjg9NuRw95s8PEcz/6DZELQd/09C9QGq5RsmSRybqkwHGjh07OsJSsYYm3ijPpyHzoiacg35MLdDSIS/O1yM778jOTwYUkKNHWUzUWaOsylE00MyI0fcnOwIdjvtNdW/HZwNLGg+sR1kMepSNJXmIwxBZiG8tDTpEZzKg0GItNsosY8USkxDhD0Rinuiko2gfL/RbiD2LZAjU9zKQJj8RDR0vJBR1/Phx9+PHj9Z7REF4nTZkxzX4LCXHrV271qXkBAPGfP/atWvu/PnzHe4C97F48eIsRLZ9+3a3f/9+87dwP1JxaF7/3r17ba+5l4EcaVo0lj3SBq5kGTJSQmLWMjgYNei2GPT1MuMqGTDEFHzeQSP2wi/jGnkmPJ/nhccs44jvDAxpVcxnq0F6eT8h4ni/iIWpR5lPyA6ETkNXoSukvpJAD3AsXLiwpZs49+fPn5ke4j10TqYvegSfn0OnafC+Tv9ooA/JPkgQysqQNBzagXY55nO/oa1F7qvIPWkRL12WRpMWUvpVDYmxAPehxWSe8ZEXL20sadYIozfmNch4QJPAfeJgW3rNsnzphBKNJM2KKODo1rVOMRYik5ETy3ix4qWNI81qAAirizgMIc+yhTytx0JWZuNI03qsrgWlGtwjoS9XwgUhWGyhUaRZZQNNIEwCiXD16tXcAHUs79co0vSD8rrJCIW98pzvxpAWyyo3HYwqS0+H0BjStClcZJT5coMm6D2LOF8TolGJtK9fvyZpyiC5ePFi9nc/oJU4eiEP0jVoAnHa9wyJycITMP78+eMeP37sXrx44d6+fdt6f82aNdkx1pg9e3Zb5W+RSRE+n+VjksQWifvVaTKFhn5O8my63K8Qabdv33b379/PiAP//vuvW7BggZszZ072/+TJk91YgkafPn166zXB1rQHFvouAWHq9z3SEevSUerqCn2/dDCeta2jxYbr69evk4MHDyY7d+7MjhMnTiTPnz9Pfv/+nfQT2ggpO2dMF8cghuoM7Ygj5iWCqRlGFml0QC/ftGmTmzt3rmsaKDsgBSPh0/8yPeLLBihLkOKJc0jp8H8vUzcxIA1k6QJ/c78tWEyj5P3o4u9+jywNPdJi5rAH9x0KHcl4Hg570eQp3+vHXGyrmEeigzQsQsjavXt38ujRo44LQuDDhw+TW7duRS1HGgMxhNXHgflaNTOsHyKvHK5Ijo2jbFjJBQK9YwFd6RVMzfgRBmEfP37suBBm/p49e1qjEP2mwTViNRo0VJWH1deMXcNK08uUjVUu7s/zRaL+oLNxz1bpANco4npUgX4G2eFbpDFyQoQxojBCpEGSytmOH8qrH5Q9vuzD6ofQylkCUmh8DBAr+q8JCyVNtWQIidKQE9wNtLSQnS4jDSsxNHogzFuQBw4cyM61UKVsjfr3ooBkPSqqQHesUPWVtzi9/vQi1T+rJj7WiTz4Pt/l3LxUkr5P2VYZaZ4URpsE+st/dujQoaBBYokbrz/8TJNQYLSonrPS9kUaSkPeZyj1AWSj+d+VBoy1pIWVNed8P0Ll/ee5HdGRhrHhR5GGN0r4LGZBaj8oFDJitBTJzIZgFcmU0Y8ytWMZMzJOaXUSrUs5RxKnrxmbb5YXO9VGUhtpXldhEUogFr3IzIsvlpmdosVcGVGXFWp2oU9kLFL3dEkSz6NHEY1sjSRdIuDFWEhd8KxFqsRi1uM/nz9/zpxnwlESONdg6dKlbsaMGS4EHFHtjFIDHwKOo46l4TxSuxgDzi+rE2jg+BaFruOX4HXa0Nnf1lwAPufZeF8/r6zD97WK2qFnGjBxTw5qNGPxT+5T/r7/7RawFC3j4vTp09koCxkeHjqbHJqArmH5UrFKKksnxrK7FuRIs8STfBZv+luugXZ2pR/pP9Ois4z+TiMzUUkUjD0iEi1fzX8GmXyuxUBRcaUfykV0YZnlJGKQpOiGB76x5GeWkWWJc3mOrK6S7xdND+W5N6XyaRgtWJFe13GkaZnKOsYqGdOVVVbGupsyA/l7emTLHi7vwTdirNEt0qxnzAvBFcnQF16xh/TMpUuXHDowhlA9vQVraQhkudRdzOnK+04ZSP3DUhVSP61YsaLtd/ks7ZgtPcXqPqEafHkdqa84X6aCeL7YWlv6edGFHb+ZFICPlljHhg0bKuk0CSvVznWsotRu433alNdFrqG45ejoaPCaUkWERpLXjzFL2Rpllp7PJU2a/v7Ab8N05/9t27Z16KUqoFGsxnI9EosS2niSYg9SpU6B4JgTrvVW1flt1sT+0ADIJU2maXzcUTraGCRaL1Wp9rUMk16PMom8QhruxzvZIegJjFU7LLCePfS8uaQdPny4jTTL0dbee5mYokQsXTIWNY46kuMbnt8Kmec+LGWtOVIl9cT1rCB0V8WqkjAsRwta93TbwNYoGKsUSChN44lgBNCoHLHzquYKrU6qZ8lolCIN0Rh6cP0Q3U6I6IXILYOQI513hJaSKAorFpuHXJNfVlpRtmYBk1Su1obZr5dnKAO+L10Hrj3WZW+E3qh6IszE37F6EB+68mGpvKm4eb9bFrlzrok7fvr0Kfv727dvWRmdVTJHw0qiiCUSZ6wCK+7XL/AcsgNyL74DQQ730sv78Su7+t/A36MdY0sW5o40ahslXr58aZ5HtZB8GH64m9EmMZ7FpYw4T6QnrZfgenrhFxaSiSGXtPnz57e9TkNZLvTjeqhr734CNtrK41L40sUQckmj1lGKQ0rC37x544r8eNXRpnVE3ZZY7zXo8NomiO0ZUCj2uHz58rbXoZ6gc0uA+F6ZeKS/jhRDUq8MKrTho9fEkihMmhxtBI1DxKFY9XLpVcSkfoi8JGnToZO5sU5aiDQIW716ddt7ZLYtMQlhECdBGXZZMWldY5BHm5xgAroWj4C0hbYkSc/jBmggIrXJWlZM6pSETsEPGqZOndr2uuuR5rF169a2HoHPdurUKZM4CO1WTPqaDaAd+GFGKdIQkxAn9RuEWcTRyN2KSUgiSgF5aWzPTeA/lN5rZubMmR2bE4SIC4nJoltgAV/dVefZm72AtctUCJU2CMJ327hxY9t7EHbkyJFseq+EJSY16RPo3Dkq1kkr7+q0bNmyDuLQcZBEPYmHVdOBiJyIlrRDq41YPWfXOxUysi5fvtyaj+2BpcnsUV/oSoEMOk2CQGlr4ckhBwaetBhjCwH0ZHtJROPJkyc7UjcYLDjmrH7ADTEBXFfOYmB0k9oYBOjJ8b4aOYSe7QkKcYhFlq3QYLQhSidNmtS2RATwy8YOM3EQJsUjKiaWZ+vZToUQgzhkHXudb/PW5YMHD9yZM2faPsMwoc7RciYJXbGuBqJ1UIGKKLv915jsvgtJxCZDubdXr165mzdvtr1Hz5LONA8jrUwKPqsmVesKa49S3Q4WxmRPUEYdTjgiUcfUwLx589ySJUva3oMkP6IYddq6HMS4o55xBJBUeRjzfa4Zdeg56QZ43LhxoyPo7Lf1kNt7oO8wWAbNwaYjIv5lhyS7kRf96dvm5Jah8vfvX3flyhX35cuX6HfzFHOToS1H4BenCaHvO8pr8iDuwoUL7tevX+b5ZdbBair0xkFIlFDlW4ZknEClsp/TzXyAKVOmmHWFVSbDNw1l1+4f90U6IY/q4V27dpnE9bJ+v87QEydjqx/UamVVPRG+mwkNTYN+9tjkwzEx+atCm/X9WvWtDtAb68Wy9LXa1UmvCDDIpPkyOQ5ZwSzJ4jMrvFcr0rSjOUh+GcT4LSg5ugkW1Io0/SCDQBojh0hPlaJdah+tkVYrnTZowP8iq1F1TgMBBauufyB33x1v+NWFYmT5KmppgHC+NkAgbmRkpD3yn9QIseXymoTQFGQmIOKTxiZIWpvAatenVqRVXf2nTrAWMsPnKrMZHz6bJq5jvce6QK8J1cQNgKxlJapMPdZSR64/UivS9NztpkVEdKcrs5alhhWP9NeqlfWopzhZScI6QxseegZRGeg5a8C3Re1Mfl1ScP36ddcUaMuv24iOJtz7sbUjTS4qBvKmstYJoUauiuD3k5qhyr7QdUHMeCgLa1Ear9NquemdXgmum4fvJ6w1lqsuDhNrg1qSpleJK7K3TF0Q2jSd94uSZ60kK1e3qyVpQK6PVWXp2/FC3mp6jBhKKOiY2h3gtUV64TWM6wDETRPLDfSakXmH3w8g9Jlug8ZtTt4kVF0kLUYYmCCtD/DrQ5YhMGbA9L3ucdjh0y8kOHW5gU/VEEmJTcL4Pz/f7mgoAbYkAAAAAElFTkSuQmCC"]
|
||
},
|
||
]
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
```json
|
||
{
|
||
"model": "llava",
|
||
"created_at": "2023-12-13T22:42:50.203334Z",
|
||
"message": {
|
||
"role": "assistant",
|
||
"content": " The image features a cute, little pig with an angry facial expression. It's wearing a heart on its shirt and is waving in the air. This scene appears to be part of a drawing or sketching project.",
|
||
"images": null
|
||
},
|
||
"done": true,
|
||
"total_duration": 1668506709,
|
||
"load_duration": 1986209,
|
||
"prompt_eval_count": 26,
|
||
"prompt_eval_duration": 359682000,
|
||
"eval_count": 83,
|
||
"eval_duration": 1303285000
|
||
}
|
||
```
|
||
|
||
## モデルを作成する
|
||
|
||
```shell
|
||
POST /api/create
|
||
```
|
||
|
||
[`Modelfile`](./modelfile.md)からモデルを作成します。`modelfile`を単に`path`を設定するのではなく、Modelfileの内容に設定することをお勧めします。これはリモート作成のための要件です。リモートモデルの作成は、[Create a Blob](#create-a-blob)を使用してサーバーに対して`FROM`や`ADAPTER`などのファイルブロブ、フィールドを明示的に作成する必要があり、応答で示されたパスに対して値を使用します。
|
||
|
||
|
||
### パラメーター
|
||
|
||
- `name`: 作成するモデルの名前
|
||
- `modelfile` （オプション）: Modelfileの内容
|
||
- `stream`: （オプション）: `false` の場合、応答はオブジェクトのストリームではなく、単一の応答オブジェクトとして返されます
|
||
- `path` （オプション）: Modelfileへのパス
|
||
|
||
### 例
|
||
|
||
#### 新しいモデルを作成する
|
||
|
||
`Modelfile` から新しいモデルを作成します。
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/create -d '{
|
||
"name": "mario",
|
||
"modelfile": "FROM llama2\nSYSTEM You are mario from Super Mario Bros."
|
||
}'
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
JSONオブジェクトのストリーム。最終的なJSONオブジェクトには `"status": "success"` が表示されることに注意してください。
|
||
|
||
```json
|
||
{"status":"reading model metadata"}
|
||
{"status":"creating system layer"}
|
||
{"status":"using already created layer sha256:22f7f8ef5f4c791c1b03d7eb414399294764d7cc82c7e94aa81a1feb80a983a2"}
|
||
{"status":"using already created layer sha256:8c17c2ebb0ea011be9981cc3922db8ca8fa61e828c5d3f44cb6ae342bf80460b"}
|
||
{"status":"using already created layer sha256:7c23fb36d80141c4ab8cdbb61ee4790102ebd2bf7aeff414453177d4f2110e5d"}
|
||
{"status":"using already created layer sha256:2e0493f67d0c8c9c68a8aeacdf6a38a2151cb3c4c1d42accf296e19810527988"}
|
||
{"status":"using already created layer sha256:2759286baa875dc22de5394b4a925701b1896a7e3f8e53275c36f75a877a82c9"}
|
||
{"status":"writing layer sha256:df30045fe90f0d750db82a058109cecd6d4de9c90a3d75b19c09e5f64580bb42"}
|
||
{"status":"writing layer sha256:f18a68eb09bf925bb1b669490407c1b1251c5db98dc4d3d81f3088498ea55690"}
|
||
{"status":"writing manifest"}
|
||
{"status":"success"}
|
||
```
|
||
|
||
### Blobの存在を確認
|
||
|
||
```shell
|
||
HEAD /api/blobs/:digest
|
||
```
|
||
|
||
`FROM`または`ADAPTER`フィールドに使用されるファイルブロブがサーバー上に存在することを確認します。これはOllama.aiではなく、あなたのOllamaサーバーを確認しています。
|
||
|
||
|
||
#### クエリパラメータ
|
||
|
||
- `digest`: BLOB の SHA256 ダイジェスト
|
||
|
||
#### 例
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl -I http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
ブロブが存在する場合は200 OKを返し、存在しない場合は404 Not Foundを返します。
|
||
|
||
### Create a Blob
|
||
|
||
```shell
|
||
POST /api/blobs/:digest
|
||
```
|
||
|
||
サーバー上のファイルからブロブを作成します。サーバーのファイルパスを返します。
|
||
|
||
|
||
#### クエリパラメータ
|
||
|
||
- `digest`: ファイルの予想されるSHA256ダイジェスト
|
||
|
||
#### 例
|
||
|
||
##### リクエスト
|
||
|
||
```shell
|
||
curl -T model.bin -X POST http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2
|
||
```
|
||
|
||
##### レスポンス
|
||
|
||
ブロブが成功製作された場合は201 Createdを返し、使用されたダイジェストが予想外の場合は400 Bad Requestを返します。
|
||
|
||
## ローカルモデルの一覧表示
|
||
|
||
```shell
|
||
GET /api/tags
|
||
```
|
||
|
||
ローカルで利用可能なモデルの一覧を表示します。
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/tags
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
単一のJSONオブジェクトが返されます。
|
||
|
||
```json
|
||
{
|
||
"models": [
|
||
{
|
||
"name": "codellama:13b",
|
||
"modified_at": "2023-11-04T14:56:49.277302595-07:00",
|
||
"size": 7365960935,
|
||
"digest": "9f438cb9cd581fc025612d27f7c1a6669ff83a8bb0ed86c94fcf4c5440555697",
|
||
"details": {
|
||
"format": "gguf",
|
||
"family": "llama",
|
||
"families": null,
|
||
"parameter_size": "13B",
|
||
"quantization_level": "Q4_0"
|
||
}
|
||
},
|
||
{
|
||
"name": "llama2:latest",
|
||
"modified_at": "2023-12-07T09:32:18.757212583-08:00",
|
||
"size": 3825819519,
|
||
"digest": "fe938a131f40e6f6d40083c9f0f430a515233eb2edaa6d72eb85c50d64f2300e",
|
||
"details": {
|
||
"format": "gguf",
|
||
"family": "llama",
|
||
"families": null,
|
||
"parameter_size": "7B",
|
||
"quantization_level": "Q4_0"
|
||
}
|
||
}
|
||
]
|
||
}
|
||
```
|
||
|
||
## モデル情報の表示
|
||
|
||
```shell
|
||
POST /api/show
|
||
```
|
||
|
||
モデルに関する情報を表示します。詳細、モデルファイル、テンプレート、パラメータ、ライセンス、およびシステムプロンプトを含みます。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: 表示するモデルの名前
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/show -d '{
|
||
"name": "llama2"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
```json
|
||
{
|
||
"modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this one, replace the FROM line with:\n# FROM llava:latest\n\nFROM /Users/matt/.ollama/models/blobs/sha256:200765e1283640ffbd013184bf496e261032fa75b99498a9613be4e94d63ad52\nTEMPLATE \"\"\"{{ .System }}\nUSER: {{ .Prompt }}\nASSSISTANT: \"\"\"\nPARAMETER num_ctx 4096\nPARAMETER stop \"\u003c/s\u003e\"\nPARAMETER stop \"USER:\"\nPARAMETER stop \"ASSSISTANT:\"",
|
||
"parameters": "num_ctx 4096\nstop \u003c/s\u003e\nstop USER:\nstop ASSSISTANT:",
|
||
"template": "{{ .System }}\nUSER: {{ .Prompt }}\nASSSISTANT: ",
|
||
"details": {
|
||
"format": "gguf",
|
||
"family": "llama",
|
||
"families": ["llama", "clip"],
|
||
"parameter_size": "7B",
|
||
"quantization_level": "Q4_0"
|
||
}
|
||
}
|
||
```
|
||
|
||
## モデルのコピー
|
||
|
||
```shell
|
||
POST /api/copy
|
||
```
|
||
|
||
モデルをコピーします。既存のモデルから別の名前のモデルを作成します。
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/copy -d '{
|
||
"source": "llama2",
|
||
"destination": "llama2-backup"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
成功した場合は200 OKを返し、ソースモデルが存在しない場合は404 Not Foundを返します。
|
||
|
||
## モデルの削除
|
||
|
||
```shell
|
||
DELETE /api/delete
|
||
```
|
||
|
||
モデルとそのデータを削除します。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: 削除するモデル名
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl -X DELETE http://localhost:11434/api/delete -d '{
|
||
"name": "llama2:13b"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
成功した場合は200 OKを返し、削除されるモデルが存在しない場合は404 Not Foundを返します。
|
||
|
||
## モデルのプル
|
||
|
||
```shell
|
||
POST /api/pull
|
||
```
|
||
|
||
Ollamaライブラリからモデルをダウンロードします。キャンセルされたプルは中断した場所から再開され、複数の呼び出しは同じダウンロード進捗を共有します。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: プルするモデルの名前
|
||
- `insecure`: (オプション) ライブラリへの安全でない接続を許可します。開発中に自分のライブラリからプルする場合にのみ使用してください
|
||
- `stream`: (オプション) `false`の場合、レスポンスはオブジェクトのストリームではなく、単一のレスポンスオブジェクトとして返されます
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/pull -d '{
|
||
"name": "llama2"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
`stream`が指定されていないか、または`true`に設定されている場合、JSONオブジェクトのストリームが返されます:
|
||
|
||
最初のオブジェクトはマニフェストです:
|
||
|
||
```json
|
||
{
|
||
"status": "pulling manifest"
|
||
}
|
||
```
|
||
|
||
その後、一連のダウンロードの応答があります。ダウンロードが完了するまで、`completed`キーは含まれないかもしれません。ダウンロードするファイルの数は、マニフェストで指定されたレイヤーの数に依存します。
|
||
|
||
```json
|
||
{
|
||
"status": "downloading digestname",
|
||
"digest": "digestname",
|
||
"total": 2142590208,
|
||
"completed": 241970
|
||
}
|
||
```
|
||
|
||
すべてのファイルがダウンロードされたら、最終的な応答は以下の通りです：
|
||
|
||
```json
|
||
{
|
||
"status": "verifying sha256 digest"
|
||
}
|
||
{
|
||
"status": "writing manifest"
|
||
}
|
||
{
|
||
"status": "removing any unused layers"
|
||
}
|
||
{
|
||
"status": "success"
|
||
}
|
||
```
|
||
`stream`が`false`に設定されている場合、応答は単一のJSONオブジェクトです:
|
||
|
||
```json
|
||
{
|
||
"status": "success"
|
||
}
|
||
```
|
||
|
||
## モデルのプッシュ
|
||
|
||
```shell
|
||
POST /api/push
|
||
```
|
||
|
||
モデルをモデルライブラリにアップロードします。まず、ollama.aiに登録し、公開鍵を追加する必要があります。
|
||
|
||
### パラメーター
|
||
|
||
- `name`: `<namespace>/<model>:<tag>`の形式でプッシュするモデルの名前
|
||
- `insecure`: （オプション）ライブラリへの安全でない接続を許可します。開発中にライブラリにプッシュする場合のみ使用してください
|
||
- `stream`: （オプション）`false` の場合、レスポンスは単一のレスポンスオブジェクトとして返されます。オブジェクトのストリームではありません
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/push -d '{
|
||
"name": "mattw/pygmalion:latest"
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
`stream` が指定されていないか、または `true` に設定されている場合、JSONオブジェクトのストリームが返されます:
|
||
|
||
```json
|
||
{ "status": "retrieving manifest" }
|
||
```
|
||
|
||
その後:
|
||
|
||
```json
|
||
{
|
||
"status": "starting upload",
|
||
"digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
|
||
"total": 1928429856
|
||
}
|
||
```
|
||
|
||
次に、アップロードの応答が続きます:
|
||
|
||
```json
|
||
{
|
||
"status": "starting upload",
|
||
"digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
|
||
"total": 1928429856
|
||
}
|
||
```
|
||
|
||
最後に、アップロードが完了すると"
|
||
|
||
```json
|
||
{"status":"pushing manifest"}
|
||
{"status":"success"}
|
||
```
|
||
|
||
`stream`が`false`に設定されている場合、応答は単一のJSONオブジェクトとなります:
|
||
|
||
```json
|
||
{ "status": "success" }
|
||
```
|
||
|
||
## 埋め込みの生成
|
||
|
||
```shell
|
||
POST /api/embeddings
|
||
```
|
||
|
||
モデルから埋め込みを生成する
|
||
|
||
### パラメーター
|
||
|
||
- `model`: 埋め込みを生成するモデルの名前
|
||
- `prompt`: 埋め込みを生成するためのテキスト
|
||
|
||
高度なパラメータ:
|
||
|
||
- `options`: `Modelfile` の[ドキュメント](./modelfile.md#有効なパラメータと値)にリストされている `temperature` などの追加のモデルパラメータ
|
||
|
||
### 例
|
||
|
||
#### リクエスト
|
||
|
||
```shell
|
||
curl http://localhost:11434/api/embeddings -d '{
|
||
"model": "llama2",
|
||
"prompt": "Here is an article about llamas..."
|
||
}'
|
||
```
|
||
|
||
#### レスポンス
|
||
|
||
```json
|
||
{
|
||
"embedding": [
|
||
0.5670403838157654, 0.009260174818336964, 0.23178744316101074, -0.2916173040866852, -0.8924556970596313,
|
||
0.8785552978515625, -0.34576427936553955, 0.5742510557174683, -0.04222835972905159, -0.137906014919281
|
||
]
|
||
}
|
||
```
|