OpenAI Cookbook examples : GPT : ChatGPT モデルへの入力をフォーマットする方法 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 08/01/2023

* 本ページは、OpenAI Cookbook レポジトリの以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• examples : How to format inputs to ChatGPT models

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

OpenAI Cookbook : GPT : ChatGPT モデルへの入力をフォーマットする方法

ChatGPT は gpt-3.5-turbo と gpt-4、OpenAI の最も進歩したモデルを搭載しています。OpenAI API を使用して gpt-3.5-turbo や gpt-4 で貴方自身のアプリケーションを構築することができます。チャットモデルは入力としてメッセージのシリーズを受け取り、出力として AI が書いたメッセージを返します。このガイドは幾つかのサンプル API 呼び出しを使用してチャット形式を説明します。

 

1. openai ライブラリのインポート

# if needed, install and/or upgrade to the latest version of the OpenAI Python library
%pip install --upgrade openai

# import the OpenAI Python library for calling the OpenAI API
import openai

 

2. サンプルのチャット API 呼び出し

チャット API 呼び出しは 2 つの必須の入力があります :

• model : 利用したいモデルの名前 (e.g., gpt-3.5-turbo, gpt-4, gpt-3.5-turbo-0613, gpt-3.5-turbo-16k-0613)
  

• messages : メッセージオブジェクトのリスト、ここで各オブジェクトは 2 つの必須フィールドを持ちます :
  • role : メッセンジャーのロール (system, user または assistant のいずれか)
  • content : メッセージの内容 (e.g., Write me a beautiful poem)

メッセージはまた、メッセンジャーに名前を与える、オプションの name フィールドも含むことができます。E.g., example-user, Alice, BlackbeardBot. 名前は空白を含むことはできません。

2023年6月現在、オプションで関数のリストを送信することもできます、これは GPT にそれが関数に供給する JSON を生成できるかを伝えます。For details, see the documentation, API reference, or the Cookbook guide How to call functions with chat models.

通常は、会話はアシスタントにどのように動作するかを伝えるシステムメッセージから始まり、ユーザとアシスタントのメッセージが交互に続きますが、この形式に従う必要はありません。

チャット形式が実際にどのように動作するかを見るためにサンプルのチャット API 呼び出しを見てみましょう。

# Example OpenAI Python library request
MODEL = "gpt-3.5-turbo"
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
    temperature=0,
)

response

<OpenAIObject chat.completion id=chatcmpl-7UkgnSDzlevZxiy0YjZcLYdUMz5yZ at 0x118e394f0> JSON: {
  "id": "chatcmpl-7UkgnSDzlevZxiy0YjZcLYdUMz5yZ",
  "object": "chat.completion",
  "created": 1687563669,
  "model": "gpt-3.5-turbo-0301",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Orange who?"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 39,
    "completion_tokens": 3,
    "total_tokens": 42
  }
}

ご覧のように、response オブジェクトは幾つかのフィールドを含みます :

• id : リクエストの ID
• object : 返されるオブジェクトのタイプ (e.g., chat.completion)
• created : リクエストのタイプスタンプ
• model : レスポンスを生成するために使用されたモデルの完全な名前
• usage : 応答の生成に使用されたトークン数で、プロンプト、補完と合計のカウント。
• choices : 補完オブジェクトのリスト (1 より大きい n を設定しない限りは、1 つだけです)
  • message : モデルにより生成されたメッセージオブジェクト、role と content を含みます。
  • finish_reason : モデルがテキストの生成を停止した理由 (stop か、max_tokens 制限に到達した場合は length のいずれか)
  • index : choices のリスト内の補完のインデックス

Extract just the reply with:

response['choices'][0]['message']['content']

'Orange who?'

非会話ベースのタスクでさえも、最初のユーザメッセージにインストラクションを配置することで、チャット形式に適合させることができます。

例えば、海賊黒ひげ (the pirate Blackbeard) の流儀で非同期プログラミングを説明することをモデルに求めるには、会話を以下のように構造化できます :

# example with a system message
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Explain asynchronous programming in the style of the pirate Blackbeard."},
    ],
    temperature=0,
)

print(response['choices'][0]['message']['content'])

Ahoy matey! Asynchronous programming be like havin' a crew o' pirates workin' on different tasks at the same time. Ye see, instead o' waitin' for one task to be completed before startin' the next, ye can assign tasks to yer crew and let 'em work on 'em simultaneously. This way, ye can get more done in less time and keep yer ship sailin' smoothly. It be like havin' a bunch o' pirates rowin' the ship at different speeds, but still gettin' us to our destination. Arrr!

# example without a system message
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "user", "content": "Explain asynchronous programming in the style of the pirate Blackbeard."},
    ],
    temperature=0,
)

print(response['choices'][0]['message']['content'])

Ahoy mateys! Let me tell ye about asynchronous programming, arrr! It be like havin' a crew of sailors workin' on different tasks at the same time, without waitin' for each other to finish. Ye see, in traditional programming, ye have to wait for one task to be completed before movin' on to the next. But with asynchronous programming, ye can start multiple tasks at once and let them run in the background while ye focus on other things.

It be like havin' a lookout keepin' watch for enemy ships while the rest of the crew be busy with their own tasks. They don't have to stop what they're doin' to keep an eye out, because the lookout be doin' it for them. And when the lookout spots an enemy ship, they can alert the crew and everyone can work together to defend the ship.

In the same way, asynchronous programming allows different parts of yer code to work together without gettin' in each other's way. It be especially useful for tasks that take a long time to complete, like loadin' large files or connectin' to a server. Instead of makin' yer program wait for these tasks to finish, ye can let them run in the background while yer program continues to do other things.

So there ye have it, me hearties! Asynchronous programming be like havin' a crew of sailors workin' together without gettin' in each other's way. It be a powerful tool for any programmer, and one that can help ye sail the seas of code with ease!

 

3. gpt-3.5-turbo-0301 にインストラクションを与えるためのヒント

モデルにインストラクションを与えるためのベストプラクティスはモデルバージョン毎に変化する場合があります。以下のアドバイスは gpt-3.5-turbo-0301 に適用され、将来的なモデルには当てはまらない可能性があります。

 

システムメッセージ

システムメッセージは様々なパーソナリティや動作を持つアシスタントに前もって教え込む (prime) ために使用できます。

gpt-3.5-turbo-0301 は一般には gpt-4-0314 や gpt-3.5-turbo-0613 程にはシステムメッセージに注意をそれほど払わないことに注意してください。従って、gpt-3.5-turbo-0301 に対しては、代わりに重要なインストラクションをユーザメッセージに配置することを勧めます。一部の開発者は、会話が長くなるにつれてモデルの注意が離れないように保持するために、システムメッセージを会話の最後近くに継続的に移動することで成功を見出しました。

# An example of a system message that primes the assistant to explain concepts in great depth
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "You are a friendly and helpful teaching assistant. You explain concepts in great depth using simple terms, and you give examples to help people learn. At the end of each explanation, you ask a question to check for understanding"},
        {"role": "user", "content": "Can you explain how fractions work?"},
    ],
    temperature=0,
)

print(response["choices"][0]["message"]["content"])

Sure! Fractions are a way of representing a part of a whole. The top number of a fraction is called the numerator, and it represents how many parts of the whole we are talking about. The bottom number is called the denominator, and it represents how many equal parts the whole is divided into.

For example, if we have a pizza that is divided into 8 equal slices, and we take 3 slices, we can represent that as the fraction 3/8. The numerator is 3 because we took 3 slices, and the denominator is 8 because the pizza was divided into 8 slices.

To add or subtract fractions, we need to have a common denominator. This means that the denominators of the fractions need to be the same. To do this, we can find the least common multiple (LCM) of the denominators and then convert each fraction to an equivalent fraction with the LCM as the denominator.

To multiply fractions, we simply multiply the numerators together and the denominators together. To divide fractions, we multiply the first fraction by the reciprocal of the second fraction (flip the second fraction upside down).

Now, here's a question to check for understanding: If we have a pizza that is divided into 12 equal slices, and we take 4 slices, what is the fraction that represents how much of the pizza we took?

# An example of a system message that primes the assistant to give brief, to-the-point answers
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "You are a laconic assistant. You reply with brief, to-the-point answers with no elaboration."},
        {"role": "user", "content": "Can you explain how fractions work?"},
    ],
    temperature=0,
)

print(response["choices"][0]["message"]["content"])

Fractions represent a part of a whole. They consist of a numerator (top number) and a denominator (bottom number) separated by a line. The numerator represents how many parts of the whole are being considered, while the denominator represents the total number of equal parts that make up the whole.

 

Few-shot プロンプティング

ある場合には、貴方が何を望むかをモデルに伝えるよりも、それをモデルに示すほうが簡単です。

貴方が望むものをモデルに示す一つの方法は faked サンプルメッセージを使用することです。

例えば：

# An example of a faked few-shot conversation to prime the model into translating business jargon to simpler speech
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "You are a helpful, pattern-following assistant."},
        {"role": "user", "content": "Help me translate the following corporate jargon into plain English."},
        {"role": "assistant", "content": "Sure, I'd be happy to!"},
        {"role": "user", "content": "New synergies will help drive top-line growth."},
        {"role": "assistant", "content": "Things working well together will increase revenue."},
        {"role": "user", "content": "Let's circle back when we have more bandwidth to touch base on opportunities for increased leverage."},
        {"role": "assistant", "content": "Let's talk later when we're less busy about how to do better."},
        {"role": "user", "content": "This late pivot means we don't have time to boil the ocean for the client deliverable."},
    ],
    temperature=0,
)

print(response["choices"][0]["message"]["content"])

We don't have enough time to complete the entire project perfectly.

サンプルメッセージが実際の会話の一部ではなく、モデルにより参照されるべきではないことを明確にすることを支援するために、システムメッセージの name フィールドを example_user と example_assistant に設定することを試すことができます。

上記の few-shot サンプルを変形すると、以下のように書けるでしょう :

# The business jargon translation example, but with example names for the example messages
response = openai.ChatCompletion.create(
    model=MODEL,
    messages=[
        {"role": "system", "content": "You are a helpful, pattern-following assistant that translates corporate jargon into plain English."},
        {"role": "system", "name":"example_user", "content": "New synergies will help drive top-line growth."},
        {"role": "system", "name": "example_assistant", "content": "Things working well together will increase revenue."},
        {"role": "system", "name":"example_user", "content": "Let's circle back when we have more bandwidth to touch base on opportunities for increased leverage."},
        {"role": "system", "name": "example_assistant", "content": "Let's talk later when we're less busy about how to do better."},
        {"role": "user", "content": "This late pivot means we don't have time to boil the ocean for the client deliverable."},
    ],
    temperature=0,
)

print(response["choices"][0]["message"]["content"])

This sudden change in plans means we don't have enough time to do everything for the client's project.

会話のエンジニアリングにおけるすべての試みが最初から成功するとは限りません。

最初の試みが失敗した場合、モデルに前もって教え込んだり (prime)、モデルを条件付ける別の方法を実験することを躊躇しないでください。

例として、ある開発者は、モデルがより高品質の応答を提供するように条件付けるために “Great job so far, these have been perfect” というユーザメッセージを挿入したとき精度の向上を発見しました。

モデルの信頼性を上げる方法のより多くのアイデアについては、techniques to increase reliability のガイドを読むことを検討してください。それは非チャットモデルのために書かれていますが、その原則の多くは依然として当てはまります。

 

4. トークンをカウントする

リクエストを送信するとき、API はメッセージをトークンのシークエンスに変換します。

使用されるトークン数は以下に影響を与えます :

• リクエストのコスト
• レスポンスを生成するためにかかる時間
• 最大トークン制限に到達しないように応答がカットオフされるとき (gpt-3.5-turbo に対して 4,096 あるいは gpt-4 に対して 8,192)

メッセージのリストが使用するトークン数をカウントするために以下の関数を使用することができます。

トークンがメッセージからカウントされる正確な方法はモデル毎に変化する場合があることに注意してください。以下の関数からのカウントは推定値であると考えてください、無期限の保証ではありません。

特に、オプションの関数入力を使用するリクエストは下で計算された推定値に加えて追加のトークンを消費します。

トークンのカウントについては How to count tokens with tiktoken で更に読んでください。

import tiktoken


def num_tokens_from_messages(messages, model="gpt-3.5-turbo-0613"):
    """Return the number of tokens used by a list of messages."""
    try:
        encoding = tiktoken.encoding_for_model(model)
    except KeyError:
        print("Warning: model not found. Using cl100k_base encoding.")
        encoding = tiktoken.get_encoding("cl100k_base")
    if model in {
        "gpt-3.5-turbo-0613",
        "gpt-3.5-turbo-16k-0613",
        "gpt-4-0314",
        "gpt-4-32k-0314",
        "gpt-4-0613",
        "gpt-4-32k-0613",
        }:
        tokens_per_message = 3
        tokens_per_name = 1
    elif model == "gpt-3.5-turbo-0301":
        tokens_per_message = 4  # every message follows <|start|>{role/name}\n{content}<|end|>\n
        tokens_per_name = -1  # if there's a name, the role is omitted
    elif "gpt-3.5-turbo" in model:
        print("Warning: gpt-3.5-turbo may update over time. Returning num tokens assuming gpt-3.5-turbo-0613.")
        return num_tokens_from_messages(messages, model="gpt-3.5-turbo-0613")
    elif "gpt-4" in model:
        print("Warning: gpt-4 may update over time. Returning num tokens assuming gpt-4-0613.")
        return num_tokens_from_messages(messages, model="gpt-4-0613")
    else:
        raise NotImplementedError(
            f"""num_tokens_from_messages() is not implemented for model {model}. See https://github.com/openai/openai-python/blob/main/chatml.md for information on how messages are converted to tokens."""
        )
    num_tokens = 0
    for message in messages:
        num_tokens += tokens_per_message
        for key, value in message.items():
            num_tokens += len(encoding.encode(value))
            if key == "name":
                num_tokens += tokens_per_name
    num_tokens += 3  # every reply is primed with <|start|>assistant<|message|>
    return num_tokens

# let's verify the function above matches the OpenAI API response

import openai

example_messages = [
    {
        "role": "system",
        "content": "You are a helpful, pattern-following assistant that translates corporate jargon into plain English.",
    },
    {
        "role": "system",
        "name": "example_user",
        "content": "New synergies will help drive top-line growth.",
    },
    {
        "role": "system",
        "name": "example_assistant",
        "content": "Things working well together will increase revenue.",
    },
    {
        "role": "system",
        "name": "example_user",
        "content": "Let's circle back when we have more bandwidth to touch base on opportunities for increased leverage.",
    },
    {
        "role": "system",
        "name": "example_assistant",
        "content": "Let's talk later when we're less busy about how to do better.",
    },
    {
        "role": "user",
        "content": "This late pivot means we don't have time to boil the ocean for the client deliverable.",
    },
]

for model in [
    "gpt-3.5-turbo-0301",
    "gpt-3.5-turbo-0613",
    "gpt-3.5-turbo",
    "gpt-4-0314",
    "gpt-4-0613",
    "gpt-4",
    ]:
    print(model)
    # example token count from the function defined above
    print(f"{num_tokens_from_messages(example_messages, model)} prompt tokens counted by num_tokens_from_messages().")
    # example token count from the OpenAI API
    response = openai.ChatCompletion.create(
        model=model,
        messages=example_messages,
        temperature=0,
        max_tokens=1,  # we're only counting input tokens here, so let's not waste tokens on the output
    )
    print(f'{response["usage"]["prompt_tokens"]} prompt tokens counted by the OpenAI API.')
    print()

gpt-3.5-turbo-0301
127 prompt tokens counted by num_tokens_from_messages().
127 prompt tokens counted by the OpenAI API.

gpt-3.5-turbo-0613
129 prompt tokens counted by num_tokens_from_messages().
129 prompt tokens counted by the OpenAI API.

gpt-3.5-turbo
Warning: gpt-3.5-turbo may update over time. Returning num tokens assuming gpt-3.5-turbo-0613.
129 prompt tokens counted by num_tokens_from_messages().
127 prompt tokens counted by the OpenAI API.

gpt-4-0314
129 prompt tokens counted by num_tokens_from_messages().
129 prompt tokens counted by the OpenAI API.

gpt-4-0613
129 prompt tokens counted by num_tokens_from_messages().
129 prompt tokens counted by the OpenAI API.

gpt-4
Warning: gpt-4 may update over time. Returning num tokens assuming gpt-4-0613.
129 prompt tokens counted by num_tokens_from_messages().
129 prompt tokens counted by the OpenAI API.

以上