皆さん、こんにちは。今日はChatGPT（チャットジーピーティー）のトークン制限についてお話しします。
自然言語処理（NLP）や言語モデルにおいて、「トークン」とは、モデルが扱うデータの最も基本的な単位を意味します。トークンは、言語やモデルの設計によって、一文字のように小さいものから、単語、フレーズ、句読点、空白などのように大きなものまで様々な大きさを持ちます。
例えば、「ChatGPTはAIモデルです。」という文章では、5つのトークンがあります。「ChatGPT」「は」「AI」「モデル」「。」がそれに該当します。
言語モデルにとって、トークンはテキストを理解し、生成するための「構成要素」であり、入力データと出力データの基盤を形成します。その量、種類、品質は、モデルの性能に直接影響を与える重要な要素となります。
それでは、ChatGPTのトークン制限について詳しく見ていきましょう。
トークンとは何ですか？
自然言語処理（NLP）と言語モデルの文脈において、「トークン」とは、モデルが処理するために設計された最も基本的なデータ単位を表します。トークンは、言語とモデルの設計によって、1文字のように小さいものから単語のように大きいものまでさまざまなサイズを持つことができます。
AI言語モデルの中でも、例えばGPT-4では、トークンは通常単語に対応しますが、一部の単語の一部、あるいはフレーズ全体、または句読点や空白までを表すこともあります。例えば、文「ChatGPTはAIモデルです。」では、5つのトークンが存在します：”ChatGPT”、”は”、”AI”、”モデル”、そして句読点 “。” です。
要するに、トークンは言語モデルがテキストを理解し生成するための「構築要素」となります。これらは入力および出力データの基礎を形成し、トークンの量、バラエティ、品質はモデルの性能に直接影響を与えます。
ChatGPTのトークンとは何ですか？
もしあなたがこのアプリの外見だけを見ると、自分の命令に従い、求める答えを提供するコンピューター言語のように見えるかもしれません。しかし、バックエンドではただたくさんのコードがあり、毎分学習を行い、質問に対する回答に追いつくようにしています。
ChatGPTは、あなたが質問をするたびに各単語を理解可能なトークンに変換します。さらに分かりやすく説明すると、トークンはテキストの断片であり、各プログラミング言語は要件を理解するために異なるセットのトークン値を使用します。
コンピューターはテキストの値を直接理解することができないため、それらを数値の組み合わせ、通常は埋め込みと呼ばれるものに分解します。埋め込みはPythonのリストのようなものと考えることもできます。それは[1.1, 2.1, 3.1, 4.1…n]のような関連する数値のリストのようなものです。
ChatGPTが初期入力を受け取ると、前の情報に基づいて次の可能性のある入力を予測しようとします。それは前のトークンのリスト全体を選び、そのコーディング合成を使ってユーザーの次の入力を予測しようとします。言語が使用法を理解するために、トークンを1つずつ利用して予測します。
予測を向上させ、精度を向上させるために、ChatGPTは埋め込みのリスト全体を取り、トランスフォーマーレイヤーを通じて単語間の関連性を確立します。例えば、「トーマス・エジソンは誰ですか？」という質問をすると、ChatGPTはリスト内の最も重要な単語、すなわち「トーマス」と「エジソン」を選びます。
トランスフォーマーレイヤーはこのプロセス全体において重要な役割を果たします。これらのレイヤーは、単語の羅列から最も関連性の高いキーワードを抽出するためのニューラルネットワークアーキテクチャの一種であり、その訓練プロセスは簡単なものではなく、ギガバイト単位のデータを用いて長時間かかります。
ChatGPTは1度に1つのトークンを予測するだけですが、オートリグレッシブな技術がプログラムされており、予測結果を元のモデルにフィードバックして出力を解放します。モデルはトークンごとに1度だけ実行されるように調整されているため、結果は一つの単語ずつ印刷されます。アプリケーションが停止トークンのコマンドに遭遇すると、出力は自動的に停止します。
例えば、ChatGPTのウェブサイト上のトークン計算機を見ると、質問に基づいてトークンの使用量を計算することができます。
以下はサンプルテキストを入力します：
「ChatGPTにおけるトークンの使用法を説明する方法は？」
計算機によれば、この文字列には46の文字が含まれ、13のトークンを消費します。トークンIDに分解すると、以下のようになります：
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
OpenAIのトークン計算機によれば：
一般的な英文のテキストでは、1つのトークンは通常約4つのテキスト文字に対応します。これはおよそ3/4の単語に相当します（100トークン≒75単語）。
GPT モデルにトークン制限がある理由?
GPTモデルにはトークン制限が設けられている理由は、効率性、計算可能性、およびモデルの性能に関連するいくつかの理由があります。
計算効率性: 大量のトークンを同時に処理することは、記憶容量や処理能力などの重要なコンピューティングリソースを要求します。トークン制限を設けることで、計算コストを管理し、言語モデルが合理的な時間枠内で動作し、迅速な応答を提供できるようになります。
モデルの性能: トークン制限は、出力の品質を維持するのに役立ちます。GPT-3やGPT-4のような言語モデルは、前のトークンの文脈に基づいて応答を生成します。処理するトークンが増えるほど、モデルが初期の文脈を見失う可能性が高まり、生成されたテキストの一貫性に影響を及ぼす可能性があります。
メモリの制限: トークン制限は、言語モデルで使用されるニューラルネットワークのアーキテクチャに密接に関連しています。例えば、GPT-3やGPT-4のようなトランスフォーマーベースのモデルは、アーキテクチャにより固定サイズのアテンションウィンドウを持っています。これは、モデルが一度に「記憶」または注意を向けることができるトークンの数を決定します。
リソースの割り当て: トークン制限を設けることで、複数の同時ユーザー間でリソースの使用をバランスさせることができます。これにより、マルチユーザー環境で計算リソースへの公平なアクセスが確保されます。
ChatGPT 無料トークンと有料トークンを比較する?
ChatGPTアプリケーション内での内容を一部ご紹介しますが、OpenAIは無料の制限付きトークンサブスクリプションを提供しています。ChatGPT APIを試す場合は、3か月間有効な無料の5ドルクレジットを使用できます。制限が使い果たされると（またはトライアル期間が終了すると）、ペイアズユーゴ（従量課金）を利用できます。これにより、最大クォータが120ドルに増えます。
有料サブスクリプションにはそれだけの価値がありますか?
さらに上を目指すなら、ChatGPT Plusオファーに登録することもできます。これには月額20ドルの費用がかかります。AIモデル全体の幅広い使用と人気を考慮すると、有料サブスクリプションモデルの主な特徴は以下の通りです：
- ウェブサイトが多数のユーザーによるアクセスでダウンしている場合でも、ChatGPTへのアクセスが可能
- 応答速度の向上
- 新機能やリリースに最速でアクセス可能
これらの特徴が十分価値があると感じる場合、有料サブスクリプションに登録し、即座にその恩恵を受けることができます。
トークンの最大制限
各モデルでは、クエリ内の最大トークン数を設定することができます。この方法により、アプリケーションが1回の呼び出しで生成する最大トークン数が制御され、出力が制限されます。max_token機能は非常に便利であり、特に出力の長さを制御したい場合や、トークンの使用量とクレジットの過剰な使用を避けたい場合に役立ちます。デフォルトの長さは2,048トークンで固定されており、最大長は4,096トークンまで設定できます。
トークンの使用を制限することにより、短い回答になる可能性があり、出力が制限されて使用体験に影響を与える可能性があります。
もし出力が切り詰められている場合は、ダッシュボードから指定された最大制限を増やす必要があります。覚えておいてください、プロンプトと最大トークンの合計は常にモデルの最大トークン制限以下である必要があります。
例えば、ChatGPTモデル内では、prompt_tokens + max_tokens ≤ 4096トークンとなります。
GPT-4のトークン制限
| モデル名 | 説明 | 最大トークン数 | トレーニングデータの範囲 |
|---|---|---|---|
| gpt-4 | GPT-3.5モデルよりも高性能で、より複雑なタスクを処理でき、チャットに最適化されています。 | 8,192トークン | 2021年9月まで |
| gpt-4-0613 | 2023年6月13日時点のgpt-4のスナップショットであり、関数呼び出しデータを含んでいます。gpt-4とは異なり、このモデルは更新を受け取らず、新しいバージョンがリリースされてから3か月後に廃止されます。 | 8,192トークン | 2021年9月まで |
| gpt-4-32k | ベースのgpt-4モデルと同等の機能を持ちながら、コンテキストの長さが4倍になります。 | 32,768トークン | 2021年9月まで |
| gpt-4-32k-0613 | 2023年6月13日時点のgpt-4-32kのスナップショットです。gpt-4-32kとは異なり、このモデルは更新を受け取らず、新しいバージョンがリリースされてから3か月後に廃止されます。 | 32,768トークン | 2021年9月まで |
これらのGPT-4モデルは、それぞれ異なるトークン制限を持ち、特定のタスクやコンテキストの要件に適したモデルを選択することができます。最新の情報に基づいたアップデートや機能追加を受け取りたい場合は、最新バージョンのモデルを選択することが重要です。
GPT-3.5のトークン制限
| モデル名 | 説明 | 最大トークン数 | トレーニングデータの範囲 |
|---|---|---|---|
| gpt-3.5-turbo | 最も性能が高く、チャットに最適化されたGPT-3.5モデルで、text-davinci-003の1/10のコストで利用できます。 | 4,096トークン | 2021年9月まで |
| gpt-3.5-turbo-16k | 標準のgpt-3.5-turboモデルと同等の機能を持ちながら、4倍のコンテキストを持っています。 | 16,384トークン | 2021年9月まで |
| gpt-3.5-turbo-0613 | 2023年6月13日時点のgpt-3.5-turboのスナップショットであり、関数呼び出しデータを含んでいます。gpt-3.5-turboとは異なり、このモデルは更新を受け取らず、新しいバージョンがリリースされてから3か月後に廃止されます。 | 4,096トークン | 2021年9月まで |
| gpt-3.5-turbo-16k-0613 | 2023年6月13日時点のgpt-3.5-turbo-16kのスナップショットです。gpt-3.5-turbo-16kとは異なり、このモデルは更新を受け取らず、新しいバージョンがリリースされてから3か月後に廃止されます。 | 16,384トークン | 2021年9月まで |
| text-davinci-003 | curie、babbage、またはadaモデルよりも優れた品質で任意の言語タスクを実行できます。また、テキストの挿入など、一部の追加機能もサポートしています。 | 4,097トークン | 2021年6月まで |
| text-davinci-002 | text-davinci-003と似た機能を持っていますが、強化学習ではなく教師ありファインチューニングでトレーニングされています。 | 4,097トークン | 2021年6月まで |
| code-davinci-002 | コード補完タスクに最適化されています。 | 8,001トークン | 2021年6月まで |
これらのGPT-3.5モデルは、それぞれ異なるトークン制限と機能を持っており、特定のタスクに適したモデルを選択することができます。利用する際には、トークン制限と機能の要件を考慮して適切なモデルを選ぶことが重要です。
トークンの最大制限
以下は、最大トークン制限に関するテーブルです。
| モデル名 | 最大トークン制限 |
|---|---|
| Ada | 2,048トークン |
| Babbage | 2,048トークン |
| Curie | 2,048トークン |
| DaVinci | 4,096トークン |
| ChatGPT | 4,096トークン |
| GPT-4 8kコンテキスト | 8,192トークン |
| GPT-4 32kコンテキスト | 32,768トークン |
これらのモデルは、それぞれ異なるトークン制限を持っており、特定のタスクや応用に適したモデルを選択する際に参考になるでしょう。トークン制限は、アプリケーションやコンテキストの要件に応じて適切に設定することが重要です。
ChatGPT トークンの価格構造
ChatGPTのトークン価格体系は、以下のようになっています。
| モデル名 | 入力（1000トークン）の価格（プロンプト） | 出力（1000トークン）の価格（コンプリート） |
|---|---|---|
| Ada | $0.0004 | $0.0016 |
| Babbage | $0.0005 | $0.0024 |
| Curie | $0.0020 | $0.0120 |
| DaVinci | $0.0200 | $0.1200 |
| ChatGPT | $0.0020 | $0.0020 |
| Chat 4Kコンテキスト | $0.0015 | $0.0020 |
| GPT-4 8kコンテキスト | $0.03 | $0.06 |
| Chat 16Kコンテキスト | $0.003 | $0.004 |
| GPT-4 32kコンテキスト | $0.06 | $0.12 |
これらの価格は、入力（プロンプト）と出力（コンプリート）に対する1000トークンごとの価格を示しています。Adaは最も高速であり、DaVinciはこのモデル一覧の中で最も強力なモデルです。プロンプトは質問を表し、コンプリートは回答に対応しています。
使用するトークンの量に応じて料金が発生するため、必要なトークン数と予算に応じて適切なモデルを選択することが重要です。料金体系を理解して、ChatGPTを効果的に活用してください。
トークン制限は ChatGPT のユーティリティにどのような影響を与える可能性がありますか?
トークン制限は、実用上および計算上の理由から必要なものですが、さまざまなシナリオでChatGPTの有用性に制約を与える可能性があります。これらの制約を理解することは、トークン制限内で効果的に機能し、価値のある結果を提供するアプリケーションとインターフェースを設計するのに役立ちます。
会話の長さ
トークン制限の最も直接的な影響は、処理できる会話の長さに関連しています。入力と出力の両方がトークン制限に含まれるため、長い会話は制限内に収まらない場合があり、一部の部分を削除または省略する必要があります。
文脈の理解
トークン制限は言語モデルの「メモリ」としても機能するため、モデルの文脈理解に影響を与える可能性があります。会話がトークン制限を超える場合、モデルは以前の文脈の一部を失う可能性があり、関連性の低いまたは矛盾した応答が生成されることがあります。
包括的な応答
トークン制限は、モデルがより包括的で詳細な応答を提供する能力にも制約を与える可能性があります。たとえば、トークン制限が近づいている場合、モデルはより短い応答を生成する必要があり、情報の深さや詳細性が減少する可能性があります。
マルチターンの会話
多くの応答と複数の参加者が関わる対話では、トークン制限が重要な要因になる場合があります。会話はモデルのトークン制限内に収まる必要があり、多くの対話のターンがある場合には課題になる可能性があります。
リアルタイムの相互作用
リアルタイムのアプリケーションでは迅速な応答が必要なため、大量のトークンを処理する時間が重要な要素になることがあり、ユーザーエクスペリエンスに影響を与える可能性があります。
これらのトークン制限による影響を理解することで、ChatGPTの効用を最大限に活用する方法を考慮することが重要です。適切なトークン制限を選択し、適切な設計と利用方法により、より良い結果を得ることができるでしょう。
要するに
AI 主導のアプリケーションをどのように使用する場合でも、質問やフレーズを賢く扱う方法を工夫する必要がある可能性があります。 使用パターンによっては、ChatGPT をあらゆるタスクに広範囲に使用することになるでしょう。
最良の結果を得るには、トークン手法の使い方を学び、使用量制限を維持しながら最善の答えを得るスキルを向上させる必要があります。