本記事では、Chat GPTの各バージョン（GPT-3.5 Default、GPT-3.5 Legacy、GPT-4）の性能を比較分析。
同じ質問を各モデルにすることで、推論力、応答速度、簡潔さの面での違いを検証しています。
※どのモデルも誤った回答を生成します。
※利用する場合、検索エンジンや書籍を活用し、情報の正確性を確認することを強く推奨します。
Chat GPT 性能紹介：GPT-3.5 Default、Legacy、GPT-4
まず最初に、Chat GPTのモデルを紹介します。
現在利用できるモデルは下記3つです。 ※2023年3月31日時点
- Default（GPT-3.5）：速度が最適化されていて、現在 有料版（Plus）が利用できる
- Legacy（GPT-3.5）：以前のモデル。無料でも利用可能
- GPT-4：有料版（Plus）で利用できる最も高度なモデル
それぞれの性能を簡単に紹介していきます。
既に有料版（Plus）をPCで利用している方は読み飛ばしても大丈夫です。
Default（GPT-3.5）の性能
| 推論（Reasoning） | 3 |
| スピード（Speed） | 5 |
| 簡潔（Conciseness） | 2 |
Default（GPT-3.5）の説明文は、下記の通りです。
速度が最適化されており、現在 Plus ユーザーが利用できます
Default（GPT-3.5）は、どのモデルよりも高速です。
推論力は、GPT-4よりも低いですが、一般的な質問をする分には問題なく使えます。
※性能の説明文が表示されるのはPCのみ
Legacy（GPT-3.5）の性能
| 推論（Reasoning） | 3 |
| スピード（Speed） | 2 |
| 簡潔（Conciseness） | 1 |
Legacy（GPT-3.5）の説明文は、下記の通りです。
以前の Chat GPT Plusモデル
無料でも利用可能な旧型です。
GPT-4の性能
| 推論（Reasoning） | 5 |
| スピード（Speed） | 2 |
| 簡潔（Conciseness） | 4 |
GPT-4の説明文は下記の通りです。
プラス加入者が利用できる、当社の最も高度なモデル。
GPT-4 は、高度な推論、複雑な指示の理解、およびより多くの創造性を必要とするタスクに優れています。
フラグシップモデルです。性能が大きく上昇したことでAIの規制を求める動きが活発になりました。
Chat GPT 性能比較：GPT-3.5 Default、Legacy、GPT-4
モデルごとにどのくらい性能が違うのか推論力、スピード、簡潔さを検証しました。 ※2023年3月30日〜31日
検証するために入力した内容は下記の通りです。
- 推論力：誕生日の問題を出題
- スピード：スピードと入力
- 簡潔さ：太陽が昇るのは東、西？
推論力とは？
【推論】すいろん《名・ス他》（確かには）分かっていない事を推し量って論ずること。学問上の用法では、何らかの論理規則に基づいて既知の事柄から未知の事柄を明らかにすること。
Oxford Languages
簡潔さとは？
表現が簡単で要を得(え)、むだがないこと。
Oxford Languages
推論力を検証
推論力を試すため、各モデルに誕生日のパラドックスに関する問題を出しました。
この問題は、確率論と直感に関する不思議な現象を説明する必要があるため、推論力を試すのに適しています。
誕生日のパラドックスとは「何人集まれば、その中に誕生日が同一の2人がいる確率が、50%を超えるか?」という問題から生じるパラドックスである。
誕生日のパラドックス – Wikipedia
モデルごとの回答を紹介します。
生成される回答は、随時変わるため参考程度にご活用ください。
Default（GPT-3.5）
Default（GPT-3.5）の回答は、以下の通りです。
Legacy（GPT-3.5）
Legacy（GPT-3.5）の回答は以下の通りです。
GPT-4
GPT-4の回答は以下の通りです。
スピードを検証
次に、モデルごとのスピードを検証しました。
測定する環境や日で結果は変わるため参考程度にご活用ください。
Default（GPT-3.5）
Default（GPT-3.5）が最も早いです。
Legacy（GPT-3.5）
次に、Legacy（GPT-3.5）が早いです。
GPT-4
GPT-4は、GPT-3.5と比べると遅いです。
特に混雑している時間に顕著で、エラーが起きる場合があります。
簡潔さを検証
最後に、各モデルがどのくらい簡潔に答えられるかを検証するため「太陽が昇るのは東、西？」と質問しました。
この問題を選んだのは、明確な正解があり、短い回答で解答できるからです。
Default（GPT-3.5）
Default（GPT-3.5）の回答は上記の通り、簡潔です。
ただし〜と補足の文章があるため、Legasy（GPT-3.5）よりも簡潔さは若干高いと言えます。
Legacy（GPT-3.5）
Legacy（GPT-3.5）は上記画像の通り、シンプルな回答です。
GPT-4
GPT-4は上記画像の通り、回答内容が最も簡潔です。
理由を説明する文章も端的で分かりやすいです。（）をうまく使って説明しているのも効果的だと感じます。
まとめ（性能、料金、制限比較表）
最後に、Chat GPTの各バージョン（GPT-3.5 Default、GPT-3.5 Legacy、GPT-4）の違いを表にまとめています。
| 比較項目 | GPT-3.5 Default | GPT-3.5 Legacy | GPT-4 |
|---|---|---|---|
| 利用できるユーザー | 有料プラン（Plus） | 無料（Free） | 有料プラン（Plus） |
| 制限 | あり | あり | あり（優遇） |
| メッセージ上限 | なし | なし | 25件/3時間 |
| 推論力 | |||
| スピード | |||
| 簡潔さ |
Chat GPT（GPT-4）について、詳しくは下記記事で解説しています。