カテゴリ

Chat GPT 性能比較:GPT-3.5 Default、Legacy、GPT-4

本記事では、Chat GPTの各バージョン(GPT-3.5 Default、GPT-3.5 Legacy、GPT-4)の性能を比較分析。

同じ質問を各モデルにすることで、推論力、応答速度、簡潔さの面での違いを検証しています。

※どのモデルも誤った回答を生成します。
※利用する場合、検索エンジンや書籍を活用し、情報の正確性を確認することを強く推奨します。

目次

Chat GPT 性能紹介:GPT-3.5 Default、Legacy、GPT-4

まず最初に、Chat GPTのモデルを紹介します。

現在利用できるモデルは下記3つです。 ※2023年3月31日時点

  • Default(GPT-3.5):速度が最適化されていて、現在 有料版(Plus)が利用できる
  • Legacy(GPT-3.5):以前のモデル。無料でも利用可能
  • GPT-4:有料版(Plus)で利用できる最も高度なモデル

それぞれの性能を簡単に紹介していきます。

既に有料版(Plus)をPCで利用している方は読み飛ばしても大丈夫です。

Default(GPT-3.5)の性能

推論(Reasoning)3
スピード(Speed)5
簡潔(Conciseness)2

Default(GPT-3.5)の説明文は、下記の通りです。

速度が最適化されており、現在 Plus ユーザーが利用できます

Default(GPT-3.5)は、どのモデルよりも高速です。

推論力は、GPT-4よりも低いですが、一般的な質問をする分には問題なく使えます。

※性能の説明文が表示されるのはPCのみ

Legacy(GPT-3.5)の性能

推論(Reasoning)3
スピード(Speed)2
簡潔(Conciseness)1

Legacy(GPT-3.5)の説明文は、下記の通りです。

以前の Chat GPT Plusモデル

無料でも利用可能な旧型です。

GPT-4の性能

Our most advanced model.available to Plus subscribers.GPT-4 excels at tasks that require advanced reasoning.complex instruction understanding and more creativity.
推論(Reasoning)5
スピード(Speed)2
簡潔(Conciseness)4

GPT-4の説明文は下記の通りです。

プラス加入者が利用できる、当社の最も高度なモデル。
GPT-4 は、高度な推論、複雑な指示の理解、およびより多くの創造性を必要とするタスクに優れています。

フラグシップモデルです。性能が大きく上昇したことでAIの規制を求める動きが活発になりました。

Chat GPT 性能比較:GPT-3.5 Default、Legacy、GPT-4

モデルごとにどのくらい性能が違うのか推論力、スピード、簡潔さを検証しました。 ※2023年3月30日〜31日

検証するために入力した内容は下記の通りです。

  • 推論力:誕生日の問題を出題
  • スピード:スピードと入力
  • 簡潔さ:太陽が昇るのは東、西?
推論力とは?

【推論】すいろん《名・ス他》(確かには)分かっていない事を推し量って論ずること。学問上の用法では、何らかの論理規則に基づいて既知の事柄から未知の事柄を明らかにすること。

Oxford Languages
簡潔さとは?

表現が簡単で要を得(え)、むだがないこと。

Oxford Languages

推論力を検証

推論力を試すため、各モデルに誕生日のパラドックスに関する問題を出しました。

この問題は、確率論と直感に関する不思議な現象を説明する必要があるため、推論力を試すのに適しています。

誕生日のパラドックスとは「何人集まれば、その中に誕生日が同一の2人がいる確率が、50%を超えるか?」という問題から生じるパラドックスである。

誕生日のパラドックス – Wikipedia

モデルごとの回答を紹介します。

生成される回答は、随時変わるため参考程度にご活用ください。

Default(GPT-3.5)

Default(GPT-3.5)の回答は、以下の通りです。

Legacy(GPT-3.5)

Legacy(GPT-3.5)の回答は以下の通りです。

GPT-4

GPT-4の回答は以下の通りです。

この問題は、誕生日のパラドックスとして知られています。この問題は、ある集団の中で少なくとも2人が同じ誕生日を持つ確率を求めるものです。50%を超える確率で2人が誕生日を持つためには、23人が集まれば十分です。これを理解するために、逆の問題を考えてみましょう。すなわち、全員が異なる誕生日を持つ確率を求めることです。

スピードを検証

次に、モデルごとのスピードを検証しました。

測定する環境や日で結果は変わるため参考程度にご活用ください。

Default(GPT-3.5)

Default(GPT-3.5)が最も早いです。

Legacy(GPT-3.5)

次に、Legacy(GPT-3.5)が早いです。

GPT-4

GPT-4は、GPT-3.5と比べると遅いです。

特に混雑している時間に顕著で、エラーが起きる場合があります。

簡潔さを検証

最後に、各モデルがどのくらい簡潔に答えられるかを検証するため「太陽が昇るのは東、西?」と質問しました。

この問題を選んだのは、明確な正解があり、短い回答で解答できるからです。

Default(GPT-3.5)

太陽が昇るのは東です。太陽は東の地平線から昇り、西の地平線に沈みます。ただし、季節や地域によって太陽の昇る方向や沈む方向が異なる場合があります。

Default(GPT-3.5)の回答は上記の通り、簡潔です。

ただし〜と補足の文章があるため、Legasy(GPT-3.5)よりも簡潔さは若干高いと言えます。

Legacy(GPT-3.5)

太陽は東から昇ります

Legacy(GPT-3.5)は上記画像の通り、シンプルな回答です。

GPT-4

太陽が昇るのは東です。そして、太陽は西で沈みます。これは地球が自転する方向(西から東へ)によるものです。

GPT-4は上記画像の通り、回答内容が最も簡潔です。

理由を説明する文章も端的で分かりやすいです。()をうまく使って説明しているのも効果的だと感じます。

まとめ(性能、料金、制限比較表)

最後に、Chat GPTの各バージョン(GPT-3.5 Default、GPT-3.5 Legacy、GPT-4)の違いを表にまとめています。

比較項目GPT-3.5 DefaultGPT-3.5 LegacyGPT-4
利用できるユーザー有料プラン(Plus)無料(Free)有料プラン(Plus)
制限ありありあり(優遇)
メッセージ上限なしなし25件/3時間
推論力
スピード
簡潔さ

Chat GPT(GPT-4)について、詳しくは下記記事で解説しています。

目次