【正直レビュー】claude2 VS ChatGPTどちらを使う？検証してみた！

11月22日に最新バージョンをリリースしたことで、再び話題となっているAIチャットサービス「claude2」。最新バージョンclaude2.1では外部サービスとの連携も可能になり、今後ユーザーが急激に増えることも見込まれますね。

「claude」とは、アメリカのスタートアップ企業、Anthropic（アンソロピック）により提供されているAIチャットサービスです。OpenAIの元研究者が開発に携わっていることもあり、ChatGPTのライバルとして話題になっています。

一番注目を集めているのは、ドキュメントファイルの読み込みをデフォルトの機能として利用できることでしょうか。この他にいくつも特徴がありますが、実際ChatGPTに取って代わるものなのか、気になるところですよね。

そこで本記事では、claude2の概要、そして他にはない強みなどを解説し、claude2の活用法を探りながらChatGPTとの比較を行なっていこうと思います。

ChatGPTとの比較が気になる人だけでなく、単純にclaude2の使い方や、活用事例が知りたい方もぜひ読んでみてください。

claudeとは

claude（クロード）とは、アメリカのスタートアップ企業、Anthropic（アンソロピック）により提供されているAIチャットサービスです。

2023年3月に公開され、アメリカ・イギリスでのみ使える状況が続いていましたが、同年7月11日に「claude2」が発表され、10月16日ついに日本でも使えるようになりました。

現在は無料版と有料版が提供されており、2023年12月時点で、無料ではスタンダードのもの、有料でのみ最新バージョンの「claude2.1」を利用することができます。

有料版と無料版の違いについては後ほど解説いたします。

claude2の特徴

claude2がなぜChatGPTのライバルとまで言われるのか。そう言われるにふさわしいほどの強みをclaude2は持ち合わせています。claude2の特徴は主に以下の５つになります。

• ドキュメントファイルを読み込める
• 誤った回答を避ける
• 約3倍のテキストを処理できる
• 高精度のコーディング
• メッセージ数に制限あり

ドキュメントファイルを読み込める

claude2には、デフォルトでドキュメントファイルを読み込む機能が備わっています。

それまでもChatGPTの有料プランであればドキュメントファイルを読み込んで、内容を要約してもらうことなどもできましたが、プラグインを用いなくてはいけなかったり、ChatGPT以外にもファイルを読み込む方法はありましたが、回数制限が厳しなど、いくつかの制約がありました。無料版で、目立った制限や準備もなく利用できるのは、かなり嬉しい仕様です。

加えてclaude2では、複数のファイルを同時に入力することも可能なため、二つのファイルを比較して分析を行なってもらうことも可能になります。

大量のテキストを処理できる

無料版のclaude2で処理できる最大トークン数は10万（約75,000語）であり、ChatGPT-4（有料版）の最大トークン数が32,000なので、3倍以上のテキストを処理できることになります。

（論文：https://core.ac.uk/download/pdf/230768937.pdf ）

10万というだけですごいのですが、有料版のclaude2.1ではなんと最大トークン数が20万にまで増加し、さらに大量のテキストを処理できるようになりました。

これにより、本を一冊読み込んで要約することも容易に出来てしまうでしょうし、長い論文であっても、ドキュメントファイルを入力するだけで、すぐに要約してもらうことが可能です。

誤った回答を避ける

ChatGPTでは度々「ハルシネーション」が問題視されてきました。

ハルシネーションとは、正確でない回答をAIが堂々とあたかも正解であるかのように回答してしまう、いわば嘘の回答をする現象のことを指します。

claude2ではこのような誤った回答を避けるために、正確な情報を得られなかったものに関しては、回答できないことを素直に認めるようにされているようです。

正確な割合などは不確定なものですが、Anthropic社はclaude2に関して「無害な応答を返す能力が2倍優れている」と述べています。

高精度のコーディング

Anthropic社によると、Pythonのコーディングテストにおいてclaude2は71.2%のスコアを示したそうです。

ChatGPT - 4のスコアが67%であることを考えれば、claude2のコーディングスキルが優れているとわかるでしょう。

メッセージ数に制限あり

大規模なトークン数を処理できるclaude2ですが、やり取りできるメッセージの数には制限があります。

実際に使ってみると感じますが、思ったよりも早く制限に達してしまいます。制限がメッセージ数なのか、処理したトークン数なのか、まだ詳細はわかりませんが、仕事で使うとなると、少し不便なのかな、と感じます。

有料プランとの違い

主に以下のような違いが見られます。

無料版でも多かったトークン数は、有料版になるとさらに増え20万トークンまで処理可能になります。

API連携とは、外部ツール（電卓アプリやGoogleドキュメントなど）と連携し、その機能を活用して回答を生成することで、claude2.1ではAPI連携が可能となりました。これにより、外部の情報をもとにより精度の高い回答を生成したり、会社で用意した資料を学習させ、会社独自の回答を生成させることも可能です。

ハルシネーションの回避に関しても、有料プランは無料プランの精度を高めた形になります。無料プランでもかなりの精度でハルシネーションを回避できると言われていましたが、それの2倍の精度で誤った回答を回避することができるようです。

無料プランにはメッセージ数の制限がありましたが、有料プランには制限がありません。無料プランに設けられた制限はかなり厳しい印象があったので、制限がなくなるのは非常に嬉しいです。

ただ、逆を言えばここに挙げた以外の特徴には差がないということで、高度なプログラミングスキルやドキュメントの読み込みは無料版でも有料版でも変わらず利用することができます。

claude2を実際に試してみた

それでは実際にclaude2を試してみようと思います。
今回は、claude2の特徴として上げていた要素を中心に以下の内容を試していきます。

• 質問への回答
• 長文の要約
• 記事の生成
• アイディア出し
• ハルシネーションの回避
• ドキュメントの読み込み

質問への回答

質問：岡本太郎によって「太陽の塔」が建てられたのはいつですか？

＜回答＞

少々意外でしたが、完全に誤った回答が返ってきました。

太陽の塔が建てられたのが1970年ですし、万博もその年に開催されているので、大部分が誤っていますね。高さも60メートルと回答していますが、実際は70メートルです。

以前ChatGPT-3.5にも全く同じ質問をしましたが、その際は下のように正確な回答をしてくれています。

もう一つ簡単な質問もしてみました。

質問：鎌倉幕府を開いたのは誰ですか？

こちらはおよそ正確な回答が返ってきました。

一部英語のまま出力されており、意味が読み取れない部分もありますが、質問への直接の回答だけでなく、その背景やその後の動向まで回答してくれています。

鎌倉幕府が開かれたのが、1185年なのか1192年なのか、という問題がある中で、1192年と言い切ってしまっている所などは、ハルシネーションを回避しきれていない雰囲気を感じます。claude2を使う上で考慮した方が良いかもしれません。

長文の要約

ここでは私が昔書いた1700字ほどの文章を要約してもらうことにします。

基本的な内容は以下の通りです。

この文章の全文を入力し「この内容を要約してください」と依頼した時の回答を比較していきます。

＜回答＞

こちらは非常にわかりやすく要約してくれました。

回答に少し時間がかかったものの、大量のテキストを正確に読み取って綺麗にまとめてくれていると思います。

この文章の要約を、ChatGPTやGoogleBard、BingAIでも試しているのですが、個人的には一番文章の要点を抑えてわかりやすくまとめてくれているように感じます。

長文の要約は得意なのかもしれません。

記事の執筆

記事の構成を考えてもらいます。

質問：「美味しいカレーの作り方」を解説する記事の構成を考え、各段落の見出しだけ答えてください。

＜回答＞

とりあえずカレーの作り方を知りたい人向けの、わかりやすい段取りの解説、という記事ではなく、「美味しいカレーの作り方」を解説するべく各章でその段取りの重要性やコツを解説してくれています。

狙っていたのかは分かりませんが、「ただのカレー」と「美味しいカレー」の違いを認識して、プラスαの情報を提供してくれているあたりは好印象です。

実際に文章も考えてもらいましたが、しっかりと野菜の切り方についての詳細を教えてくれています。その切り方をすることによる効果や、その理由まで解説してくれていて、日本語の使い方も問題なさそうです。

簡単な記事の執筆なら依頼することも可能かもしれません。

ハルシネーションの回避

一般的に答えが出しずらい問いに対して回答してもらいます。

質問：世界でいちばん幸せな人は誰ですか？

＜回答＞

「特定することは難しい」という回答が返ってきました。しっかりと、正当性に欠ける回答に関しては、断定的な回答を避けることができるようです。

世界で最も幸せな人を断定できない理由まで解説してくれていて、「幸せの定義」「主観的なもの」「お金や地位」などの単語を出して丁寧に説明できています。

ドキュメントファイルの読み込み

ドキュメントファイルを読み込ませ、内容を要約してもらいます。

質問：内容を要約して下さい。

＜回答＞

6ページの簡単なプレゼン資料はすぐに要約してくれました。必要な情報を上手に抜粋していて、内容も間違ったものは含まれていません。驚きです。

このファイルはプレゼン資料なこともあり、テキストよりも図やイラストがメインのものだったので、次は、テキストベースの論文を入力してみます。

質問：内容を要約して下さい。

＜回答＞

文字数の多いテキストベースのファイルもしっかりと読み込んで要約してくれています。どうやらclaude2は要約という面ではかなり優れているのでしょうか。要点を上手に抑えることができているように思います。

一冊の本を要約することも可能、ということで実際にそれを確かめるために、青空文庫に記載されている作品から一つファイルをダウンロードし、claude2に入力してみましたが、下の画像のように、うまく読み込んでもらうことができませんでした。

正確に読み取れるファイル形式と、そうでないものがあるようなので、何度か使う内にコツを探っていく必要がありそうです。

claude2 VS chat GPT

以上の検証結果を踏まえ、ライバルと称されることもあるChatGPTとclaude、結局どちらが良いのかについて考えてみます。

両者の主な違いは以下の通りになります。

※ブラウジング機能：検索結果をもとに回答を生成する機能

大きな違いとしては、やはり処理できるトークン数に大きな差があること、ドキュメントの読み込みができるか否か、といったところでしょうか。

ただ、どちらも時間あたりの制限が設けられていますが、使ってみた感じでは、圧倒的にclaude2の方が早く制限に達してしまいます。

現時点ではChatGPTに軍配が上がる？

正直な見解としては、先ほど試した結果から分かるように、単純な回答の精度や、ファイルの読み込みの精度など、claude2は基本的な能力の部分で少し劣っているのかな、と感じました。

大量のテキストを処理できるのはかなりの強みかと思いますし、ファイルの読み込み機能を無料で使えてしまうのは、すごいことだと思います。ただ、強みとしているトークン数の多さも、時間あたりの制限があってはあまり効果を発揮できないのかな、とも感じます。

使用回数の制限が厳しい中で、無意味な回答をされるとなると、制限を気にしながら使っていかなくてはならないので、使い心地が良いとは言えないでしょう。

ハルシネーションの回避については、一般的に答えが分からないと判断できるようなものに関してなら、回答を避ける傾向はありそうです。

しかし答えがある程度分かっている問いに対して、堂々と誤った回答を出力してしまっているので、誤った回答の回避に関しては、これまでの生成系AIと変わらない、もしくは少し劣っているとも考えられます。

これらを考慮して、現時点では、ChatGPTの方が優れている、と考えます。
（有料プラン同士 (ChatGPT-4とclaude2.1) の比較も行おうと思いましたが、claudeの方で無料プランと有料プランに大きな差がないことから、今回は省略しています。）

claude2をどう活用していく？

claude2の強みは３つあると思います。

1つ目が、要約する能力。2つ目が大量のテキストを処理できること。3つ目がファイルの読み込みが可能なこと。

これらを組み合わせて、膨大なテキストで構成される論文や資料をclaude2に読み込んでもらい、内容を要約させるのが、現時点での一番有効な活用法なのではないかと思います。

ただ、絶対的な信頼を持って要約を任せることはまだ難しいと思いますので、忘れてしまった論文の内容を思い出すなど、内容への理解がある程度ある状態で、要約をしてもらうのが良いかと思います。

まとめ

以上が話題のAIチャットサービス「claude2」についての解説になります。

その他の生成系AIで課題となっているいくつかのポイント（ハルシネーション、トークン数、コーディングスキル）を確実に抑えているサービスなだけあり、大きな話題となりました。

確かに「ChatGPTのライバル」と呼ばれるだけの機能や性能は確かに持っているようですが、基本的な精度の面で、ChatGPTに対してまだ少し劣っていると感じます。

ただ、それぞれ得意な分野、不得意な分野がありますので、場面に応じて都合よく使い分けるのが良いかと思います。

最後まで読んでいただきありがとうございました。