「目」と「耳」を持つChat GPT-4V！明日から使える活用法を紹介！

2023年9月末、ChatGPTを提供するOpenAI社は「ChatGPT-4V」をリリースすることを発表しました。

公式X（旧Twitter）からは実際に画像を使ってAIとやり取りする動画が公開され、早くも世界中で注目を集めています。

そこで今回は、「画像識別」と「音声認識」の機能を手に入れ、「目と耳を持った」などと言われているChatGPT-4Vについて、その概要や特徴、何がすごいのか、などを解説し、後半には明日から導入すべき活用法を5つ紹介しています。実際に試した経験をもとに、本当に便利だと感じたものを紹介していますので、ぜひ最後まで読んでみてください！

ChatGPT-4Vとは

ChatGPT-4Vとは、OpenAI社が開発したマルチモーダルAIです。

マルチモーダルAIとは、複数の情報を処理する能力を有した人工知能のことを指します。それまでのChatGPTでは、「テキスト」の情報しか処理することができませんでしたが、GPT-4Vでは、「テキスト」に「画像」「音声」を加えた３種類の情報を処理できるようになりました。これにより、それまでテキストのみで入力していたものを、画像や音声を使いながら入力することが可能になったのです。

ChatGPT-4VはChatGPTplusに加入している人であれば使うことができ、ChatGPTplusには、20ドル/月の料金を払うことで加入することができます。

ChatGPT-4Vの特徴

一番の特徴はやはり、「画像」の情報を処理できるようになったことです。

画像での入力が可能になったことで、「この画像みたいな風景はどこで見れますか？」というように、曖昧な指示出しが可能になりました。それまでは「流れの緩やかな川と、赤く色づいた木々、そしてひらけた青い空が同時に見える場所はどこですか？」というように、イメージを言語化して指示を出す必要がありましたが、ChatGPT-4Vではその必要がありません。

「こういう感じの〜を作って」「これを真似して絵を描く方法は？」「この雰囲気の色合いの名前は？」というように、曖昧な言葉のまま指示だしを行えるようになったのです。

では、画像識別・音声認識の機能について詳しく見ていきます。

画像識別機能

こちらは2023年9月25日にOpenAI社の公式X（旧Twitter）より公開された動画です。（動画はリンクよりご覧ください。）

動画内では、画像データをもとに「自転車のサドルの下げ方」をChatGPT-4Vに聞いていく様子が紹介されています。

この動画のようにスムーズに解決するためには、少し練習が必要かと思いますが、生活の中でふと気になったこと、その場で目で見ないと解決できないことなどに関して、ChatGPT-4Vが大いに役立っていく未来が簡単に想像できますね。

音声認識機能

こちらはOpenAI社のホームページで公開されているもので、音声認識機能を用いてChatGPT-4Vに、「就寝時に聞くお話」を聞かせてもらっている様子です。（動画はリンクよりご覧ください。）

主人公の名前などの設定を指示してストーリーを作ってもらっています。途中ストーリーに関する質問をして、それに答えてもらうなど、実際に誰かに話してもらっているかのようにやり取りをしているところが驚きです。

また音声識別の機能が生まれたことで、「AI同士に会話をさせる」ということも簡単にできるようになりました。AIがどのような話題で盛り上がり、話がどのような内容に流れていくのか、家で簡単に試せるようになったのは驚くべきことですね。

今すぐ取り入れるべき ChatGPT-4Vの活用法5選

ここからは、私が実際にChatGPT-4Vを使ってみて、「これは便利だ！」「これはChatGPT-4Vにしかできない！」と感じたものを紹介していきます。

グラフからデータの抽出・分析

グラフ画像を入力することで、例えば英語で書かれたグラフであっても、情報を読み取ってもらうことが可能です。

質問 : この画像から読み取れることを教えてください。

このように、英語のグラフであっても、グラフから正確に情報を読み取れていることがわかります。市場規模の成長速度に関しても正確に読み取っており、グラフが主張したい主な内容（リユース品のオンライン市場が、オフライン市場と比較しても拡大傾向にあること）を簡潔に教えてくれています。

質問 : このグラフのCSVデータを作成してください。

またこのように、読み取ったグラフからCSVデータを作成することも可能で、これを使えば簡単にグラフのデザインを自分で変更することもできます。

栄養管理

食料品に記されている栄養成分表示をもとに、その食料品の摂取上限などを算出してもらうことも可能です。

質問 : 栄養成分表示をもとに、この飲料水を1日に飲んで良い本数を教えてください

このように、栄養成分表示をもとに、一般的な食事内容や、1日に必要なエネルギー量などを参照しながら、飲んでも良い本数の上限を教えてくれました。

エネルギー量などに注意を払っている人であれば、写真を撮ってChatGPT-4Vに尋ねるだけで簡単に栄養管理に関する助言をもらうことができるでしょう。

デザインの評価

制作した画像やイラストのデザインに対して、ターゲットがどのような印象を抱くのか、GPT-4Vに評価してもらうことも可能です。

質問 : この画像は読者にどのような印象を与えますか？

なんとChatGPT-4Vは、イラストが服の並列によって表現しようとしている「階層構造」を認識し、Shopifyにおける階層構造やカテゴリーの特殊性を見る側に印象付けるだろう、と回答してくれました。

またこの他にも、デザインの改善点を尋ねると、かなりの分量でフィードバックが来たので、辛口採点をしてもらいたい場合、そのように指示を出せばかなり厳しいフィードバックをもらえると思います。

同意書の翻訳・要約

海外の通販サイトなどで、配送や情報の取り扱いについての同意書にサインする場面がよくありますよね。この同意書を丁寧に読むのは実際なかなか難しい。

そのような時にChatGPT-4Vを使えば、内容を翻訳してくれるだけでなく、要約までしてくれるので、瞬時に同意書の内容を大まかに理解することができます。

質問 : 画像の内容を日本語で要約してください

このように、英語で書いてあって内容の理解に困る同意書や誓約書も、ChatGPT-4Vに投げかけて内容を翻訳・要約してもらうことで、簡単に内容を把握することができます。

画像からHTML/CSSコード生成

イメージ画像を提示して、それを再現するためのHTML/CSSコードを作成してもらうことも可能です。

質問 : 画像のようなデザインを実装するためのコードを作成してください。

【回答】

コードでの回答がスムーズに返ってきましたが、実際に出力されたコードを確かめてみたところ下のようなデザインになっていました。

そこで何度かプロンプトを修正し、コードの作成をChatGPT-4Vに任せた結果、15分ほどで下記のようなデザインにまで改善することができました。上が今回作成したデザインで、下が参考にしたデザインです。

【ChatGPT-4Vが作ったデザイン】

【参考にしたデザイン】

簡単なイメージを作って、大まかなコードをChatGPT-4Vに書いてもらえば、あとは細かいところを修正するだけで質の高いものが作れそうです。

これにより、エンジニアの仕事もかなり効率化されていくのではないでしょうか。

まとめ

以上が、マルチモーダルAIであるChatGPT-4Vの紹介記事になります。

今回のバージョンアップで最も特徴的だったのは、「画像認識」「音声認識」が可能になった点です。

これにより、グラフから情報を読み取ってもらったり、自分のイメージをもとにプログラミングをしてもらったりなど、より曖昧なイメージのままでAIに指示を出せるようになりました。

LLM（大規模言語モデル）の成長は、今後も注目すべきトピックですので本ブログではそちらの最新情報も随時発信してまいります。

最後まで読んでいただき、ありがとうございました。