OpenAI、高度な音声モードがビデオや画面共有に対応！映像を活用したリアルタイムな会話が可能に

OpenAIは2024年12月12日(現地時間)、「12 Days of OpenAI」の6日目として、「Advanced voice with video & Santa mode」を発表しました。この発表では以下の2つの新機能が紹介されています。

＜Day6で発表された新機能＞

ChatGPTの「高度な音声モード」がビデオと画面共有に対応
特別なホリデー機能として「サンタモード」が登場

特に注目されているのは、前者の「高度な音声モード」の進化です。この機能により、音声だけでなく、映像や画面共有を通じたリアルタイムの対話が可能になり、ChatGPTからのより精度の高い回答が期待できます。たとえば、AIとリアルタイムに会話し、「周囲の映像から状況を判断して」などのタスクを依頼することができるでしょう。

この記事では今回の発表の詳細や、本機能の利用方法などについて詳しく紹介します。

発表①：高度な音声モードがビデオと画面共有に対応
1. デモ①ビデオを活用したコーヒーの淹れ方レクチャー
2. デモ②画面共有を活用したアドバイス
発表②：高度な音声モードにサンタモードが追加
1. デモ：サンタモードでの会話例
2. サンタモードの利用方法
今回のアップデートの背景
1. まとめ

発表①：高度な音声モードがビデオと画面共有に対応

OpenAIは「Advanced Voice Mode(高度な音声モード)」が音声だけでなく、ビデオや画面共有にも対応したことを発表しました。

従来の「高度な音声モード」は、音声で質問を入力すると、人間のような自然な音声で回答を得られる機能です。しかし、今回のアップデートにより、音声だけでなくビデオや画面を通じた対話が可能になり、ChatGPTが映像や画面の内容をもとに回答できるようになりました。これにより、さらなる精度と実用性を実現しています。

また、この機能は音声認識と出力を処理するGPT-4Tモデルを基盤としており、感情やトーンを伴う、より自然で深みのある会話が可能です。

さらに、今回の発表では、新たにライブチャットの録画・共有機能が追加されたことも明らかにされました。この機能を使うと、重要な会話や学習セッションを記録し、後から見返したり、SNSで共有したりすることができます。

＜本機能の利用スケジュール＞

2024年12月13日から最新モバイルアプリで順次展開開始
来週にかけてTeamsユーザーおよび、ほとんどのPlusおよびPro加入者に提供予定
来年初頭にはEnterpriseプランおよび教育プランユーザーにも展開予定

デモ①ビデオを活用したコーヒーの淹れ方レクチャー

OpenAIのCEOであるサム氏は、デモを通じて、ChatGPTがビデオを活用して対話する様子を紹介しました。

まず、音声モードを起動するため、ChatGPTアプリのチャットバー横にある音声アイコンをタップ。「高度な音声モード」を有効にすると、ChatGPTに音声や映像の入力を待機する画面が表示されます。

ここで、左下のカメラボタンをオンにして、サム氏が「目の前に何があるか分かる？」とChatGPTに尋ねると、ChatGPTは「ケトルやドリッパーなどのコーヒーを入れるセットが見えます。コーヒーを入れようとしているのですか？」と即座に回答しました。

その後、サム氏が「コーヒーを入れる手順を教えて」と頼むと、ChatGPTは「もちろん！まずはフィルターをドリッパーにセットします。続いて、熱湯を注いでドリッパーとマグカップを暖めてください。」と回答しました。

その後も引き続き、「挽いたコーヒーをティースプーン2杯分フィルターに入れてください」「「熱湯はそっと注いでください」など、ChatGPTは的確なアドバイスを行い、その性能を示しました。

デモ②画面共有を活用したアドバイス

さらに、ChatGPTの画面共有機能を使ったデモも行われました。再度、ChatGPTを開いてチャットバーの横にある音声アイコンをタップして「高度な音声モード」を起動。

その後、三点リーダー「…」ボタンをタップして、「Share Screen」をタップします。

すると、「Screem Broadcast」画面が表示されるので「Start Broadcast」をタップ。これでChatGPTとの画面共有は完了です。

画面共有が開始された状態で、サム氏がメッセージアプリを開き、「この写真について相手に何と伝えたらいい？」とChatGPTに質問。

すると、ChatGPTは「君のサンタの格好はクリスマスにピッタリだね！ホーホーホー！というサンタの掛け声の練習を続ければ、すぐにショッピングモールでサンタの仕事が舞い込んでくるよ！」とアドバイスをくれました。

発表②：高度な音声モードにサンタモードが追加

OpenAIは、年末限定の特別機能として、「高度な音声モード(Advanced Voice Mode)」にサンタの声で回答が得られる「サンタモード」を追加したことも発表しました。

この新機能により、子どもたちの質問に答えたり、クリスマスの楽しい話題で会話を楽しんだりすることができます。陽気で親しみやすいサンタの声を再現したこのモードは、ホリデーシーズンにぴったりのユニークな体験を提供してくれるでしょう。

初めてサンタモードを利用する際には、利用者の「高度な音声モード」の使用制限が一度リセットされるため、すぐにサンタとの対話を開始できます。また、プライバシーに配慮して、サンタモードでの会話内容はチャット履歴に保存されません。OpenAIによると、2024年12月13日以降、サンタモードは高度な音声モードが利用できる全ユーザーに展開される予定です。