Gemini Liveでいろんなものを見てみた!

今回はGoogleが開発したAI、「Gemini(ジェミニ)」で様々な商品情報を読み上げてみましたので、その内容を紹介します。

Geminiは最新のAIモデルです。テキスト、画像、音声、動画、コードなど、さまざまな種類の情報を理解し、生成することができます。高度な推論能力を持ち、より複雑なタスクを実行できるのが特徴です。

無料版と有料版(月額2,900円)があり、文字によるチャット、写真の分析、音声対話などが行えます。

今回はiPhone版の無料のGeminiを使用し、リアルタイムの音声対話機能「Gemini Live(ジェミニ ライブ)」を使ってGeminiと音声対話をしながら商品情報を確認しました。

Gemini Liveの起動

Gemini Liveを使用するには、Geminiアプリを開き、「Gemini Liveを開始」を選択し、実行します。

Gemini Liveが開始され、話しかけると自動的に応答があります。また、初めてGemini Liveを起動すると、応答の音声を選ぶ画面が表示され、音声のサンプルを聞きながら好みの音声を選択する必要があります。

なお、応答する音声は、「設定」の中の「Geminiの音声」からいつでも変更することができます。

Gemini Liveの初期設定では、Geminiの応答を文字で示す「字幕」とカメラに映し出された映像をスマートフォンの画面に表示する「動画ストリーミング」がオフになっていますので、有効にします。

字幕は1度有効にすると以後Gemini Liveを起動すると自動的に有効になりますが、動画ストリーミングは常に無効になっていますので、必要に応じて適宜有効にします。

なお、動画ストリーミングを有効にした場合、一定時間使用すると、スマートフォンが非常に熱くなることがありますので、注意してください。

以下は動画エリア。【動画】Geminiの起動操作(mp4/11MB/2分2秒)

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね5MB超のデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。

Gemini Liveでいろんなものを見てみる

Geminiに商品を見てもらいましょう。今回は下記の6種類の商品を試してみました。

① 手触りが同じ長方形の箱に入ったレトルト商品が2種

② 丸いボトルに入った飲料が2種

③ 小さい長方形の箱に入った商品が1種

④ 袋に入った商品が1種

⑤ 透明の袋に入った商品が1種

⑥ 長方形の缶に入った商品が1種

① 手触りが同じ長方形の箱に入ったレトルト商品

セブンイレブンの1日に必要な野菜の2分の1が摂れるごろっと野菜カレーの表面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。一つ目は、セブンイレブン「ごろっと野菜カレー」

パッケージに書かれている内容を尋ねてみたところ、大きい文字は読めましたが、細かい文字や1人前、内容量、カロリーの2段組み、下部の注釈部分[※厚生労働省が推進している健康日本21(第3次)の目標値(1日350g)の約1/2である野菜175g分]は読み上げませんでした。

 

セブンイレブンの1日に必要な野菜の2分の1が摂れるごろっと野菜カレーの裏面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。裏面を確認してもらうと「原材料名や栄養成分表示、調理方法などが書かれていますね。ほかに知りたいことはありますか?」とちょっと上から目線で教えてくれました。

賞味期限が書かれているか尋ねたところ、「書かれていますよ。ただ、字が小さくて読みづらいので、もう少し大きく映してもらえますか?」との返答。

ところが、「この面に賞味期限は書かれていますか?」と質問を変えてみると…。「この面には書かれていないようですね。パッケージのほかの面も確認してみますか?」との返答がありました。

 

どうやら質問の仕方によって答えが変わってくるようです。これは、聞き手の腕が試されるところですね。

そこで、パッケージの左、上、右、下の順でそれぞれの側面を映しながら「この面には賞味期限が書かれていますか?」と一つずつ尋ねてみました。すると底面に2026年7月と賞味期限が書かれていることを教えてくれました。

 

二つ目は、ハウス「咖喱(カリー)屋ハヤシ」です。

ハウス食品のカリー屋ハヤシの表面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。

カレーライスかハヤシライスか尋ねてみたところ、「ハヤシライスですね。」とあっさりと教えてくれました。

 

裏面に書かれている調理方法について尋ねてみました。「調理方法は電子レンジとオーブントースターの2種類があります。電子レンジの場合は、箱を開けて、パウチのままレンジに入れて加熱します。オーブントースターの場合は、中身を耐熱容器に入れてオーブントースターで加熱します。詳しい加熱時間は、パッケージに記載されていますよ。」との返答がありました。

 

ハウス食品のカリー屋ハヤシの裏面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。改めてGeminiに加熱時間を尋ねます。「電子レンジで加熱する場合、500Wで1分40秒、600Wで1分20秒、700Wで1分10秒です。オーブントースターの場合は、機種によって加熱時間が異なりますので、様子を見ながら調整してください。」と加熱時間だけをピンポイントで教えてくれました。

欲しい情報だけをピンポイントで読み上げてくれることはありがたいですね。

ところが、ITステーションの晴眼者の同僚職員(以下、「同僚職員」)に見てもらうと、調理方法は「電子レンジの場合とお湯で温める場合の二通りあります。電子レンジの場合、箱のふたを開け、180度しっかり折り返し、斜めに立てます。封を切らずに箱ごとレンジに入れて温めます。中袋が膨らみ、蒸気口から蒸気が抜けます。箱を持って取り出します。加熱時間の目安は、500Wで1分50秒、600Wで1分20秒、700Wで1分。オート加熱不可。上記ワット以外での調理はおやめください。加熱時間は、機種・ワット数により異なります。追加で加熱する場合は、少しずつ時間を設定して調整してください。

お湯で温める場合、中袋の封を切らずに、3分から5分、沸騰させて温めます。鍋にふたをしないでください。業務用レンジ、オーブン、オーブントースターは使用不可。」とのこと。

 

あれ? Geminiが教えてくれた内容と大きく異なりますね。

Geminiはカリー屋ハヤシの調理方法を読みながら、ほかのページも少し参考にしながら、妄想していたのかもしれません。それにしてもなかなか想像力が豊かですね、Geminiさん。

調理方法など大切な情報は、OCRにかけて読む、Be My Eyesなどで晴眼者に読み上げてもらうなど、他の方法で読む方がよさそうです。

試しにSeeing AIでハウス食品のカリー屋ハヤシの裏面を読み上げてみたところ、調理方法、調理時間、注意事項などを正確に読み上げました!

以下は動画エリア。【動画】手触りが同じ長方形の箱に入ったレトルト商品(MP4/37MB/7分6秒)

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね5MB超のデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。項目一覧に戻る

② 丸いボトルに入った飲料

【写真】同じようなペットボトルに入った飲料2種。色あいも同じように見えます。同じようなペットボトルに入った飲料2種をGeminiで確認してみました。

「左が成城石井のジンジャエールですね。右はウィルキンソンのジンジャエールです。」と教えてくれました。このように見えている物の方向と、その物の名前を教えてくれるのはありがたいですね。

最後には、「ジンジャエールの飲み比べ楽しんでくださいね。」と人間っぽいコメントをくれたのは面白いポイントです。

以下は動画エリアです。【動画】丸いボトルに入った飲料(MP4/6MB/1分23秒)。

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね4MBのデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。項目一覧に戻る

③ 小さい長方形の箱に入った商品

カロリーメイトブロック表面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。「黄色い箱ですね。バランス栄養食のカロリーメイトの箱みたいです。」とGeminiから返答がありました。

カロリーメイトの何味か尋ねてみたところ、「カロリーメイトの箱にはいくつか種類がありますね。映っているのはチーズ味でしょうか。」と答えてくれました。

 

カロリーメイトブロックの裏面パッケージ。黄色の箱に赤で内容が書かれています。クリックすると別ウィンドウで拡大写真が表示されます。箱の裏面に書かれているアレルギー成分を読み上げてもらったところ、小麦、卵、乳成分、アーモンド、大豆と教えてくれました。念のため、同僚職員が確認したところ、読み上げられたアレルギー成分に間違いはないようです。

続いて原材料名を読み上げてもらいました。「小麦粉、マーガリン、砂糖、卵、レモンピール加工品、アーモンド、グレープフルーツパウダー、脱脂粉乳、大豆タンパク、小麦タンパク、でん粉、食塩/カゼインナトリウム、加工でん粉、香料、ナリンジン、カロチノイド色素となっています。」(Gemini)

なんと、原材料にチーズが含まれていません! Geminiに原材料にチーズが含まれていないこと、これは本当にチーズ味であるのかと尋ねてみたところ、「チーズパウダーが使われていると思います」「チーズ味は香料などで再現されているのかもしれませんね」とあくまでもチーズ味であるという説明を繰り返しました。

 

【写真】カロリーメイトブロックの側面パッケージ。動画にあわせて逆向きにしています。そこで、箱の側面に書かれている文字を読んでもらったところ、「パッケージの横面にはカロリーメイトフルーツ味と書かれていますよ。」と平然と読み上げました。

なんとフルーツ味! 先ほどまでかたくなにチーズ味と説明していたのでは?!

「先ほどチーズ味とお伝えしてしまい、申し訳ありません。この商品は、フルーツ味で間違いなさそうです。」と謝ってくれました。

 

このようにパッケージの側面に商品名が書かれている場合などは、パッケージの表面の映像から判断し、誤った商品名を伝えてしまうこともあるようです。様々な面を確認する必要があることを再認識しました。

以下は動画エリアです。【動画】小さい長方形の箱に入った商品(MP4/27MB/6分51秒)。

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね4MBのデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。項目一覧に戻る

④ 袋に入った商品(2分42秒/52MB)

BASE Cookies Pepperの表面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。BASE Cookies Pepperの裏面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。袋に入った商品1種を確認してもらいました。「ベースクッキーズペッパー」と教えてくれました。

袋の表面には、全粒粉ベースであること、26種類のビタミンとミネラルが含まれているということが書かれていること、裏面には、原材料名、栄養成分表示、アレルギー情報、賞味期限が書かれていることを教えてくれました。

同僚職員によるとこの商品は比較的文字が大きくはっきりと書かれているとのことで、認識しやすかったのかもしれません。

このように書かれていることを要約して伝えてくれると、必要な情報のみ尋ねることができるので、効率的に情報を手に入れることができます。

以下は動画エリアです。【動画】袋に入った商品(MP4/15MB/3分)。

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね5MBのデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。項目一覧に戻る

⑤ 透明の袋に入った商品

成城石井のほたて&チーズの表面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。成城石井のほたて&チーズの裏面パッケージ。クリックすると別ウィンドウで拡大写真が表示されます。透明の袋に入った商品もスムーズに読み上げてくれました。「成城石井のおつまみ、おやつにホタテ&チーズですね。」(Gemini)袋の表面には6個入りであること、北海道産のホタテにチーズを合わせたおつまみであるということが書かれていること、裏面には、商品名、原材料名、内容量、保存方法、製造者、製造所、栄養成分表示が書かれていることを教えてくれました。

Geminiによるとこの商品は直射日光を避け、冷暗所に保存すること、2025年10月22日が賞味期限であることがわかりました。

こちらの商品も文字が大きく、比較的わかりやすく表示されているので、Geminiも戸惑うことなく読めたようです。

以下は動画エリアです。【動画】透明の袋に入った商品(MP4/15MB/3分20秒)。

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね5MBのデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。項目一覧に戻る

⑥長方形の缶に入った商品

皆さん、何の缶か想像できますか?

パインアメ×スヌーピーコラボ缶。クリックすると別ウィンドウで拡大写真が表示されます。「スヌーピーとチャーリーブラウンが描かれたパイナップルが描かれた黄色い缶」と教えてくれました。

これは2025年4月23日発売されたパインアメとスヌーピーの初コラボ商品の一種です。缶の表面には、パイナップルのイラストと、パインアメをほおばっているスヌーピー(犬)、チャーリーブラウン(男の子)、そしてGeminiの説明にはありませんでしたがウッドストック(鳥)が描かれています。ウッドストックは黄色なので、Geminiには認識しづらかったのかもしれません。

 

せっかくなので缶を裏返し、原材料名を読み上げてもらいました。「砂糖、水飴、パイナップル果汁、脱脂粉乳/酸味料、香料、着色料(紅花黄、モナスカス)」と正しく読み上げてくれました。

ついでに賞味期限を訪ねてみたところ、「2024年12月」と自信満々に教えてくれました。

商品が発売されたのが2025年4月23日、賞味期限が2024年12月ということはないですよね。

同僚職員に確認したところ、賞味期限が書かれたシールが缶の側面に貼られていたようですが、すでにはがされており、賞味期限の記載はないとのことでした。2024年12月はいったいどこから出てきたのでしょう?

以下は動画エリアです。【動画】長方形の缶に入った商品(MP4/24MB/4分57秒)。

動画ファイルはMP4ファイルです。今回の動画では1分あたり概ね5MBのデータを使用します。
通信会社との契約によっては思わぬ出費となる場合がありますので、ご注意ください。

[左の動画エリア内をクリックすると、動画が始まります。]

データ量の少ないスクリプト版はこちら

動画エリアは以上です。項目一覧に戻る

本文は以上です。


このページの元となるメールマガジン記事はこちら

  • 重度障がい者ICT支援のページへ移動する
  • 講習会やイベントのお知らせ等をお送りします メールマガジンのページへ移動する
  • 幸田麻由の職場レポートのメニューに移動する