【電子工作】ｽﾀｯｸﾁｬﾝにGeminiAI搭載！？ファームウェアの書き換えに挑戦！

日付:

最近、AIのニュースが毎日のように報道されていますね。

長いこと放置されていたプログラムの脆弱性を発見したり、未解決だった数学の超難問をAIが解いたりといった人智を超越したニュースがある一方で、情報漏洩やセキュリティの懸念から、米政府が特定のAIシステムの利用を制限するといった話も飛び交っています。

AIが人類の救世主となるのか、それとも災厄となるのか、本当にすごい時代になりました。


私自身は、AIのディープな仕組みについては素人ですが、動画用のイラストを作ったり、日常のタスクを整理したりと、ガジェット感覚で日々楽しんでいます。

さて、そんな少し重たいAIのニュースはさておき、今回は自宅のデスクを彩る「かわいいAI」を作っていきたいと思います。


今回取り上げるのは、M5Stack社の手のりAIロボット「ｽﾀｯｸﾁｬﾝ」です。

標準の状態でも十分賢く、時折見せる珍回答も楽しいのですが、「中身のAIを最新のGeminiに変えられたら、もっと面白くなるのでは？」と思ったことはありませんか？

実は、ファームウェアを書き換えることで、それが簡単に実現できちゃうんです。

今回は、2026年10月にアップデートされた最新のソースコードを使って、ｽﾀｯｸﾁｬﾝをGemini Live対応のリアルタイム会話ロボットに進化させる手順とその実力をレビューします！


手順概要

（作業される方は自己責任にてお願いいたします。
　なおの所為で壊れた！と言われても、対応できません💦）

1. 必要なツールとAPIキーの準備
GeminiAPIキーの取得　（ChatGPTのAPIキーは従量課金）
VSCode
PlatformIO IDEのインストール
2. ソースコードのダウンロードと配置
3. ファームウェアのビルドとアップロード
4. WebUIによる本体設定
5. 動作確認と操作方法

・各リンクをまとめておきます。

・APIキーの発行（一定枠無料）
　Google AI Studio

・ソースコード
　Github AI_StackChan_Ex　（Copyright (c) 2024 motoh）

・VSCode ダウンロードページ

・M5Burner（標準ｽﾀｯｸﾁｬﾝにリカバリする場合使用）


手順詳細


【重要】作業前の注意事項
本作業を行うと、ｽﾀｯｸﾁｬﾝの標準ファームウェアおよび保存されていた既存のデータはすべて消去されます。事前に十分ご留意ください。

1. 必要なツールとAPIキーの準備:
APIキーは外部に漏洩しないよう厳重に管理してください.
Google Gemini APIキー: Google AI Studioにアクセスし、「APIキーの作成」から新規取得します。一定枠まで無料で利用可能なGemini（Gemini Live）のAPIを使用します。
開発環境: PCにVSCodeをインストールし、拡張機能から「PlatformIO IDE」を追加しておきます。



2. ソースコードのダウンロードと配置: 
パスの長さに起因するビルドエラーを防ぐための措置です.
GitHubからmotoh氏（アカウント名: ronron-gh）が公開している「AI_StackChan_Ex」のソースファイルをダウンロードします。2026年10月のアップデートでGemini Live APIのリアルタイム双方向通信に正式対応しています。


・ 配置場所: パスが深いと不具合が起こる可能性があるため、`C:\SC` など浅い階層のフォルダに配置してください。
・ ドキュメントの確認: 作業前に、必ず作者の「Realtime APIの説明ページ」に目を通してください。

3. ファームウェアのビルドとアップロード: 
環境に合わせたenvを選択して実行します.
1. VSCodeでダウンロードしたプロジェクトを開き、使用する `env` を選択します。
2. ｽﾀｯｸﾁｬﾝをダウンロードモードに切り替え、USBケーブルでPCに接続します。
3. ファームウェアのアップロードを実行します。完了したら、ｽﾀｯｸﾁｬﾝを再起動してください。

4. WebUIによる本体設定: 
microSDへのyaml書き込みも可能ですが、WebUIでの設定が推奨です.
再起動後、ｽﾀｯｸﾁｬﾝの画面にWebUIアクセス用のQRコードが表示されます。スマホ等で指定されたWi-Fiに接続し、表示されたUI画面へアクセスして以下の3項目を設定します（MCPの設定は現時点では不要です）。

・ Wi-Fi: 安定通信のため2.4GHz帯のアクセスポイントを指定します（5GHz帯は不安定になるため非推奨）。
・ AI: 「Enable Memory」を有効にし、会話履歴を記憶させます。
・ サーボ: M5Stack社製ｽﾀｯｸﾁｬﾝの場合、Typeは「M5_SCS」を選択します。
・ 初期値の参考・: Center Xを`166`（ほぼ正面）、Center Yを`110`（少し顔を上げる角度）に設定します。
設定完了後、保存して再起動します。設定データは内蔵フラッシュ（SPIFFS）に記録されるため安心です。

5. 動作確認と操作方法: 
不具合がある場合は再度WebUIの設定を見直してください.
1. ネットワーク確認: 起動後、PC等と同じセグメントのIPアドレスを取得しているか確認します。ブラウザから `http://[IPアドレス]` にアクセスしてWebUIが開けば正常に通信できています。
2. 対話テスト: アバター画面に「Please touch」と表示されたら画面をタッチします。「Listening…」に変わったタイミングで「こんにちは」等と話しかけ、音声の応答があるか確認します。
3. サーボ稼働: この時点ではサーボは動かないため、顔の中央付近をタップし、サーボモーターが正常に動き出すか確認します。

どうでしょうか。うまく行きましたか？

「ｽﾀｯｸﾁｬﾝ」の最大の魅力は、なんといってもその愛らしい「手のりサイズ」のフォルムです。

デスクの隅にちょこんと置けるコンパクトなボディでありながら、M5Stackのディスプレイには表情豊かなアバターが表示され、視覚的に私たちを楽しませてくれます。


今回の設定では、サーボの初期値を「Center X: 166、Y: 110」に調整し、少し顔を上げてこちらを見つめてくれるような、イイ感じの角度に仕上げてみました。


起動すると、Wi-FiからIPアドレスを取得し、画面にアバターと「Please touch」の文字が表示されます。

タッチして「Listening…」に変わった瞬間の、ロボットがこちらに耳を傾けてくれているような待機姿勢のデザインは、何度見ても愛着が湧きます。


使用感とメリット


今回、motoh氏（ronron-gh）が作成された「AI_StackChan_Ex」を利用し、Google AI Studioで取得したAPIキーを使ってGemini Liveを組み込みました。

実際に話しかけてみて驚いたのは、その圧倒的なレスポンスの速さと会話の自然さです。


例えば、「今日の晩ごはん、何がいいと思う？」と質問すると、「急に寒くなってきたから、あたたかい鍋なんかどうですか？」と、ただのテキスト読み上げではなく、息継ぎや間の取り方まで非常にリアルな音声で返してくれます。

さらに、WebUIから「Enable Memory」を有効にすることで、過去の会話の文脈を記憶してくれるようになります。

これにより、「私、YouTuberやってるんだけど」といったパーソナルな情報を会話の中で教え込むことで、まるで本当のパートナーのようなパーソナライズされた対話が可能になります。


また、設定周りの使い勝手も非常に良好です。

microSDカードにyamlファイルを書き込んで設定することも可能ですが、Wi-Fi接続経由でスマホやPCのブラウザ（http://[IPアドレス]）からアクセスできるWebUIが用意されており、直感的にネットワークやAI、サーボの設定が行えるのは大きなメリットです。


気になった点（デメリット）


非常に優秀なAIロボットに進化するｽﾀｯｸﾁｬﾝですが、ハードウェアの制約ゆえにいくつか気になった点もあります。


一番の懸念点は、「メモリ容量の少なさ」です。

ｽﾀｯｸﾁｬﾝに内蔵されているフラッシュメモリは16MB、PSRAMは8MBしかありません。

Gemini Liveのような高度で連続的なリアルタイム処理を行わせると、稀に音声が途切れてしまったり、最悪の場合はシステムが耐えきれずに再起動してしまうことがありました。

物理的にメモリを拡張することができないため、このサイズ感と手軽さのトレードオフと言えます。


より安定した長時間の稼働を求める場合は、バックエンドの重い処理をPCや別のサーバー側に任せ、ｽﾀｯｸﾁｬﾝ本体は「アバター表示、マイク、スピーカー」のみに専念させるといった、ハードウェアに依存しない構成を工夫する必要があるかもしれません。


また、設定において2.4GHzのWi-Fiアクセスポイントを使用する必要があり、5GHz通信だと動作が不安定になる点も、最新のルーター環境だけで構築している方は注意が必要です。


まとめ


今回は、M5Stack社の「ｽﾀｯｸﾁｬﾝ」のファームウェアを書き換え、Gemini Live APIを使って超賢いリアルタイムAI会話ロボットに進化させる方法をご紹介しました。


メモリ制限による音声の途切れなど、ハードウェアならではの課題はあるものの、手のひらサイズのロボットと自然な会話ができる体験は、それを補って余りある感動を与えてくれます。

無料で使えるGeminiのAPIを活用し、VSCode経由で少しの手間をかけるだけで、これだけの完成度のガジェットが作れるのは本当に素晴らしい時代です。


もし動作がおかしくなっても、M5Burnerを使えば元の標準ファームウェアにすぐに戻すことができるので、安心して挑戦してみてください。

まだｽﾀｯｸﾁｬﾝを持っていないよ、という方は、下記リンクから購入可能です。

□　M5Stack StackChan

　※以下、アフェリエイトリンクを含みます。

　・Aliexpress　https://s.click.aliexpress.com/e/_c3CO5YJ3

開封や、初期動作の過去動画もチェックしてみてください！


それではまた、次のガジェットでお会いしましょう。

コメント

コメントを投稿