ついてきて、途中で待つ
「ついてきて」で追従を始め、「ここで待ってて」で止まります。地上階では約14.6 m追従し、高低差約4.65 mの階段では、上り・下り・途中停止をそれぞれ確認しました。これらの試験で衝突は0件でした。下の階に先に移動した来訪者へ追従するときは、進める着地点を下の階で探し直します。
ルミナは、会話と3D空間での動きをつなぐAIキャラクターとして開発しています。話して、まわりの様子をつかみ、その場に合った動きにつなげる。そのための試作と確認を重ねています。このページでは、進み具合や測った結果、試作動画をご紹介します。
2026年11月20日更新。11月19日と20日の動作検証を追加しました。試験は、制作者のMac(Apple M1 Max・32GB)で動かした試作アプリで行いました。
空の城の試作アプリを、文字入力と無音の設定で動かしました。
「ついてきて」で追従を始め、「ここで待ってて」で止まります。地上階では約14.6 m追従し、高低差約4.65 mの階段では、上り・下り・途中停止をそれぞれ確認しました。これらの試験で衝突は0件でした。下の階に先に移動した来訪者へ追従するときは、進める着地点を下の階で探し直します。
文字で対象と使う手を指定すると、ルミナが対象のそばまで行って手を伸ばします。最初の検証で指先が触れていた時間は、読書机の天板に右手で約1.00秒、飾り棚に左手で約1.02秒、読書机の開いた本に右手で約0.33秒でした。机を隠した試験では、動きの生成を始めずに終了しました。
ルミナの目の高さにあるゲーム内カメラの画像でソファを探し、近づいて座りました。ソファを外すと探索で終了し、来訪者が進路をふさいだ試験では、立ち止まって経路を計算し直してから座りました。空の城ではソファ、ベンチ、読書室の椅子を含む7か所で着席と立ち上がりを確認しました。
図書ラウンジの話題を覚え、案内を提案し、来訪者が同意してから歩き始めるところを確認しました。案内中に質問されると足を止めて文字で返事をし、続けてよいかを尋ねます。同意すると同じ行き先への案内を再開します。
その場で待つ、こちらを見る、手を振る、拍手する、後ろを向く、ソファまで歩く、ソファに座る、ソファから立つ、本を見に行く、テラスのベンチに座る。11月20日の再試験では10種すべてが完了し、この10件の衝突は0件でした。
2026年10月時点の検証と開発の記録です。
マイクボタンを押して話しかけると、聞き取って、声で答えます。日常の短い話しかけで、話しかけてから声が出るまで5.5〜8.8秒でした(10月17日)。
マイクを開いたままの常時の聞き取りは、まだできません。試験の声は macOS の読み上げ音声で、人の声ではまだ測っていません。
12の部屋を順に歩かせて、すべての区間で目的の部屋に着きました。家具や壁へのめり込みはありませんでした。リビングのソファ、読書室のアームチェア、衣装室のオットマンに座れます。
座る前に、目のカメラで椅子を2回確かめます。部屋から部屋への移動では、まだ目は使っていません。
停止ボタンを押すと、アプリの中では0.25〜3.9ミリ秒で声を止めます。マイクで「止まって」「待って」などと言っても止まり、止める言葉ではない発話160個で誤って止まったことはありませんでした。
ルミナの声がマイクに入っているときは、声で止められるのは半分ほどです。人の声での成功率はまだ測っていません。
本人の返事が、決まり文句に置き換わってしまう問題を直しました。誤って置き換わっていた162件のうち、本人の返事が残るのは12件から157件になりました。
長く話し続けたときの自然さは、引き続き確かめています。
どれも開発の途中です。
数字だけでは伝わりにくい「待ち時間」を、体験できるようにしました。開発中の会話の仕組みで実際に測った20回分の待ち時間を、ボタンで再現できます。
下のボタンを押すと、
番号を押すと、その回の待ち時間を再現できます。20回のうち15回は1秒台、5回は約7秒で、水色のマスがその5回です。
ここでは記録しておいた待ち時間を再現しているだけで、AIに質問を送ったり、その場で返事を作ったりはしていません。声で返事をするまでの時間も含みません。再現される時間は、表示の具合でずれることがあります。
各回の秒数(1回目から順に):7.727 / 1.197 / 1.173 / 1.594 / 1.463 / 1.320 / 1.073 / 6.966 / 1.171 / 1.473 / 1.317 / 7.181 / 1.229 / 1.207 / 1.575 / 7.186 / 1.375 / 1.182 / 1.197 / 7.200
「右手で2回手を振ってから空を見て」のように、複数の動作を順に頼めます。11月19日の試験では、指定した手と回数で動作することや、拍手の途中で左手の手振りに切り替えることを確認しました。11月20日の再試験では、左右と後ろを向くときに、足を置くタイミングに合わせて身体の回転を調整しました。
歩行と追従では、Godotで通れる経路を求め、足裏と床の位置を合わせます。生成を指定した動作では、ARDYが指示からVRMA形式のアニメーションを作り、ルミナの3Dモデルで再生します。接触動作ではさらに、手足の関節の角度を計算する逆運動学で、指先を対象の表面に合わせています。
(大きな画像を開く)話の流れをくみ取って、いろいろな話題に応える。返事を待つ時間も短くして、言葉のキャッチボールが自然に続く会話を目指しています。
(大きな画像を開く)目の前に何があって、いまどんな状況なのか。見えているものを手がかりに周りの様子をつかみ、その場に合った反応につなげていきます。
(大きな画像を開く)目指す場所まで、どう進めばいいのか。周りを見て動き方を選び、通れないところがあれば道を考え直す。そんなふうに自分で判断して動けるかを、試しています。
ルミナと話せる3D体験版を公開するかどうかは、時期も含めてまだ決まっていません。
空の城を使った試作アプリの検証録画です。6本とも音声なしです。フレームを記録してつないでいるため、再生時間は実際の動作時間と異なります。
階段を上って追従する
ルミナが階段を上り、上階に着くまでが映っています。階段に沿う経路計算と、足裏の位置を段差に合わせる処理を使っています。撮影時は追従の確認のため会話の接続を無効にしています。
階段を下りて追従する
上階から階段を下り、地上階に着くまでを収録しました。
階段の途中で止まる
「ここで待ってて」の指示を受けて、足を踏み直してから階段の途中で止まります。
右手で読書机に触れる
文字で「生成モーションで読書机に右手で触れて」と頼んだ場面です。ARDYが生成したVRMAの動きに、逆運動学で指先を天板に合わせる処理を加えています。この試験では約1秒の接触を確認しました。
左手で飾り棚に触れる
「飾り棚に左手で触れて」と頼み、左手の指先が棚の表面に触れるところを収録しました。
右手で開いた本に触れる
「読書机の開いた本に右手で触れて」と頼み、右手の指先が開いたページに触れるところを収録しました。この撮影では約1.07秒の接触を確認しました。
2026年11月1日収録の
ルミナが3D空間で動く試作版で収録しました。画面の会話欄に返事が出たあと、ルミナが周りを探してソファまで歩き、腰を下ろすところまでが映っています。
ルミナの姿は、ウェブライブで使っている衣装のモデルを、この撮影のときだけ試作版に読み込んだものです。試作版にふだん入っているモデルとは見た目が違います。肌や髪の色も、ウェブライブの会場と同じに見えるよう、この撮影のときだけ合わせています。
録画用の機能で1コマずつ記録しているため、映像の中の時間の進み方は、実際にかかった時間とは同じではありません。見た目や動き、画面に出る文字や数字は、収録した時点の試作版のものです。
この映像から、いまのルミナの仕上がりや、声で返事をするまでの速さがわかるわけではありません。収録した時期も使っていた仕組みも、上の「返事までの時間」を測ったときとは違います。
髪の流れや衣装、靴を調整した3Dモデルで、あらかじめ用意した歩き方のデータを再生して確かめた映像です。歩いて止まり、その位置からまた歩き出すところまで映っています。イラストへの見た目の近さと、歩き方の自然さは、引き続き調整しています。
最後まで歩く · 約6秒・音声なし
歩き終えたあとの立ち姿まで映っています。
止まって、その場から再開 · 約11秒・音声なし
立ち止まったあと、元の位置に戻らずに歩き出しています。
この2本は、用意した動きを再生して確かめた映像です。その場で新しい動きを作る処理や、マイクで話しかけてから返事を聞くまでの流れは、この映像には含まれていません。
試作アプリにマイクボタンを付けました。押して話し、もう一度押すと送られます。聞き取ったあと6.7〜8.1秒で声で答えました(2回中2回)。
うなずく・首を振る・手招き・手を振る・拍手・お辞儀の6種類は、「3回」などの回数どおりに動きます。12通りの頼み方で、すべて回数どおりでした(回数は1〜3回まで)。
アプリを閉じて起動し直しても、教えた名前などを答えられるようにしました。「全部忘れて」と言うと消えます。
女性の歩き方の参考データ(モーションキャプチャの直線歩行29本)に合わせて、歩幅、腰の傾き、腕の振り、つま先の向きを作り直しました。1分あたり112歩、歩く速さは毎秒0.8mです。
最初の文が長いときは、文の途中の読点までを先に声にするようにしました。最初の声が出るまでの時間は、中央値18.5秒から9.7秒になりました。1つ目と2つ目の声の間の無音も、中央値6.6秒から0.7秒に縮みました。
紹介用のイラストを新しくして、動画・開発状況・ガイドラインのページを見直しました。画像の拡大表示と、試作動画の再生をブラウザーで確かめています。
会話を終えるときや、途中で止めるときの処理を直して、会話の仕組みに取り入れました。テストと実際のやり取りで確かめています。声でのやり取りや、長く続けた会話の質は、引き続き確かめています。
髪の流れや衣装、靴を調整した3Dモデルを試作アプリに入れ、歩く・止まる・その場から歩き出す動きを確かめました。上の検証動画も、このモデルで撮り直しています。イラストへの見た目の近さは、さらに詰めていきます。3D体験版を公開するかどうかは、まだ決まっていません。
会話の履歴がうまく整理されているかを調べる機能を試作しました。テスト用に用意した会話で動かしたところ、これまでのやり方と同じ結果になりました。開発中の会話システムにはまだ組み込んでおらず、声を使ったやり取りでも試していません。
記録しておいた歩き方のデータを同じ基準で分析し直し、計算に誤りがないかを調べました。立ち止まったり向きを変えたりしながら歩き続けたときに自然に見えるかは、まだ確かめていません。

対応範囲を広げている機能や、追加の検証が必要な項目です。
いいえ。ルミナは制作者のMacで動かしている試作で、話せるのは制作者の手元だけです。このページの「待ち時間を体験する」は、測った待ち時間を再現するだけで、AIが返事を作っているわけではありません。体験版を公開するかどうかは、時期も含めてまだ決まっていません。
いいえ。1.35秒は、今回の条件で20回測ったときの中央値(速い順に並べたときに真ん中にくる2回の平均)です。最短は1.07秒、最長は7.73秒でした。質問の内容やそれまでの会話、そのときの状況によって変わります。
いいえ。上の1.35秒は、文章で返事が届くまでの時間です。声で話しかけた場合は、話しかけてから声が出るまで、日常の短い話しかけで5.5〜8.8秒でした(10月17日)。長く待機したあとの1回目や、長い説明を求めたときは、もっとかかることがあります。
「ついてきて」「ここで待ってて」「テラスのベンチに座って」「読書机の開いた本に右手で触れて」などを、試作アプリの文字入力で確認しました。実際に確認した動作を見る
VRMAはアバターの動きを保存する形式です。ルミナの試作では、ARDYが指示から生成した動きをVRMAで受け取り、3Dモデルの骨格に適用しています。会話から動きにつなぐ仕組みを見る