LMINA

ルミナの今と、これから。

ルミナは、会話と3D空間での動きをつなぐAIキャラクターとして開発しています。話して、まわりの様子をつかみ、その場に合った動きにつなげる。そのための試作と確認を重ねています。このページでは、進み具合や測った結果、試作動画をご紹介します。

2026年11月20日更新。11月19日と20日の動作検証を追加しました。試験は、制作者のMac(Apple M1 Max・32GB)で動かした試作アプリで行いました。

11月19〜20日の動作検証

空の城の試作アプリを、文字入力と無音の設定で動かしました。

ついてきて、途中で待つ

「ついてきて」で追従を始め、「ここで待ってて」で止まります。地上階では約14.6 m追従し、高低差約4.65 mの階段では、上り・下り・途中停止をそれぞれ確認しました。これらの試験で衝突は0件でした。下の階に先に移動した来訪者へ追従するときは、進める着地点を下の階で探し直します。

上り・下り・途中停止の動画

家具や本を指先で触る

文字で対象と使う手を指定すると、ルミナが対象のそばまで行って手を伸ばします。最初の検証で指先が触れていた時間は、読書机の天板に右手で約1.00秒、飾り棚に左手で約1.02秒、読書机の開いた本に右手で約0.33秒でした。机を隠した試験では、動きの生成を始めずに終了しました。

読書机・飾り棚・開いた本への接触動画

見回してソファに座る

ルミナの目の高さにあるゲーム内カメラの画像でソファを探し、近づいて座りました。ソファを外すと探索で終了し、来訪者が進路をふさいだ試験では、立ち止まって経路を計算し直してから座りました。空の城ではソファ、ベンチ、読書室の椅子を含む7か所で着席と立ち上がりを確認しました。

会話に沿って案内する

図書ラウンジの話題を覚え、案内を提案し、来訪者が同意してから歩き始めるところを確認しました。案内中に質問されると足を止めて文字で返事をし、続けてよいかを尋ねます。同意すると同じ行き先への案内を再開します。

文字入力から最後まで確認した基本動作10種

その場で待つ、こちらを見る、手を振る、拍手する、後ろを向く、ソファまで歩く、ソファに座る、ソファから立つ、本を見に行く、テラスのベンチに座る。11月20日の再試験では10種すべてが完了し、この10件の衝突は0件でした。

10月に取り組んだこと

2026年10月時点の検証と開発の記録です。

試作アプリで動作

声でのやり取り

マイクボタンを押して話しかけると、聞き取って、声で答えます。日常の短い話しかけで、話しかけてから声が出るまで5.5〜8.8秒でした(10月17日)。

マイクを開いたままの常時の聞き取りは、まだできません。試験の声は macOS の読み上げ音声で、人の声ではまだ測っていません。

試作アプリで動作

歩く・座る

12の部屋を順に歩かせて、すべての区間で目的の部屋に着きました。家具や壁へのめり込みはありませんでした。リビングのソファ、読書室のアームチェア、衣装室のオットマンに座れます。

座る前に、目のカメラで椅子を2回確かめます。部屋から部屋への移動では、まだ目は使っていません。

試作アプリで動作

話の途中で止める

停止ボタンを押すと、アプリの中では0.25〜3.9ミリ秒で声を止めます。マイクで「止まって」「待って」などと言っても止まり、止める言葉ではない発話160個で誤って止まったことはありませんでした。

ルミナの声がマイクに入っているときは、声で止められるのは半分ほどです。人の声での成功率はまだ測っていません。

改善を続けています

話し方とルミナらしさ

本人の返事が、決まり文句に置き換わってしまう問題を直しました。誤って置き換わっていた162件のうち、本人の返事が残るのは12件から157件になりました。

長く話し続けたときの自然さは、引き続き確かめています。

どれも開発の途中です。

返事が届くまでの時間

数字だけでは伝わりにくい「待ち時間」を、体験できるようにしました。開発中の会話の仕組みで実際に測った20回分の待ち時間を、ボタンで再現できます。

中央値1.35 秒
最短1.07 秒
最長7.73 秒
測定の詳しい条件と、20回の記録を見る
  • 測った日時:2026年10月6日 22:34〜22:36(日本時間)
  • 開発中の会話システムに文字で質問を送り、返事の文章が最後まで届くまでの時間を測りました。
  • 日本語の短い質問5つを、ひとつの会話の中で順番にたずね、これを4周くり返しました。合わせて20回です。前のやり取りを踏まえたり、会話の履歴を整理したりする時間も含んでいます。
  • 返事は4〜20文字で、20回とも失敗せずに届きました。声での返事や、ルミナの動きは含みません。
  • 約7秒かかった回が5回(1・8・12・16・20回目)ありました。いちばん長かったのは1回目の7.73秒です。長くかかった原因は、まだ調べきれていません。
  • 20回だけの小さな測定なので、条件が変われば結果も変わることがあります。

各回の秒数(1回目から順に):7.727 / 1.197 / 1.173 / 1.594 / 1.463 / 1.320 / 1.073 / 6.966 / 1.171 / 1.473 / 1.317 / 7.181 / 1.229 / 1.207 / 1.575 / 7.186 / 1.375 / 1.182 / 1.197 / 7.200

会話から、動きへ

「右手で2回手を振ってから空を見て」のように、複数の動作を順に頼めます。11月19日の試験では、指定した手と回数で動作することや、拍手の途中で左手の手振りに切り替えることを確認しました。11月20日の再試験では、左右と後ろを向くときに、足を置くタイミングに合わせて身体の回転を調整しました。

歩行と追従では、Godotで通れる経路を求め、足裏と床の位置を合わせます。生成を指定した動作では、ARDYが指示からVRMA形式のアニメーションを作り、ルミナの3Dモデルで再生します。接触動作ではさらに、手足の関節の角度を計算する逆運動学で、指先を対象の表面に合わせています。

ラウンジのソファで話を聞くルミナ(大きな画像を開く)

言葉を、交わす。

話の流れをくみ取って、いろいろな話題に応える。返事を待つ時間も短くして、言葉のキャッチボールが自然に続く会話を目指しています。

朝の窓辺に腰掛けてこちらを振り向くルミナ(大きな画像を開く)

周りに、気づく。

目の前に何があって、いまどんな状況なのか。見えているものを手がかりに周りの様子をつかみ、その場に合った反応につなげていきます。

夜のアトリエで星図を眺めるルミナ(大きな画像を開く)

自分で考え、動く。

目指す場所まで、どう進めばいいのか。周りを見て動き方を選び、通れないところがあれば道を考え直す。そんなふうに自分で判断して動けるかを、試しています。

試作動画と、公開について

11月1日に収録

会話からソファまでの試作動画

ルミナがソファまで歩いて座るところを収めた、音声なしの動画です。この動画は、ルミナと話せる体験版ではありません。

試作動画を見る

未定

3D体験版

ルミナと話せる3D体験版を公開するかどうかは、時期も含めてまだ決まっていません。

11月20日収録 階段と指先の動作検証

空の城を使った試作アプリの検証録画です。6本とも音声なしです。フレームを記録してつないでいるため、再生時間は実際の動作時間と異なります。

階段での追従と停止

階段を上って追従する
ルミナが階段を上り、上階に着くまでが映っています。階段に沿う経路計算と、足裏の位置を段差に合わせる処理を使っています。撮影時は追従の確認のため会話の接続を無効にしています。

階段の動画を直接開く(約19秒)

階段を下りて追従する
上階から階段を下り、地上階に着くまでを収録しました。

階段を下りて追従する動画を直接開く

階段の途中で止まる
「ここで待ってて」の指示を受けて、足を踏み直してから階段の途中で止まります。

階段の途中で止まる動画を直接開く

家具と本への接触

右手で読書机に触れる
文字で「生成モーションで読書机に右手で触れて」と頼んだ場面です。ARDYが生成したVRMAの動きに、逆運動学で指先を天板に合わせる処理を加えています。この試験では約1秒の接触を確認しました。

読書机の動画を直接開く(約3.5秒)

左手で飾り棚に触れる
「飾り棚に左手で触れて」と頼み、左手の指先が棚の表面に触れるところを収録しました。

左手で飾り棚に触れる動画を直接開く

右手で開いた本に触れる
「読書机の開いた本に右手で触れて」と頼み、右手の指先が開いたページに触れるところを収録しました。この撮影では約1.07秒の接触を確認しました。

右手で開いた本に触れる動画を直接開く

2026年11月1日収録の試作動画(音声なし・25.6秒)
ルミナが3D空間で動く試作版で収録しました。画面の会話欄に返事が出たあと、ルミナが周りを探してソファまで歩き、腰を下ろすところまでが映っています。

ルミナの姿は、ウェブライブで使っている衣装のモデルを、この撮影のときだけ試作版に読み込んだものです。試作版にふだん入っているモデルとは見た目が違います。肌や髪の色も、ウェブライブの会場と同じに見えるよう、この撮影のときだけ合わせています。

録画用の機能で1コマずつ記録しているため、映像の中の時間の進み方は、実際にかかった時間とは同じではありません。見た目や動き、画面に出る文字や数字は、収録した時点の試作版のものです。

この映像から、いまのルミナの仕上がりや、声で返事をするまでの速さがわかるわけではありません。収録した時期も使っていた仕組みも、上の「返事までの時間」を測ったときとは違います。

動画ファイルを直接開く(音声なし)

10月15日収録:歩いて、止まって、また歩く

髪の流れや衣装、靴を調整した3Dモデルで、あらかじめ用意した歩き方のデータを再生して確かめた映像です。歩いて止まり、その位置からまた歩き出すところまで映っています。イラストへの見た目の近さと、歩き方の自然さは、引き続き調整しています。

最後まで歩く · 約6秒・音声なし
歩き終えたあとの立ち姿まで映っています。

動画を直接開く

止まって、その場から再開 · 約11秒・音声なし
立ち止まったあと、元の位置に戻らずに歩き出しています。

動画を直接開く

この2本は、用意した動きを再生して確かめた映像です。その場で新しい動きを作る処理や、マイクで話しかけてから返事を聞くまでの流れは、この映像には含まれていません。

10月16日〜18日の進捗

10月17日

マイクで話しかける

試作アプリにマイクボタンを付けました。押して話し、もう一度押すと送られます。聞き取ったあと6.7〜8.1秒で声で答えました(2回中2回)。

10月17日

身振りを、言われた回数どおりに

うなずく・首を振る・手招き・手を振る・拍手・お辞儀の6種類は、「3回」などの回数どおりに動きます。12通りの頼み方で、すべて回数どおりでした(回数は1〜3回まで)。

10月17日

教えたことを覚えておく

アプリを閉じて起動し直しても、教えた名前などを答えられるようにしました。「全部忘れて」と言うと消えます。

10月18日

歩き方を作り直す

女性の歩き方の参考データ(モーションキャプチャの直線歩行29本)に合わせて、歩幅、腰の傾き、腕の振り、つま先の向きを作り直しました。1分あたり112歩、歩く速さは毎秒0.8mです。

10月18日

声が出るまでを短く

最初の文が長いときは、文の途中の読点までを先に声にするようにしました。最初の声が出るまでの時間は、中央値18.5秒から9.7秒になりました。1つ目と2つ目の声の間の無音も、中央値6.6秒から0.7秒に縮みました。

10月15日の進捗

表示・操作を確認

イラストと紹介ページ

紹介用のイラストを新しくして、動画・開発状況・ガイドラインのページを見直しました。画像の拡大表示と、試作動画の再生をブラウザーで確かめています。

修正して確認中

会話の終了と中断

会話を終えるときや、途中で止めるときの処理を直して、会話の仕組みに取り入れました。テストと実際のやり取りで確かめています。声でのやり取りや、長く続けた会話の質は、引き続き確かめています。

最新版モデルを反映

モデルと歩き方

髪の流れや衣装、靴を調整した3Dモデルを試作アプリに入れ、歩く・止まる・その場から歩き出す動きを確かめました。上の検証動画も、このモデルで撮り直しています。イラストへの見た目の近さは、さらに詰めていきます。3D体験版を公開するかどうかは、まだ決まっていません。

2026年10月8日の開発ログ

テストで確認

会話の診断

会話の履歴がうまく整理されているかを調べる機能を試作しました。テスト用に用意した会話で動かしたところ、これまでのやり方と同じ結果になりました。開発中の会話システムにはまだ組み込んでおらず、声を使ったやり取りでも試していません。

記録を見直し

歩き方の評価

記録しておいた歩き方のデータを同じ基準で分析し直し、計算に誤りがないかを調べました。立ち止まったり向きを変えたりしながら歩き続けたときに自然に見えるかは、まだ確かめていません。

ルミナの制作を紹介するアトリエのイラスト

引き続き確認すること

対応範囲を広げている機能や、追加の検証が必要な項目です。

  • マイクを開いたままの、常時の聞き取り(話すときはマイクボタンを押します)
  • ルミナが話している最中に、声で確実に止めること(ルミナの声がマイクに入ると半分ほど)
  • 人の声で「止まって」と言ったときの成功率の確認(まだ測っていません)
  • 着席先や接触先を広げること。空の城では7か所で着席、3種類の対象で接触を確認しています。
  • 4回以上の回数を指定した身振り
  • 大きな方向転換や階段で、足運びの自然さをさらに調整すること
  • 長く待機したあとの1回目の返事(声が出るまで、これより長くかかることがあります)

よくある質問

いまルミナと話せますか?

いいえ。ルミナは制作者のMacで動かしている試作で、話せるのは制作者の手元だけです。このページの「待ち時間を体験する」は、測った待ち時間を再現するだけで、AIが返事を作っているわけではありません。体験版を公開するかどうかは、時期も含めてまだ決まっていません。

返事はいつも1.35秒で届きますか?

いいえ。1.35秒は、今回の条件で20回測ったときの中央値(速い順に並べたときに真ん中にくる2回の平均)です。最短は1.07秒、最長は7.73秒でした。質問の内容やそれまでの会話、そのときの状況によって変わります。

声での会話も同じ速さですか?

いいえ。上の1.35秒は、文章で返事が届くまでの時間です。声で話しかけた場合は、話しかけてから声が出るまで、日常の短い話しかけで5.5〜8.8秒でした(10月17日)。長く待機したあとの1回目や、長い説明を求めたときは、もっとかかることがあります。

ルミナにはどんな動きを頼めますか?

「ついてきて」「ここで待ってて」「テラスのベンチに座って」「読書机の開いた本に右手で触れて」などを、試作アプリの文字入力で確認しました。実際に確認した動作を見る

VRMAは何に使っていますか?

VRMAはアバターの動きを保存する形式です。ルミナの試作では、ARDYが指示から生成した動きをVRMAで受け取り、3Dモデルの骨格に適用しています。会話から動きにつなぐ仕組みを見る