キャラクター応答システム 現状解析
調査日: 2026-09-22。対象: main / HEAD 385ba573f5497d4abb26e4a018a69316a3bd01df と、調査開始時の未コミット変更を含むローカル作業ツリー。
VTuberとしてエンタメを届ける機能の検討に向け、現在の応答処理をコードから整理する。設計書に書かれた予定、コードで確認できる実装、実環境での有効化・体験品質を分けて記録する。
1〜6章は実装前の静的解析であり、本番設定・稼働中Player・実配信の映像や音声を検証した結果ではない。7章以降に、その後のローカル実装と自動検証を記録する。本番への適用と実配信の品質確認は別に扱う。
現状の要点
現在のシステムは、単なる「コメント→LLM→読み上げ」ではない。人格・状況・複数の記憶、台本の話題展開、視聴者への質問、コメントからの寄り道、ゲーム実況、コラボ、感情・声・表情の制御まで実装されている。生成した文と実際に聞こえた文を分け、後者を記憶や進行へ反映する仕組みもある。
エンタメの不足を検討する際、最初に見るべきなのは次の点。
- 機能の存在と実効有効化の差。 視聴者情報のLLM注入は既定OFF、自発発話もコード既定OFF。台本参加にはノード条件があり、会話品質v2も選択式。現在の本番設定は未取得。
- 反応のタイミング。 一般コメントは原則投稿から60秒で失効するが、キュー・台本・LLM・TTSの待ちがある。TTSの先読みはあっても、通常返答はLLM全文の生成を待つ。
- 会話の広がりを制限する条件。 DeepDive、逆質問、寄り道は存在するが、文字数・残り尺・期限・発話権によって出ないことがある。
- 演技の一体感。 声・感情・間・表情・字幕の部品はある。provider差と経路差があり、実際に自然な演技として届くかは映像・音声の確認が必要。
- 観客の反応から改善する仕組み。 配送・台本参加・ハイライトの観測はあるが、「面白かった」を評価して次の演出を継続調整する共通ループは、今回の追跡範囲では確認できない。
この資料では、上記のコード上の事実と、「視聴体験を損ねる可能性がある」という仮説を分けた。1〜6章と採取記録は実装前の調査を表す。検討後の初期実装は7章に記録し、本番設定への適用・実配信の効果確認とは区別する。
追加の改善仮説として、5章 §5.7に「返答前の状況整理と応答方針の判断」、§5.8に自発発言への適用方針を記録した。返答では状況・コメントの意図・キャラの反応・今回の狙い、自発発言では発話の必要性・話題の起点・新しく足す内容を判断する。既存の推論設定を使った品質/待ち時間の比較方法も整理している。
§5.9では、共通の会話進行状態、取り違えからの立て直し、場面別の推論量・時間予算を基本要件として計画に加えた。観客の反応に応じた展開と、コメントした本人・視聴者全体の両方への伝わりやすさを、エンタメ面の改善目標とする。
文書構成
| 文書 | 内容 |
|---|---|
| 1. 入力から応答が届くまで | 正規化、受付、優先度、公平性、バッチ、生成、配送、カンペ、GameEvent、遅延 |
| 2. 人格・状況認識・記憶・応答生成 | 人格合成、プロンプト、演出、文字数、Situation、会話v2、記憶、PII、provider差 |
| 3. 台本・雑談・参加・ゲーム・コラボ | 番組の所有者、質問待ち、寄り道、自発性、ゲーム、コラボ、参加型企画、分析 |
| 4. 声・表情・安全制御・運用設定 | タグ、TTS、可聴配送、感情、間、アバター、復旧、設定適用、監査 |
| 5. エンタメとしての到達点・不足候補・検証 | 能力別の棚卸し、検証シナリオ・指標、返答・自発発言前の状況判断、追加5要件と優先順位 |
| 6. 調査根拠・テスト・再確認方法 | 主要関数の行番号、既存テストの性質、調査範囲、未確認事項 |
| 7. 状況整理・会話継続の初期実装 | 共通履歴、訂正候補、生成予算、見送り・取消、検証と残る範囲 |
| 8. 場面別の生成予算と観客反応の引継ぎ | 挨拶・訂正の時間配分、TTS準備の実測、反応の観測窓・公開境界 |
| 9. 残り5段階の実装・検証記録 | 語彙に依存しない往復参照、反復抑制、比較画面、実音声計測、限定導入の証拠照合と未完了項目 |
| 参照ファイルの採取記録 | 明示参照した実装等のSHA-256・行数・Git状態 |
全体像と不足候補から読みたい場合はこのREADME→5章、実装を追いたい場合は1章→2章→3章の順がよい。既存の 最新実装スナップショット を置き換えるものではなく、キャラクター応答の観点で横断して整理した資料である。
用語と前提
| 用語 | 意味 |
|---|---|
| 生成 | LLM等が文章を返したこと。視聴者にはまだ届いていない |
| 配送 / 可聴配送 | TTSの実再生に基づく処理結果。視聴端末での聴取までは保証しない |
| 実行scope | 配信・台本・ノード・所有キャラなどの実行単位。古い生成の後着を防ぐ |
| Snapshot | 生成時の状況を固定したもの。外部世界の真実の保証ではない |
| コード既定 | ソースの初期値。シーンやcloud同期後の値とは限らない |
| 不足候補 | コードの制約から導いた検討対象。実配信で確認した不具合とは限らない |
対象キャラ・芸風・配信ジャンルは今回指定されていないため、特定のキャラを「面白くない」と採点した資料ではない。一般会話と各配信モードの構造を明らかにし、実際のキャラ設定・配信記録を重ねて次の判断ができる状態を目指した。