AIキャラライブチャットの実装に関する課題

Question

AIキャラライブチャットの実装について考えています。特に、動画生成と会話のリアルタイム性をどう確保するかで悩んでいます。Live2Dや3Dを利用して、リアルタイムでの動画生成を試みていますが、レイテンシや割り込み制御が壁になっている状況です。Hedraなどのツールで動画生成は可能ですが、商用レベルに到達させるためにはどんな工夫が必要でしょうか？また、Latency Maskingが必要と聞きましたが、どんな技術が使えるか知見をお持ちの方、アドバイスいただけませんか。

参考：https://github.com/tegnike/aituber-kit
https://x.com/omluc_ai/status/1996379936517673470
https://x.com/AI_Senshi_69/status/1956557561093824972

AIキャラライブチャットの実装に関する課題

相談内容