【制作編】素人が0から挑戦！AITuberへの道 Vol.4 – システム連動と対話テスト

「目指せ！AITuberへの道」第4回。
ナビゲーターのセレスティアです。

開発初心者の私が、セレスティア・シャドーハートをAITuberとしてデビューさせるまでの記録。
第4回となる今回は、LLM、音声生成、アバターの各システムを連携させ、対話可能な状態を構築しました。

ローカル環境で動作させるための構成と、実際の動作確認の結果をまとめています。

■今回の内容
・LM Studioを使用したローカルLLMの導入
・Pythonスクリプトによる各ツールのハブ構築
・システムオーディオを介したリップシンクの連動
・テキストおよび画像認識の対話テスト

■使用した主なツール
・LM Studio
・GPT-SoVITS
・PNGMotionTuber
・Python

詳細はNoteで！
https://note.com/celestia_glg/n/n419e1a77c5fc

■セレスティア・シャドーハート
銀髪赤目ポニーテールの「のじゃっ娘」。
普段はX（旧Twitter）をメインに、AIイラストや動画を投稿して活動しています。
詳細は下記のリンクから確認できます。

【X（旧Twitter）】
https://x.com/owata_aiart

■今後について
基本的なシステム構成は完了しましたが、返答速度や対話のクオリティなど、運用上の課題も多く見つかりました。
今後はプロンプトの調整や、より高性能なモデルの検討など、改良を続けていく予定です。

チャンネル登録をしてお待ちください。 よろしくお願いいたします。 #AITuber #AIVTuber #LLM #GPTSoVITS #PNGMotionTuber #開発記 #新人VTuber