AIVJ — AIリアルタイム映像演出システム

AIVJとは？

AIVJは、音楽やDJプレイの音声に合わせて、AIがリアルタイムに映像演出を判断・制御するVJ／プロジェクションマッピング用の専用アプリです。

従来のVJソフトのように人が手動で映像を切り替えるだけではなく、音量・低音・中音・高音・BPM・ビート・エネルギーなどを解析し、AI Directorがその場の音楽の盛り上がりに応じて、映像のスタイル・色・動き・強度・マッピング面の使い方を自動で判断します。

また、通常のブラウザではなくElectron製の専用デスクトップアプリとして構築しており、管理画面とプロジェクター出力画面を分離。イベント会場や展示空間で、PC側では操作画面、プロジェクター側では映像のみを表示できる構成になっています。

主要機能

1. 音声解析によるリアルタイムVJ制御

マイク入力・ライン入力・Mock Audio・WebSocket音声入力に対応し、volume / bass / mid / treble / energy / bpm / beat などを解析。音楽の変化に合わせて映像がリアルタイムに反応します。

2. AI Directorによる自動演出判断

OpenAI API / Anthropic APIに対応し、AIが現在の音楽状態をもとに、scene / style / colorTheme / intensity / motionSpeed / strobe / mappingFocus をJSON形式で判断。AIが失敗した場合もRule Directorへ自動フォールバックする安全設計です。

3. 複数スタイルのVJ映像表現

geometric / particle / fluid / glitch / tunnel / line_art など複数のビジュアルスタイルを実装。音声解析やAI判断に応じて、抽象映像・粒子・流体・グリッチ・トンネル・線画表現を切り替えます。

4. プロジェクションマッピング対応

1面の4点補正だけでなく、複数Surfaceに対応。壁・床・箱・柱など複数の投影面を個別に調整し、それぞれに映像を割り当てられる構成です。

5. 専用Projector Window

管理画面と投影画面を分離。PC側では操作UI、HDMI出力先では映像のみを全画面表示できます。Blackout、Fullscreen、出力ディスプレイ選択、Test Pattern、Grid表示にも対応しています。

6. 現場運用向けSafety機能

Blackout、Emergency Calm、Rule fallback、strobe制限、brightness制限、preset保存、logs確認など、イベント中の安全運用を想定した機能を搭載しています。

課題 → 解決

課題1：VJ演出は人手による操作負担が大きい

従来のVJでは、音楽の展開に合わせて人が手動で映像素材やエフェクトを切り替える必要があり、DJ・演者・オペレーターの連携が必要でした。

解決：AIVJでは、音声解析とAI Directorを組み合わせることで、音楽の盛り上がりやビートに応じた映像演出を自動判断。人が常に操作しなくても、音に追従したVJ演出を行えるようにしました。

課題2：単純な音反応ビジュアライザーでは表現が単調になりやすい

一般的な音反応映像は、音量やビートに合わせて光るだけになりやすく、長時間のイベントでは映像の変化が単調になりがちです。

解決：AIVJでは、AIがscene / style / colorTheme / intensity / mappingFocusなどを判断し、複数の映像スタイルを組み合わせて演出を変化させます。Rule DirectorとAI Directorを併用することで、安定性と即興性を両立しています。

課題3：プロジェクションマッピングは投影面ごとの調整が難しい

壁・床・箱・柱など、投影先が複数の面に分かれる場合、映像を正確に合わせるための補正が必要になります。

解決：AIVJでは、Surfaceという概念を導入し、複数の投影面を個別に管理。各Surfaceごとに4点補正、表示ON/OFF、透明度、重なり順、テストパターンなどを設定できるようにしました。

課題4：AI APIの不安定さや通信遅延が現場リスクになる

AI APIを使ったリアルタイム演出では、通信エラー・タイムアウト・不正JSONなどによって演出が止まるリスクがあります。

解決：AIが失敗した場合は必ずRule Directorにフォールバックする設計を採用。APIキー未設定、通信エラー、JSON解析失敗、タイムアウト時もアプリは停止せず、ルールベース演出で継続します。

導入効果

項目	導入前	導入後
VJ操作	人が手動で映像を切り替える必要がある	AIと音声解析により自動演出が可能
映像表現	パターン切替中心で単調になりやすい	音楽状態に応じてstyle・色・強度が変化
マッピング調整	1面ごとの手動調整が煩雑	複数Surfaceを個別に4点補正可能
現場安全性	トラブル時に手動復旧が必要	Blackout / Emergency Calm / Rule fallback搭載
拡張性	素材や演出が固定されやすい	AI動画素材・Promptable Creative Engineへ拡張可能
出力管理	ブラウザ表示では本番運用しづらい	専用Electronアプリで管理画面と投影画面を分離

開発期間

目安：約2〜4週間。段階的に以下の機能を実装しました。

• v0.1 — Electronアプリ基盤、管理画面／Projection Window分離
• v0.2 — 音声解析パイプライン
• v0.3 — 4点補正マッピング
• v0.4 — Rule Director / AI Directorスタブ
• v0.5 — OpenAI / Anthropic API接続
• v0.6 — Presets / Logs / Projector管理 / Safety機能
• v0.7 — 映像表現強化
• v1.1 — 複数Surfaceマッピング対応

使用技術

• Electron / Node.js — 専用デスクトップアプリ基盤（Main Process、IPC、contextBridge）
• React / Vite / TypeScript — 管理画面のフロントエンド
• Three.js / WebGL / GLSL Shader — リアルタイム映像表現
• Web Audio API / WebSocket Audio Source — 音声解析パイプライン
• OpenAI API / Anthropic API — AI Directorによる演出判断
• HTMLVideoElement / VideoTexture構想 — 動画素材の映像テクスチャ化
• JSON-based Preset / Logs管理 — プリセット保存・ログ確認