LTX-2.3 IC-LoRAとは？Union ControlでComfyUIの動画生成を制御する方法
今回は「LTX Video IC-LoRA」の使い方を紹介します。IC-LoRAを使えば、生成する動画をある程度コントロールできるようになります。本記事では数あるIC-LoRAの中から「Union Control」を中心に解説します。すべてのIC-LoRAは取り上げませんが、基本的な使い方は他のIC-LoRAも同じです。まずはUnion Controlを使いこなしてみましょう。
この記事で学べる事
- IC-LoRA（In-Context LoRA）の仕組みと、通常のLoRAとの違い
- LTX-2.3で公開されているIC-LoRAの種類と、それぞれの用途
- IC-LoRAとLoRAの使い分けと推奨ウェイト
- ComfyUI公式テンプレート「LTX-2.3 IC-LoRA Union Control」に必要なモデルと配置場所
- 公式テンプレート「LTX-2.3 IC-LoRA Union Control」の使い方と生成結果
- サブグラフブループリント「Video Depth Estimation (MoGe)」でコントロール動画を作る方法
- 高品質な動画を目指すDCAIカスタムワークフローの構成（💎会員限定）
- Union Control特有の解像度ルールと、使用できる解像度リスト（💎会員限定）
- ComfyUIコアノードを使った最新モデルでのフレーム補完（💎会員限定）
IC-LoRAとは
IC-LoRA（In-Context LoRA）はFLUX / Qwen-Image / Z-Image系、Wan、LTX系などの拡散トランスフォーマー（DiT）向けの画像生成フレームワークです。既存のDiTモデルのアーキテクチャを一切変更せず、学習データの与え方だけを工夫することで、多様な画像生成タスクに対応できるようにします。
IC-LoRAは、フルパラメーター微調整や大規模LoRA微調整と同等の品質を、約50分の1のデータ量、約10分の1のGPU時間で達成できることが実証されています。つまり「少量データ・低コストで、特定タスクに特化した画像生成能力を後付けできる」のが最大の強みです。
画像生成だけでなく、今回紹介する「LTX Video IC-LoRA」でも同様の概念が使われています。LTXにおけるIC-LoRAは、既存の動画クリップや深度マップなどの制御信号といった参照入力に基づいて、動画生成を条件付けする特殊なアダプターです。各アダプターは構造制御・VFX・動画復元・クリエイティブ変換・画質向上といった特定タスク向けに学習されています。通常のLoRAがスタイルをグローバルに変更するのに対し、IC-LoRAは元のシーンのアイデンティティを保ちながら、参照駆動型のターゲットを絞った操作を行います。
LTX-2.3でのIC-LoRAとLoRAの使い分け
LTX-2.3では、IC-LoRAとLoRAを以下のように使い分けることが推奨されています。
- IC-LoRA：構造制御・動画解像度・VFX・クリエイティブな変換
- LoRA：映像スタイル
✅IC-LoRAとLoRAを同時に使いたい場合は、ウェイトをIC-LoRA 0.5-1.0 + LoRA 0.5-0.8に設定することが推奨されています。
LTX-2.3 IC-LoRA一覧
執筆時点で公式が公開しているIC-LoRAは以下の通りです。リンクはすべてHugging Faceのモデルカードになっています。
- 🔗Union Control：Canny（輪郭）・Depth（深度）・Pose（姿勢）の3種類の制御信号を統合的に扱えます。コントロール動画（参照動画）の空間的な配置に基づいて、きめ細かなImage to Video制御を実現します。
- 🔗Motion Control：コントロール動画に描いた色付きの軌跡（スプライン）に沿って、オブジェクトや領域の動きを精密に制御できます。
- 🔗Ingredients：キャラクターや小道具、背景をまとめた参照シート画像をもとに、視覚的な一貫性を保ちながら動画を生成します。
- 🔗Pixel Spatial Upscaler：低解像度の動画に新たなディテールを合成しながら2倍・4倍にアップスケールする、創造的な高解像度化用のアダプターです。
- 🔗In-Outpainting：マスク領域の削除・置換（インペイント）と、キャンバスの水平・垂直方向への拡張（アウトペイント）に対応します。
- 🔗Water Simulation：水のないコントロール動画に対して、川や波、雨、滝といった水表現を自然に追加できます。
- 🔗Colorization：被写体のアイデンティティや構図を保ったまま、グレースケール映像に自然な色を復元します。
- 🔗Decompression：ブロックノイズや色にじみ、リンギングなど、低ビットレート動画特有の圧縮アーティファクトを除去します。
- 🔗Deblurring：被写体や背景の構造を保ちながら、ピンボケした映像のピントと鮮鋭度を復元します。
- 🔗Day to Night：構図やカメラワーク、被写体の動きを保持したまま、昼間の映像を夜のシーンへ変換します。
- 🔗Instant Shave：表情や動き、照明はそのままに、映像内の人物のひげ・口ひげ・剃り跡を除去します。
- 🔗Cross-Eyed：表情やカメラフレーミングを保ちながら、クローズアップ映像の目を寄り目（内斜視）状態に変化させます。
- 🔗HDR (Beta)：8bitのSDR映像を16bitのHDR映像へ変換するなど、高ダイナミックレンジの動画生成を可能にします。
- 🔗Dub-It (Beta)：音声に合わせて口の動きを自然に同期させる、リップシンク（吹き替え）機能を提供します。
ComfyUIのテンプレート「LTX-2.3 IC-LoRA Union Control」を見てみる
LTXをはじめて触る方は、以下の記事で基本を解説しているので、まずはそちらを参照してください。
いつも通りComfyUIを最新版にアップデートすることをおススメします。今回は🔗v0.29.0を使って検証しました。
「LTX-2.3 IC-LoRA Union Control」は、インプット画像（初期フレーム）と参照動画から生成したコントロール動画（デプスマップ）を使って、動画を生成します。サブグラフ「First-Last-Frame to Video (LTX-2.3)」に主要ノードが集約されています。
まずはテンプレートから「LTX-2.3 IC-LoRA Union Control」のワークフロー例を確認しましょう。
テンプレート一覧を開き、左側メニューのGENERATION TYPEからVideoを選択します。
動画関連のテンプレートが表示されたら、「LTX-2.3 IC-LoRA Union Control」を選びましょう。
テンプレートを開くと、不足しているモデルが表示されます。指示に沿ってダウンロードすれば、そのまま実行できます。✅よくわからない方は、次のセクションで詳しく説明しているのでそちらを参照してください。
公式ドキュメントは以下になります。
モデルのダウンロード
基本的には通常のLTX-2.3モデルと同じですが、このテンプレートでは蒸留（distilled）されたチェックポイントモデルを使います。下記のファイルを取得し、ComfyUI/models配下の指定フォルダーに配置してください。ComfyUIでワークフローを開くとノードにダウンロードボタンが表示されるため、そこからも取得できます。
配置例：
ComfyUI/
├── 📁 models/
│ ├── 📁 checkpoints/
│ │ └── ltx-2.3-22b-distilled-fp8.safetensors
│ ├── 📁 loras/
│ │ ├── ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors
│ │ └── gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors
│ ├── 📁 text_encoders/
│ │ └── gemma_3_12B_it_fp4_mixed.safetensors
│ └── 📂 geometry_estimation/
│ └── moge_2_vitl_normal_fp16.safetensors
このワークフローでは蒸留チェックポイントモデルを使います。通常のDev Fp8モデル + distilled LoRAの組み合わせでも問題なく動作します。
IC-LoRA LoRA（Gemma abliterated） Text Encoder Geometry Estimation
Geometry Estimationとは、1枚の2D画像から3Dの形状情報（深度マップ・法線マップ・点群マップなど）を推定する機能、およびそのモデルカテゴリーを指します。
「LTX-2.3 IC-LoRA Union Control」用インプット素材
LTX-2.3 IC-LoRA Union Controlで使用する2つのインプット素材は、公式ドキュメントにリンクがあります。あらかじめダウンロードしておきましょう。
「LTX-2.3 IC-LoRA Union Control」のノードについて
このワークフローは参考動画からコントロール動画を生成するサブグラフブループリントの「Video Depth Estimation (MoGe)」と、メインのサブグラフ「First-Last-Frame to Video (LTX-2.3)」の構成になっています。✅LTX-2.3の基本ノードについては前回の記事で紹介しているので、ここではIC-LoRA向けのノードを中心に解説します。
Video Depth Estimation (MoGe)サブグラフ内
Get Video Components
入力した動画を、画像フレーム・音声・フレームレート（fps）・ビット深度の4つの要素に分解して取り出すノードです。ここでは動画から画像フレームのみを取り出し、後段のMoGeによる深度推定へ渡すために使用しています。
Resize Images by Longer Edge (DEPRECATED)
画像の長辺（longer_edge）を指定したピクセル数にリサイズし、アスペクト比を保ったまま短辺を自動計算するノードです。名前の通り現在は非推奨（DEPRECATED）となっており、公式では「Resize Image/Mask」ノード（resize_typeを「scale longer dimension」に設定）への置き換えが推奨されています。
Run MoGe Inference
入力した画像からMoGeモデルによる3D形状推定を行うノードです。1枚の画像から深度・法線・カメラの画角（FOV）・マスクなどをまとめて推定し、後段のRender MoGe Geometryへ渡すためのジオメトリデータ（moge_geometry）として出力します。
Render MoGe Geometry
Run MoGe Inferenceで推定したジオメトリデータを、実際に見える画像として書き出すノードです。グレースケールの深度マップ・カラー深度マップ・法線マップ（OpenGL/DirectX形式）・マスクの中から、出力したい種類を選択できます。ここではカラー深度マップとグレースケール深度マップ、マスクを出力するために使用しています。
First-Last-Frame to Video (LTX-2.3)サブグラフ内
Get IC-LoRA Parameters
LoRA Loaderで読み込んだIC-LoRAモデルのsafetensorsメタデータから、reference_downscale_factorなどのIC-LoRA固有パラメーターを抽出するノードです。抽出したパラメーターはLTXVAddGuideに接続し、IC-LoRAごとに異なるガイド画像の処理（参照画像の縮小など）を自動的に反映させるために使います。
LTXVAddGuide
参照用の画像や動画をガイドとして、生成する潜在変数（latent）へ条件付けを行うノードです。positive/negativeのconditioning・VAE・latentに加え、条件付けを開始するフレーム位置を指定するframe_idxや、条件付けの強さを指定するstrengthなどを入力します。Get IC-LoRA Parametersの出力をiclora_parametersに接続すると、IC-LoRAごとに必要なガイド処理の違いを自動的に吸収できます。
サブグラフブループリントについて
ComfyUIにおける「サブグラフブループリント」は、サブグラフを再利用可能な形でファイル保存したものです。保存したブループリントは、新しいワークフローを始めるときにいつでも呼び戻せます。今回使用する「Video Depth Estimation (MoGe)」もブループリントなので、以下の手順で呼び出せます。
- キャンバス内のどこでもよいのでダブルクリックすると、クイックサーチパレットが表示されます。
- 検索ボックスの下部にカテゴリーフィルターがあるので、「Blueprints」を選択します。
- 左列にサブグラフブループリントのカテゴリーがあるので、「Conditioning & Preprocessors」を選択します。
- 右側にブループリントの一覧が表示されるので、「Video Depth Estimation (MoGe)」を選択するとブループリントが読み込まれます。
Video Depth Estimation (MoGe)サブグラフについて
内部の構造を見ると、入力された動画を連結画像に変換し、長辺を2048に拡大・縮小したうえで、カラー深度マップ・グレースケール深度マップ・マスクを出力しています。
✅このノードでは設定されていませんが、設定次第で法線マップも出力できます。
以下が各アウトプットのサンプルです。
「LTX-2.3 IC-LoRA Union Control」の使い方
それではテンプレートを実際に使ってみましょう。ワークフローの使い方はシンプルです。
- 初期フレーム画像の読み込み：「Load Image」に素材の
the_forgotten_gate.pngを読み込みます。 - コントロール動画の読み込み：「Load Video」に素材の
stone_ruins.mp4を読み込みます。 - 各モデルの読み込み：サブグラフの「First-Last-Frame to Video (LTX-2.3)」のモデルが正しく読み込まれているかを確認します。
- 生成実行：インプット画像/動画・各モデルが正しく読み込まれたら「Run」ボタンで実行します。
しばらくすると「Save Video」に生成した結果が出てきます。
公式ワークフローの生成結果
生成結果は以下のようになりました。音声はミュートしてあるので、聞きたい場合はミュートを解除してください。✅このサンプルはWEB用に縮小されています。
生成速度の参考として、筆者環境（RTX3090）では224秒で生成できました。（SageAttentionは使っていません。）✅生成内容やワークフローの構造が違うので比較対象にはなりませんが、前回の記事のLTX-2.3（テンプレートの「LTX-2.3: Image to Video」）では182秒でした。
公式ワークフローをカスタムする
ここからはComfyUI公式の「LTX-2.3 IC-LoRA Union Control」ワークフローを土台に、高品質の映像を目指すための改良版を紹介します。作業性を考え、ワークフローをコントロール動画・初期フレーム・動画生成の3つに分離します。（うち2つは、以前の「Wan 2.2 Fun Controlとは？動画生成を狙い通りに制御する方法」で紹介したワークフローです。）カスタム内容は以下の通りです。
- 参考動画WFの分離：1つのワークフローで完結させるより、工程を分けたほうが各作業に集中できます。
- 初期フレームの生成：生成したDepth/Canny/Poseをもとに初期フレームを生成します。
- 生成ステージを分離：生成を2ステージへと変更して、高解像度の生成をコントロールします。
- フレーム補完：フレーム補完ノードを使って、出力動画のフレームレートを引き上げられます。
- LoRAによる一貫性の補助：LoRAを使ってキャラクターの一貫性を高めます。
- 動画生成時のライブプレビュー：生成中の様子をライブプレビューで確認できます。
ワークフローやインプット素材はPatreonで公開しています。有料サポーター様のみ閲覧・ダウンロードが可能です。
このカスタムワークフローで生成した動画サンプルがこちらです。上部の3つはそれぞれ参考動画・コントロール動画・初期フレームです。動画の設定はフルHD近似値・60fpsになっています。
コントロール動画は🔗PixabayよりAmorn_mimi氏の動画をお借りして生成しました。
結果としてゴーストが確認できますが、現時点では解決方法を見つけられませんでした。
まとめ
本記事では、LTX-2.3のIC-LoRAの概要から、ComfyUI公式テンプレート「LTX-2.3 IC-LoRA Union Control」を使った動画生成の手順までを紹介しました。
- IC-LoRAは、元のシーンのアイデンティティを保ちながら、参照入力に基づいて生成を制御するアダプターです。
- LTX-2.3では、構造制御やVFXをIC-LoRAが、映像スタイルをLoRAが担う使い分けが推奨されています。
- Union Controlは、Canny・Depth・Poseの3種類の制御信号を統合的に扱えるIC-LoRAです。
- 公式テンプレートは、初期フレーム画像と参考動画を読み込むだけで生成を試せます。
- コントロール動画は、サブグラフブループリント「Video Depth Estimation (MoGe)」で作成できます。
後半の有料記事では、作業ごとに分離したDCAIカスタムワークフローや、Union Control特有の解像度ルール、コアノードでのフレーム補完についても解説しています。気になる方はぜひ本編もあわせてご覧ください。
最後までお読みいただきありがとうございます。
もし少しでも参考になったら、ぜひ「いいね」で応援してください！