オリジナルキャラクターLoRAの作り方【NoobAI XL学習編】NoobAI XLのキャラクター学習

これまでに、SD1.5・SDXL・Pony・IllustriousXLのキャラクター学習を解説してきました。今回は「NoobAI XL」を使ってキャラクター学習をしていきたいと思います。NoobAI XLはベースにIllustrious‑XLを使っているので基本的にはIllustrious‑XLに近いモデルです。学習元モデルは従来のε‑Pred（epsilon-prediction）モデル「noobai‑XL v1.1 eps-pred」を使って学習します。

LoRA学習のKohya ss GUIのインストールや、データセットの作り方が分からない方は、まずは下記の記事を読んでみましょう。

オリジナルキャラクターLoRAの作り方【準備編】[Kohya SS GUI]のインストールと基本操作（新GUI対応）

🔗あわせて読みたい

オリジナルキャラクターLoRAの作り方【データセット編】学習画像の制作とキャプション

🔗あわせて読みたい

また、LoRA学習がはじめての方は学習が早く終わるSD1.5モデルから為すことをおススメします。

オリジナルキャラクターLoRAの作り方【SD1.5学習編】SD1.5のキャラクター学習

🔗あわせて読みたい

🔍Monitorsfrom Amazon

1

【Amazon.co.jp限定】MSI モニター PRO MP2412 23.8インチ/フルHD/VAパネル/100Hz/1ms/ブルーライトカット/アンチフリッカー/HDMI/DP/VESA対応/メーカー3年保証

ASIN:B0CDBS93QZ

Amazonで見る

2

【Amazon.co.jp 限定】アイ・オー・データ IODATA モニター 23.8インチ ブラック ADSパネル 非光沢 省電力 (HDMI/アナログRGB/スピーカー付/VESA対応/土日サポート/日本メーカー/無輝点保証) EX-A241DB

ASIN:B0CPXQQLL2

Amazonで見る

3

Xiaomi モニター A24i ディスプレイ 23.8インチ フルHD 1920x1080 IPSパネル 100Hz 超薄型 6ms ブルーライト VESAマウント対応

ASIN:B0CWS1T7PW

Amazonで見る

4

【Amazon.co.jp限定】ASUS モニター Eyer Care VZ249HR 23.8インチ/フルHD/IPS/薄さ7mm/ブルーライト軽減/フリッカーフリー/HDMI D-sub/スピーカー/3年保証

ASIN:B07LH1ZDSL

Amazonで見る

5

KEEPTIME モバイルモニター 15.6インチ 1920*1080 モバイルディスプレイ ポータブルモニター IPS液晶パネル 非光沢画面 薄型 軽量 マグネット保護カバー付き USB Type-C ミニHDMI PS4/XBOX/Switch/PC/Macなど対応 在宅勤務 リモートワーク

ASIN:B0D1K8H4F5

Amazonで見る

6

I-O DATA 広視野角 23.8型液晶ディスプレイ ブラック LCD-MF244EDSB フリッカーレス FHD HDMI ブラック スピーカー Switch PS 対応 (整備済み品)

ASIN:B0D6JXXFQT

Amazonで見る

7

【Amazon.co.jp限定】Dell ハイスペック 23.8インチ ホワイトモニター(5年保証/FHD/IPS,非光沢/縦横回転,高さ調整/5Wx2スピーカー/HDMIx2) S2425HS-A

ASIN:B0CXXC87JK

Amazonで見る

8

【整備済み品】 富士通 FUJITSU VL-B24-8T 23.8インチワイド LED液晶モニター 非光沢/IPSパネル/FHD(1920x1080)/DP/DVI/VGA/VESA準拠 スピーカー内蔵/画面回転/高さ調整

ASIN:B0D2MC96MM

Amazonで見る

9

Acer モニター 23.8インチ フルHD 非光沢 120Hz 1ms(VRB) sRGB 99% AdaptiveSync HDMI 1.4 ミニD-Sub 15ピン スピーカー・ヘッドフォン端子非搭載 VESAマウント対応 ゼロフレームデザイン 3年保証(パネルは1年) EK241YGbi

ASIN:B0DK9H4JR6

Amazonで見る

10

【Amazon.co.jp限定】 アイリスオーヤマ モニター 21インチ Full HD(1920×1080) 国内メーカー VAパネル スピーカー内蔵 100Hz フリッカー軽減 非光沢タイプ ディスプレイ HDMI ブラック DT-IF215S-B

ASIN:B0DX1BJ2R8

Amazonで見る

NoobAI XLについて

Laxhar Dream Lab · Hugging Face

https://huggingface.co/Laxhar

🔗外部リンク

NoobAI XLはLaxhar Dream Labが開発している（SDXL）ベースの生成モデルです。簡単ですが以下に概要をまとめてみました。

• 開発元：Laxhar Dream Lab
• アーキテクチャ：Illustrious‑XL v0（SDXL）ベース
• 解像度：SDXL 標準領域（例：768×1344～1344×768、1024×1024）
• プロンプト：Danbooruタグ
• 拡張互換性：LoRA、ControlNet、Img2Imgなど主要ツールとの互換性あり
• 予測形式：ε‑Pred（epsilon-prediction）（ノイズ予測）と V‑Pred（v-prediction）（速度／色予測）の両対応
• ライセンス：Fair AI Public License 1.0-SD

Kohya ss GUIのデフォルト値を使った学習

それでは、恒例になっているデフォルトパラメーターを使って学習させてみましょう。

今回使用する学習ベースモデルは「noobai‑XL v1.1 eps-pred」を使用します。

Laxhar/noobai-XL-1.1 · Hugging Face

https://huggingface.co/Laxhar/noobai-XL-1.1

🔗外部リンク

データセット

データセットは「オリジナルキャラクターLoRAの作り方【データセット編】学習画像の制作とキャプション」で作成したデータを元に学習します。同じデータセットで学習させたい場合は、Patreonで公開していますが、有料サポーター様のみダウンロードが可能となっています。

DataSet sample for training LoRA | Digital Creative AI | PATREON

https://www.patreon.com/posts/125348409

🔗外部リンク

　

デフォルトパラメーター

データセットの準備ができたら、下記のパラメーターを使って学習します。NoobAI XLモデルの学習用に、少しだけ値を変更しています。入力または変更が必要な部分は赤文字で記載しています。

• Pretrained model name or path：NoobAI-XL-v1.1.safetensors
• Trained Model output name：DCAI_Girl_Def_NoobAI ※モデルの出力名
• Instance prompt：dcai-girl ※今回使うキャプション方式では値は無視されますが、入力しないとエラーになるため。
• Class prompt：1girl ※上記と同じ理由で入力。
• Repeats：5 [デフォルト：40] ※学習元画像が100枚で、トータル画像を500にしたいため。
• Presets：none
• LoRA type：Standard
• Train batch size：1
• Epoch：1
• Max train epoch：0
• Max train steps：1600
• Save every N epochs：1
• Seed：123 [デフォルト：0 = ランダム] ※パラメーターをコントロールする為に適当な数字を入れます。
• LR Scheduler：cosine
• Optimizer：AdamW8bit
• Learning rate：0.0001 (1e-4)
• Text Encoder learning rate：0.00005 (5e-5) [デフォルト：0.0001 (1e-4)] ※公式ドキュメントの推奨デフォルト値に変更しています。
• Unet learning rate：0.0001 (1e-4)
• LR warmup (% of total steps)：10
• Max resolution：1024, 1024 [デフォルト：512, 512] ※SDXLの解像度
• Network Rank (Dimension)：8
• Network Alpha：1

学習したLoRAを使ったテスト生成

　

　

デフォルト設定で学習したLoRAを使って生成した画像が上の画像になります。下の画像は同じ設定でLoRAを使わずに生成した画像です。

この画像を見た感じしっかり学習されていそうですが、衣装の色や形が違う画像が多く生成されました。A1111 WebUIの生成設定は下記の通りです。

masterpiece, best quality, amazing quality, dcai-girl, 1girl, upper body, solo, looking at viewer, short hair, orange hair, brown eyes, animal ears, blue dress,  (white thighhighs, thigh strap, brown footwear:0.7), meadow, sky, mountain, day, newest, extremely detailed background, extremely detailed foreground <lora:DCAI_Girl_Def_NoobAI:1>

nsfw, lowres, worst quality, low quality, bad anatomy, bad hands, 4koma, comic, greyscale, censored, jpeg artifacts, overly saturated, overly vivid

checkpoint: NoobAI-XL-v1.1.safetensors
Steps: 25
Sampler: DPM++ SDE
Schedule type: Karras
CFG scale: 3
Seed: 2985336440
Size: 1344x768
ADetailer: ON
Hires. fix: Upscaler: 4x-UltraSharp / Step: 10 / Denoising strength: 0.25 / Upscale by: 2
VAE: sdxl.vae.safetensors

Standard LoRAにConvolutionを組み込む

Convolution（畳み込み）とは、画像中の「局所特徴（模様・エッジ・形）」を抽出する演算処理をします。簡単に言うと、画像の各部分を「小さなフィルター（カーネル）」でなぞって特徴を抜き出し、この処理を何層にも重ねて、徐々に高次な情報（顔・目・服・構図など）に変換しています。

Standard LoRAでは、Linear層（Attention中心）に補正しています。Conv2D層は補正の対象外なので「服のしわや髪の動き、装飾などの微細な視覚特徴が学習されにくい。」と言われています。Conv2D層を対象にするには。追加の設定が必要になります。

Kohya ss GUIでStandard LoRAにConvolutionを組み込む方法

組み込み方はそれ程難しくなくパラメーターのAdvancedセクションの「Additional parameters」に以下のコードを記入するだけで有効化できます。

--network_args use_conv=True conv_dim=32 conv_alpha=16

　

「conv_dim」と「conv_alpha」には基本的にはNetwork Rank (Dimension) / Network Alphaと同じ値で問題ありません。また、conv_alphaを入力しない場合はデフォルトconv_alpha=1.0になります。

fp16とbf16について

fp16（Half Precision Floating Point）とbf16（Brain Floating Point 16）について解説します。fpとはFloating Pointの略で浮動小数点数の事を指します。一般的な計算機はfp32（単精度浮動小数点）で計算されています。これを半分にして高速化＆省メモリにしたのがfp16（半精度浮動小数点）です。Googleの人工知能研究グループであるGoogle BrainがTPU向けに開発した形式の「bf16」はfp32に近い振る舞いでありながらfp16並の高速性とVRAM効率を実現させています。計算精度はfp32よりは多少劣りますが、AI（とくに深層学習）は「完璧な小数精度」よりも「たくさん計算できること」が重要なので、bf16を使うことにより、高速で安定した学習ができます。

ただし、bf16はNvidia製のGPUではAmpere以降のチップが必要になり。A100/H100やRTX 4090/4080のGPUが必要になります。RTX 30xxはAmpereですが、公式にはbf16を「限定的サポート」となっており正しい挙動にはならなく、さらには学習時間が長くなる場合があります。

下記にfp16とbf16の違いについて簡単にまとめました。

bf16の設定方法

bf16の設定方法はAccelerate launchセクションにあるResource Selectionの中の「Mixed precision」をbf16に切り替えます。

　

切り替えたらModelセクションにある「Save precision」で保存方法を選択できるのですが、個人用LoRAでお使いのGPUがRTX40xx以上をお持ちの方はbf16、インターネットに公開や汎用性が必要ならfp16で保存します。

　

Standard LoRA/Convとbf16をつかったLoRA学習

では、先ほど解説したStandard LoRA/Convとbf16を使って、学習していきましょう。入力または変更が必要な部分は赤文字で記載しています。また、前回のIllustriousの記事で紹介した「Prodigy+Cosine Annealing」も使用しています。Prodigyの設定はNoobAI XLの学習が鈍かったのでd_coef=2.0にして強めに学習しています。

学習パラメーター

• Pretrained model name or path：NoobAI-XL-v1.1.safetensors
• Trained Model output name：DCAI_Girl_NoobAI ※モデルの出力名
• Instance prompt：dcai-girl ※今回使うキャプション方式では値は無視されますが、入力しないとエラーになる為
• Class prompt：1girl ※上記と同じ理由で入力。
• Repeats：5 [デフォルト：40] ※学習元画像が100枚で、トータル画像を500にしたいため。
• Presets：none
• LoRA type：Standard
• Train batch size：1
• Epoch：5 [デフォルト：1] ※総ステップをEpochで調節する為
• Max train epoch：0
• Max train steps：0 [デフォルト：1600] ※総ステップをEpochで調節する為
• Save every N epochs：0 [デフォルト：1] ※途中経過を見る必要が無かった為
• Seed：123 [デフォルト：0 = ランダム] ※パラメーターをコントロールする為に適当な数字を入れます
• LR Scheduler：cosine ※CosineAnnealingLRを使うため無視されます
• LR Scheduler type：CosineAnnealingLR
• LR scheduler extra arguments：T_max=2500 eta_min=1e-6
• Optimizer：Prodigy [デフォルト：AdamW8bit]
• Optimizer extra arguments：weight_decay=0.05 d_coef=2.0 betas=0.9,0.99 use_bias_correction=True
• Learning rate：1.0 [デフォルト：0.0001 (1e-4)] ※Prodigy推奨値
• Text Encoder learning rate：1.0 [デフォルト：0.0001 (1e-4)] ※Prodigy推奨値
• Unet learning rate：1.0 [デフォルト：0.0001 (1e-4)] ※Prodigy推奨値
• LR warmup (% of total steps)：0 [デフォルト：10] ※CosineAnnealingLRで使うとエラーになる為
• Max resolution：1024, 1024 [デフォルト：512, 512] ※SDXLの解像度
• Network Rank (Dimension)：32 [デフォルト：8]
• Network Alpha：16 [デフォルト：1]
• Additional parameters：--network_args use_conv=True conv_dim=32 conv_alpha=16
• clip_skip：0 [デフォルト：1]
• CrossAttention：sdpa [デフォルト：xformers] ※学習速度は落ちるが、品質が良い為

以上のパラメーターで学習したTensorBordグラフが以下の様になりました。今回の学習は平均Loss値が問題なく下がっていき、最終的に0.0672まだ下げることができました。中段「d*lr」は自動調整された値になります。

　

学習結果

　

A1111 WebUIの生成パラメーターはデフォルト設定で学習したLoRAと同じパラメーターになっています。

ディテールも在り良い品質で学習できたと思います。

同系統のチェックポイントモデルに適用する

NoobAI XL（ε‑pred）系統のチェックポイントであれば今回学習したLoRAを適用する事ができます。以下にLoRAを適用したサンプルを載せておきます。生成パラメーターは下記のパラメーターを使っています。

masterpiece, best quality, amazing quality, dcai-girl, 1girl, upper body, solo, looking at viewer, short hair, orange hair, brown eyes, animal ears, blue dress,  (white thighhighs, thigh strap, brown footwear:0.7), open arms, happy, meadow, sky, ocean, beach, day, newest, extremely detailed background, extremely detailed foreground <lora:DCAI_Girl_NoobAI:1>

nsfw, lowres, worst quality, low quality, bad anatomy, bad hands, 4koma, comic, greyscale, censored, jpeg artifacts, overly saturated, overly vivid

Steps: 25
Sampler: DPM++ SDE
Schedule type: Karras
CFG scale: 3
Seed: 1878814088
Size: 1344x768
ADetailer: ON
Hires. fix: Upscaler: 4x-UltraSharp / Step: 10 / Denoising strength: 0.25 / Upscale by: 2
VAE: sdxl.vae.safetensors

一部に手の表現がおかしい画像もありますが、基本的にはディテールのある綺麗な画像を生成できました。

最終結果のLoRAはCivitaiにて公開していますので興味のある方はダウンロードしてみましょう。

DCAI Girl – NoobAI XL (ε‑Pred) | Civit AI

https://civitai.com/models/1807357

🔗外部リンク

まとめ

今回は、NoobAI XL（ε‑pred）モデルを使ったキャラクターLoRA学習について詳しく解説しました。NoobAI XLはまだ登場して時間がたっていないからか、派生モデルの数はあまり多くはありません。しかし、Illustrious-XLをベースにしたこのモデルは、SDXLの高解像度出力やDanbooru形式プロンプトへの対応など、扱いやすさと汎用性を兼ね備えています。

また、Standard LoRAにConvolutionを組み込むことで細部の表現力を強化し、bf16やProdigy＋CosineAnnealingLRといった高度な学習手法も導入。実際の生成結果からも、安定した品質とディテール再現性が確認できました。

🔍Desktop Memoryfrom Amazon

1

Crucial(クルーシャル) PRO (マイクロン製) デスクトップ用メモリ 16GBX2枚 DDR4-3200 メーカー制限付無期限保証CP2K16G4DFRA32A【国内正規代理店品】

ASIN:B0C29R9LNL

Amazonで見る

2

シー・エフ・デー販売 CFD販売 CFD Standard デスクトップ用 メモリ DDR4 3200 (PC4-25600) 16GB×2枚 288pin DIMM 相性保証 W4U3200CS-16G

ASIN:B0BB21KR4K

Amazonで見る

3

CORSAIR DDR4-3200MHz デスクトップPC用 メモリ Vengeance LPX シリーズ 64GB [32GB × 2枚] CMK64GX4M2E3200C16 ブラック

ASIN:B07Y4ZZ7LQ

Amazonで見る

4

Team DDR4 3200Mhz PC4-25600 16GBx2枚（32GBkit） デスクトップ用メモリ Elite Plus シリーズ 日本国内無期限正規保証 TPRD432G3200HC22DC01

ASIN:B093GNJS1T

Amazonで見る

5

CORSAIR DDR4-3200MHz デスクトップPC用 メモリ VENGEANCE LPX シリーズ 32GB [16GB×2枚] CMK32GX4M2E3200C16

ASIN:B07RW6Z692

Amazonで見る

6

CORSAIR Corsair DDR4-3200MHz デスクトップPC用 メモリ VENGANCE RGBシリーズ 32GB [16GB×2枚] ホワイトCMW32GX4M2E3200C16W

ASIN:B08S9BLC36

Amazonで見る

7

シリコンパワー デスクトップPC用 メモリ DDR4 3200 PC4-25600 16GB x 2枚 (32GB) 288Pin 1.2V CL22 SP032GBLFU320F22

ASIN:B08K8P41DJ

Amazonで見る

8

【Amazon.co.jp限定】CORSAIR DDR5-6000MHz デスクトップPC用メモリ VENGEANCE DDR5シリーズ (PC5-48000) Intel XMPメモリキット 32GB ブラック [16GB×2枚] CMK32GX5M2E6000C36

ASIN:B0BZHW15KF

Amazonで見る

9

CORSAIR DDR5-6000MHz デスクトップPC用メモリ VENGEANCE RGB DDR5シリーズ (PC5-48000) Intel XMP メモリキット 32GB ホワイト [16GB×2枚] CMH32GX5M2E6000C36W

ASIN:B0CDY46PFK

Amazonで見る

10

ORICO Raceline Racer DDR4メモリ 16GB (8GB×2枚組) 3200MHz CL16、XMP 2.0対応オーバークロック、1.35V UDIMM、Intel & AMD互換、高性能ゲーミング用デスクトップメモリ - H400 ブラック

ASIN:B0DSDBZCLZ

Amazonで見る