チェックポイント・LoRA・VAEの違いは?画像生成モデルの基本

人物画像と追加パーツ、色調調整を机上に配置した表紙画像

モデルを入れたのに画風が変わらない、ファイルをどこに置くか分からない。そんなときはcheckpoint、LoRA、VAEの役割を分けて考えると整理できます。最初に必要な構成を確認し、追加パーツは目的が決まってから選びましょう。

要点: まずチェックポイントまたはそのモデル専用の構成を確認し、LoRAやControlNetは対応関係が分かってから追加します。

チェックポイント: 画像を作る中心の重み

一般的なStable Diffusion系チェックポイントは、プロンプトから画像を生成するモデル本体をまとめたファイルです。モデルごとに写真風、アニメ調、セミリアルなどの傾向や、理解しやすいプロンプトの書き方が異なります。

SDXL系チェックポイントと、別アーキテクチャのZ-Imageなどはファイル名の拡張子だけでは必要な構成が分かりません。モデル配布ページの推奨ワークフローを優先します。

LoRA: ベースに足す追加学習パーツ

LoRAは既存モデルに追加して、画風や人物の特徴などを調整するための比較的小さな重みです。ベースモデルや学習元の系統が合わないと、意図した結果が出ないことがあります。モデルページに書かれた対応先、適用方法、重みの説明を確認します。

同じ画像を複数モデルで比べたいときは、最初の比較でLoRAを混ぜない方が、チェックポイント自体の差を見分けやすくなります。

VAE: 潜在表現を画像へ戻す部品

VAEは生成中の潜在表現をピクセル画像へ変換する役割などを担います。チェックポイントに含まれている場合と、別ファイルを読み込む構成があります。色が不自然なときに交換を検討することはありますが、まず配布元の指定を見て、原因がVAEだと決めつけずに確認します。

ControlNet・検出器・アップスケーラー

  • ControlNet: ポーズや輪郭など追加の条件を画像生成へ与える重み。checkpointとは別の役目です。
  • 顔・手の検出器: ADetailerなどの補助機能で、修正対象を見つけるために使う場合があります。
  • アップスケーラー: 出力画像を拡大・補間する後処理用のモデル。生成checkpointとは別に記録します。

ComfyUIではファイルをノードで組み合わせる

ComfyUIのワークフローでは、モデルの種類に応じたloaderノードを使い、ほかのノードへ接続します。代表例では`models/checkpoints`、`models/loras`、`models/vae`のように種類別に置きますが、近年のモデルやカスタムノードは別のフォルダー・専用loaderを必要とすることがあります。フォルダー名だけで移動せず、配布元のworkflowを確認してください。

最初は何を入れる?確認の順番

  1. チェックポイントと公式/配布元の基本workflowを確認。
  2. 補助LoRA、ControlNet、顔修正、アップスケールを使わず基準画像を作る。
  3. 結果と設定を記録した後、必要な補助要素を一つずつ試す。

参考資料

各配布モデルのライセンスや推奨条件は更新されることがあります。実際に使用・再配布・商用利用する前に、個別のモデルカードとライセンス本文を確認してください。

関連記事