オープンソースの画像生成AIをセットアップから使い方まで解説する『Stable Diffusion AI画像生成ガイドブック』（ソシム刊）発売中（→本のサポートページ）

一番星はてののファンアートをStable Diffusionで出力する（追記あり）

Stable Diffusion hatena

お嬢様系AIはてなブックマーカーを名乗る「一番星はての」が誕生したそうだ。

ファンアートがいくつもアップされている。これはいいテーマだ。自分もStable Diffusionでやってみよう。

以下、すべての画像に「EasyNegative」と「bad_prompt_version2」を使いました。VAEは「vae-ft-mse-840000-ema-pruned.ckpt」です。

またアップスケーラーは「multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize」（拡張機能からインストールできます）を使っています。txt2imgのタブ内、「シード」の下にできた「タイル状のVAE（Tiled VAE）」メニューを開き、「有効化（Enable）」をオンにします。このアップスケール方法は、画像をとても大きく出力するときVRAMの消費を抑えてくれるそうです。

プロンプトも載せてはいますが、画像をブラウザから直接AUTOMATIC1111版Stable Diffusion WebUIの「PNG内の情報を表示（PNG Info）」や「txt2img」タブのプロンプト入力欄にドラッグ&ドロップするだけでも画像の生成情報が読み取られます。「PNG内の情報を表示（PNG Info）」タブでは「txt2imgに転送」ボタン、「txt2img」タブではプロンプト入力欄の右にある「↙」ボタンをクリックすれば、画像に埋め込まれた各種のパラメータがセットされます。

学習モデル「Nostalgia-clear」

「Nostalgia-clear」は線が太めの画風が好み。リボンのプロンプトによく反応してくれたのもありがたかった。VAEは「vae-ft-mse-840000-ema-pruned.ckpt」のはず。

  • masterpiece best quality ultra-detailed illustration bustshot of girl bangs head tilt solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head slight smile in botanical garden looking at viewer
  • Negative prompt: EasyNegative bad_prompt_version2 large breast (blush starry sky in background:1.8) (underwear naval uniform rings dutch angle:1.5) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 3253048124, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)

  • masterpiece best quality ultra-detailed girl solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head pleated short skirt slight smile looking at viewer in botanical garden
  • Negative prompt: EasyNegative bad_prompt_version2 large breast (blush:1.8) underwear (naval uniform:1.5) dutch angle (starry sky in background:1.8) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 508592967, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)

  • masterpiece best quality ultra-detailed girl solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head bangs pleated short skirt black over knee thigh socks slight smile looking at viewer in library
  • Negative prompt: EasyNegative bad_prompt_version2 large breast (blush:1.8) underwear (naval uniform:1.5) dutch angle (starry sky in background:1.8) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 681284422, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)
学習モデル「abyss_7th_anime」

VAEはこれも「vae-ft-mse-840000-ema-pruned.ckpt」のはず。また「School Building Scenery LoRA」を使っています。

  • masterpiece best quality ultra-detailed illustration girl solo (ash grey long hair:1.2) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head slight pleated short skirt over knee thigh socks smile looking at viewer kaidan stairs
  • Negative prompt: EasyNegative bad_prompt_version2 large breast (blush:1.8) underwear (naval uniform:1.5) dutch angle (starry sky in background:1.8) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views, (bad hands fewer digits bad anatomy mutated limbs extra limbs:1.4) retro style 1980s 1990s 2000s 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 flat color flat shading
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 2488931063, Size: 480x640, Model hash: 4159efd739, Model: abyss_7th_anime, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)

この画像だけプロンプトが長いのは、「でりだモデル」推奨のネガティブプロンプトをそのまま入れてみていたから。

学習モデル「anything-v4.5-pruned-fp16」

VAEは「anything-v4.0.vae.pt」。「School Building Scenery LoRA」を使っています。

  • masterpiece best quality ultra-detailed girl solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head pleated short skirt slight smile looking at viewer kyoushitsu classroom
  • Negative prompt: EasyNegative bad_prompt_version2 large breast (blush:1.8) (rings underwear naval uniform:1.5) dutch angle (starry sky in background:1.8) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 1533607513, Size: 640x480, Model hash: f773383dbc, Model: anything-v4.5-pruned-fp16, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)
学習モデル「Counterfeit-V2.5」

Counterfeitは背景の情報量が多いところが好きで、人を入れずに風景だけ出したりしています。VAEは「Counterfeit-V2.5.vae.pt」。


  • masterpiece best quality ultra-detailed illustration bustshot of girl bangs head tilt solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head in botanical garden
  • Negative prompt: EasyNegative bad_prompt_version2 large breast (looking at viewer blush starry sky in background:1.8) (underwear naval uniform rings dutch angle:1.5) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 3253048124, Size: 640x480, Model hash: a074b8864e, Model: Counterfeit-V2.5_pruned, Denoising strength: 0.72, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)

同じようなプロンプトでも、学習モデルが変わると画風が大きく変わることがよくわかるのではないでしょうか。

キャラクターデザインが決まっている人をプロンプトで表現して出力するのは初めてで、とても勉強になりました。はてなにちなんだキャラクターがユーザーから出てくるのはとても久しぶりで、そこも嬉しいポイント。

最後に宣伝させてください。3月31日ごろに自分で書いて編集した『Stable Diffusion AI画像生成ガイドブック』がソシムから発売されます。

Stable Diffusion AI画像生成ガイドブック

Stable Diffusion AI画像生成ガイドブック

Amazon

書籍のサポートページ
『Stable Diffusion AI画像生成ガイドブック』（ソシム刊）サポートページ

どうぞよろしくお願いします。

追記

はてブでずいぶん伸びました。ありがとうございます。

お礼に追加の画像をどうぞ。学習モデルは好評だった「Nostalgia-clear」です。


  • masterpiece best quality ultra-detailed illustration bustshot of girl bangs head tilt solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head slight smile in botanical garden looking at viewer
  • Negative prompt: bad_prompt_version2 large breast (blush starry sky in background:1.8) (underwear naval uniform rings dutch angle:1.5) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 3253048124, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent (nearest-exact)

一番上の画像と同じですが、「EasyNegative」のネガティブプロンプトを外した方がすっきりしてよいと感じました。以下の画像はすべて同様です。

この画像以下は線の太さをコントロールするのに、より大きく出力するのを試しています。今までは1,280×960ピクセルだった出力サイズを1,600×1,200ピクセルにし、縮小表示されるときに線がやや細く、またシャープな画像に見えることを期待しています。

また、この画像はアップスケーラーに「4x_fatal_Anime_500000_G」を使っています。「model」－「ESRGAN」フォルダに入れて使います。

  • masterpiece best quality ultra-detailed illustration bustshot of girl head tilt solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head slight smile in japanese school looking at viewer beside window
  • Negative prompt: bad_prompt_version2 large breast (blush starry sky in background:1.8) (underwear naval uniform rings dutch angle:1.5) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 1533755296, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.5, Clip skip: 2, Hires upscale: 2.5, Hires upscaler: 4x_fatal_Anime_500000_G

下のプロンプトで出力すると、読んでいる本の左側に余分な本が出てきたのでinpaintで消しました。こういうときはtxt2imgや「PNG内の情報を表示（PNG Info）」から「inpaintへ転送」をクリックし、消したい本をマスクします。消したいところをきっちりきれいに塗る必要はありません。むしろはみ出させておかないと、inpaintでうまく消えないことがあります。

  • masterpiece best quality ultra-detailed girl solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head in public library reading book
  • Negative prompt: bad_prompt_version2 large breast (looking at viewer rings blush:1.8) underwear (naval uniform:1.5) dutch angle (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 641373656, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 2.5, Hires upscaler: Latent (nearest-exact)
出力した直後
適当にマスクした状態

以下がinpaint時のプロンプトです。inpaintの設定は「マスクされたコンテンツ（Masked content）」を「埋める（fill）」、「inpaintを行う領域（inpaint area）」を「画像全体（Whole picture）」にします。


  • masterpiece best quality ultra-detailed girl solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head in public library reading book
  • Negative prompt: bad_prompt_version2 large breast (looking at viewer rings blush:1.8) underwear (naval uniform:1.5) dutch angle (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 4233531994, Size: 1600x1200, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.7, Clip skip: 2, Mask blur: 4

これは下のプロンプトを使い640×480ピクセルで出力したあと、img2imgで1,600×1,200ピクセルまで拡大しました。

  • masterpiece best quality ultra-detailed girl solo (ash grey long hair:1.6) ringlets 17yo blue eyes (white blouse:1.5) navy blue bow tie ribbon on side of head pleated short skirt smile looking at viewer from behind walking in shopping arcade crowd
  • Negative prompt: bad_prompt_version2 large breast (rings blush:1.8) underwear (naval uniform:1.5) dutch angle (starry sky in background:1.8) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 2858246648, Size: 640x480, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Clip skip: 2
640×480ピクセルで出力した画像

以下がアップスケール時のプロンプトです。プロンプトは「masterpiece best quality ultra-detailed shopping arcade crowd」のみです。人物を描写するプロンプトを残しておくと、アップスケールした際に背景の人が一番星はてのに変身したり、背景に妖精さんが出てきたりします。同時に一番星はてののディテールがプロンプトに含まれなくなるため、「ノイズ除去強度（Denoising Strength）」を0.75など高めにすると一番星はてのが別人になってしまいます。

ノイズ除去強度が高いとアップスケール時に別人になる（ノイズ除去強度を0.75にした例）
  • masterpiece best quality ultra-detailed shopping arcade crowd
  • Negative prompt: bad_prompt_version2 large breast (rings blush:1.8) underwear (naval uniform:1.5) dutch angle (starry sky in background:1.8) (worst quality:1.4) (low quality:1.4) text error cropped blurry signature watermark username monochrome multiple views
  • Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 14, Seed: 1204889760, Size: 1600x1200, Model hash: 80b64299af, Model: nostalgiaClear_nostalgiaClear, Denoising strength: 0.4, Clip skip: 2

アップスケーラーは「SwinIR_4x」です。img2imgでアップスケールするときのアップスケーラーは「設定」－「アップスケール」－「img2imgで使うアップスケーラー（Upscaler for img2img）」で指定します。

Stable Diffusionのほかの記事もどうぞ。

利用方法（GPUのないパソコン）
Stable Diffusion WebUI（1111）をGoogle Colabで使うノートブック【画像も設定も自動保存】
利用方法（GPUがあるパソコン）
Stable Diffusion WebUI（1111）のインストールがとても簡単になっていた【令和最新版】
日本語化の方法
AUTOMATIC1111版Stable Diffusion Web UIの日本語化