Stable Diffusion：テキストを画像に変換するAIを使ってみた
初めに
話題のテキストを画像に変換する AI 「Stable Diffusion」の開発環境の構築の仕方、使い方などをまとめました。
Index
Stable Diffusion とは
Stable Diffusion とは、テキストでキーワードを指定することで、それに応じて画像を自動生成する AI となります。2022年8月に無償公開されました。また、商用利用も認められています。
デモ版・ライセンス
デモ版を AI コミュニティの Hugging Face で公開しています。また、商用利用や禁止行為などについて、ライセンスが記載されています。使われる場合は、下記リンク先から、ライセンスだけでも確認しましょう。
※ライセンスは英語です。
Google Colaboratory を使った開発環境の構築
Google Colaboratory を使って開発環境を構築します。Google Colaboratory は下のリンクから飛べます。
colab.research.google.com
事前準備
Google アカウントが必要になります。
環境構築手順
リンク先に飛ぶと、下の画像のような画面になります。基本的には、再生ボタンのようなボタンを上から一つずつクリックしておけばよいです。
注意点
注意点をいくつかピックアップして書いておきます。
〇Google アカウントにログインしたタイミングで、下の画像のように警告がでます。このまま実行をクリックしてください。
〇 ２と５ のボタンを押すと、"セッションがクラッシュしました" と表示されますが、気にしなくてよいです。右上の表示がチェックマークに変わったら、次に進みましょう。
〇８でモデルの選択をします。
選択できるモデルが以下のようになっています。
- イラスト特化モデル：WaifuDiffusion v1.3
- 国産・イラスト特化モデル：TrinArt2
- ボンドルド特化モデル・モデル読み込み後、プロンプトにbondrewdを指定して利用
- モデルデータをダウンロード（URL指定型）
- 汎用モデル：StableDiffusion v1.4(要HuggingFaceログイン)
それぞれの特徴は次の通りです。
- WaifuDiffusion：２次元絵が得意
- TrinArt2：二次元キャラに強い
- ボンドルド特化モデル：ボンドルドしか描けない
- StableDiffusion v1.4：原点となる「Stable Diffusion」モデルの最新版。さまざまなものに対応している。
他のモデルを選択する場合は、"モデルデータをダウンロード" に URL を指定してダウンロードをします。
〇Running on public URL が表示されたら、終了です。この URL をクリックすると、利用することができます。
（Stable Diffusion の画面）
モデル一覧
簡単な使いかた
text2img
テキストから画像を生成します。
（使い方）
- Prompt に生成したい画像のキーワードを 英語で入力
- Negative prompt に描いてほしくない画像のキーワードを入力
- Generate で生成
GUI版Stable Diffusion の導入
下記リンク先から NMKD Stable Diffusion GUI をダウンロードします。
2GB あるため、ダウンロードに時間がかかります。
ダウンロード後は、7Zip を展開します。解凍ソフトがなければ、下記リンク先からどうぞ。
ファイル展開後、.exe をクリックすると、実行できます。
モデルの変更
今回は Waifu Diffusion をダウンロードし、モデルを変更します。
下記リンク先からダウンロードします。7GB以上あるため、ダウンロードにかなり時間がかかります。
huggingface.co
Data > models の中に .ckpt ファイルを入れることでモデルを使用できるようになります。
.exe ファイルから実行後、右上の歯車を押し、Settings 画面を出します。そこからモデルを選択することができます。
使い方
キーワードを英語で入力し、Generate をクリックすることで画像を生成します。
生成した画像は Images フォルダ内に保存されます。
キーワードのコツ
Waifu Diffusion は学習元に「Danbooru」というサイトを使っているようです。そこで、書きたいような絵を選択し、表示されているタグを参考にするとよいでしょう。
使ってみた
（Prompt）
original 1girl bangs brown_eyes brown_hair dress frills hands_up japanese_clothes looking_at_viewer short_hair smile solo
「Danbooru」を学習元にしていることについて
Danbooru は絵の無断転載サイトです。そのため、そこを引用元にしている NovelAI Diffusion や Waifu Diffusion はAIでの著作物利用はOKであるが、商用利用するにはグレー。モデルの学習元は調べておいたほうがよいかもしれません。
最後に
Stable Diffusion については、今後もいろいろ展開がありそう。情報は引き続き仕入れておきたいですね。
