FLUX.1 [Schnell]を stable-diffusion.cppを使ってプロンプトで指定の文字列の入った画像を生成してみた。 手順はここ https://github.com/leejet/stable-diffusion.cpp/blob/master/docs/flux.md にある通り。

Llamafile で気軽に Stable Diffusion するの続きです。 sdfile-0.8.4 のコマンドオプションを調べると control-net オプションがあります。 今回はこれを使ってみました。

前回 Stable Diffusion で生成したセザンヌ風のコーヒーカップ画像を線画(line art)に変換しました。 左の画像が入力画像で、右が変換後の出力です。

Llamafile は Mozilla https://future.mozilla.org/ のプロジェクトです。 Lamafile 自体の詳しい紹介はこちらhttps://future.mozilla.org/builders/news_insights/introducing-llamafile/をご覧ください。

いくつかのコマンドファイルがあるのですが、 その一つが sdfile で、これは Stable Diffusion のモデルを使って画像生成できる実行ファイルです。

Llamafile の特徴はプロジェクトのサイト https://github.com/Mozilla-Ocho/llamafile から単にファイルをダウンロードしてそれを実行するだけでよい、という点です。 ひとつの実行ファイルが各種OS(Windows/macOS/Linux) に対応しているので、 自分の使用OSにあったファイルはどれか？と悩むこともありません。 そして、特定のGPUが必要という制限もありません。

詳細はここ https://huggingface.co/docs/diffusers/using-diffusers/schedulers に書いてある。

先日の実験では DPMSolverMultistepScheduler を使うと真っ黒の画像になる、などと書いていたが、 今回あらためて試したところ、普通に作動した。

そこそこ速いシリコンマックでの、 Controlnet + Stable Diffusion 1.4 を試す。

そこそこ速いシリコンマックでの Stable Diffusion まとめ。

以前のエントリーで PyTorch と Diffusers ライブラリを使って Stable Diffusion を使いました。 TensorFlow でも Stable Diffusion できる ことがわかったので、備忘録として書き残します。 tensorflow-metal を使うことで TensorFlow を M1 macbook air などの Apple silicon 搭載マシンの GPU を使って実行できます。

こちらの方法 Conda なしで Stable Diffusion する（Diffusers ライブラリを使用）M1 mac と Linux + CUDA でも、Apple silicon の GPU を活かして Stable Diffusion を動かすことができますが、 コードをそれように変更する必要がありました。 一方で、tensorflow-metal では Tensorflow にプラグインする形なので、 コード変更が不要です。 単に tensorflow-metal のモジュールをインストールしておきさえすれば、GPU 対応になり処理が速くなる、という仕組みです。

手描きの線画から Stable Diffiusion とその周辺ツールを使って絵を作るワークフローのまとめです。 全体像はこんな感じ。

正方形の画像が必要だが、縦長の写真 ( 270 x 360px )しかなかった場合。

これを左右を描き足して正方形の画像にしたい。

コーヒーカップの写真を撮ってそこから欲しい画像を作り出す実験です。

以前のエントリーControlNet を使ってざっくり手描きした絵から期待する画像をつくる を書いたのですが、Diffusers ライブラリを使えば、Web UIではなく、コマンドラインから python コードを実行する形で、 画像を作り出すことができることがわかりました。

前回のエントリーで Hugging Face の Diffusers ライブラリを使用して テキストから画像を生成しました。今回はその続きで、それを Bottle を使ってWebサーバにしました。

venv 環境は前回作成した diffuers 環境をそのまま引き継いでいる点に注意してください。（OS は M1 macOS ではなく Linux(Ubuntu) を使います。）