【Stable Diffusion】inpaintで画像の一部を修正・変更

 

 

今回は、生成した画像ｗの一部だけを修正したり、変更したりすることができる機能、

img2imgの「inpaint」の使い方と、生成してみた結果を画像つきで初心者にもわかりやすく解説します。

 

顔の表情や指や手などの修正や変更は1回だけでなく何度か生成する必要がでてくるので、根気よく作業するのがポイントです。

 

「inpaint」とは何か

 

inpaint（インペイント）とは「img2img」の機能のひとつで、絵の一部分だけを描き直すことができます。

 

修正する内容はプロンプトで指示を出します。

 

「img2img」についてはこちらの記事を参考にしてください。

Stable Diffusionの「img2img」基本的な使い方

    Stable Diffusionと言えば、テキストを入力すると画像を生成できるツールと思う方が多いかと思いますが、 テキストだけでなく「画像」からも画像が生成できます。 & ...

続きを見る

 

「inpaint」で加工する部分をブラシで指定

 

img2imgではブラシツールを使って、加工する場所を塗ります。

指定した箇所を修正や加工してくれます。

 

 

 

inpaintの使い方①生成した画像にinpaint機能を使う

 

いつも通りプロンプトを入力し、画像を生成します。

 

 

プレビュー画面下にあるアイコンの中からパレットのアイコン（inpaint tab)を選びます。

 

 

img2imgの「Inpaint」が開きます。

 

ブラシで修正や加工したい部分を塗り、修正、加工に関するプロンプトを入力。

パラメーターを設定して最後に[Generate」をクリックします。

 

 

画像をアップロードしてinpaintを使う

 

注意点として、元素材のプロンプトがないと、同じような顔の画像が作りにくいという問題があります。

なるべく同じようなプロンプトになるよう作成するようにしましょう。

 

[img2img]のタブをクリックして開きます。

プロンプト入力の下にある[Generation]タブの中にある[inpaint]を開きます。

 

 

 

修正、または加工したい元となる画像をアップロードし、修正箇所をブラシで塗り指定、プロンプトなどの設定を行い画像を生成していくことになります。

 

inpaintのパラメーターについて

 

inpaintではパラメーターでさらに設定ができるようになっています。

 

Mask Blur

範囲指定した部分の境目のぼかし設定

数値が高いほど境界をぼやかすことができます。

 

かけすぎると生成が上手くいかない（境目がわからなくなる）ので程よい数値で設定します。

 

 

Mask mode

指定範囲のどちらに変化をつけるかの設定

 

Inpaint masked	指定した部分に変化をつける
Inpaint not masked	指定した部分以外の全てに変化をつける

 

基本、修正や加工部分を指示したいと思うので、「Inpaint masked」のままでOKです。

 

Masked Content

指定した範囲にどのような方法で変化を加えるかの設定

 

fill	指定した部分の周囲の色を参照にして画像に変更を加える
original	指定した部分に元の画像を参照して変更を加える
latent noise	指定した部分を一度ノイズに戻してから再度生成する
latent nothing	指定した部分の元の色を参照して変更を加える

 

Inpain area

Inpaintは指示の元、新たに画像を生成しますが、その際のモードについての設定です

 

Whole picture	全体を再生成すると同時に、範囲指定した部分にも変更を加える
Only masked	範囲指定した部分にのみ変更を加える

 

Only masked padding, pixels

塗りつぶし部分に対する余白の数値を設定します。

とくに再設定することはないと思います。

 

Sampling method

サンプラーと言われるもので、どのように画像を生成するかの処理方法となります。

モデルによっておすすめもあるので、推奨されるものを使います。

 

「Sampling steps」はそのまま、変えるとしても大幅に動かさないでOKです。

 

Denoising strength

 

「Denoising strength」は画像のノイズを除去するための強度や効果の度合いを示します。

 

簡単に言うと、数値が高いと元画像からかけ離れた画像が生成され、

数値が低いとあまり変化を起こさず画像が生成されます。

 

 

inpaint使用例①服を変更する

 

服の部分をブラシツールで塗り、「kimono」に変更しました。

 

単語だけでは上手く生成できなかったので、左の参照画像生成時のプロンプトをそのまま使い、服だけ着物を指示。

ネガティブプロンプトも同じく使用して生成できました。

 

inpaint使用例②顔の表情を変える

 

参照画像のプロンプトをメモしてなかったので、似たようなプロンプトと表情を入れましたが、完全に同じキャラにはならないものの、表情だけを変えることはできました。

 

同じキャラクターで考える場合は、生成した画像を元にInpaintを使った方が良さそうです。

 

inpaint使用例③背景を変える

 

人物周りの背景をInpaintを使って変更してみました。

プロンプトは

• Flower Background
• Tokyo

 

という変更のみを入力

 

パラメーターで以下を選択しました。

• Inpaint not masked
• latent noise

 

ブラーの数値なども直しましたが、輪郭はぼやかしても、髪の毛の部分がマスクがかかったまま、前の画像の絵が残っています。

あと、ネガティブプロンプトを入力しても、指示のないものが入り込んだりするので、複数回生成する必要があります。

 

ただ、マスクで保護した人物はそのままになっていました。

「Denoising strength」も0.75のままで、強めかと思いましたがマスクはしっかりかかっている印象です。

 

 

まとめ

 

モデルやリアル画像、イラスト系などで差があるかもしれませんが、しっかりしたプロンプトが必要だったり、修正箇所だけのプロンプトだけで済む場合があったので、最初はプロンプトの順番など含めてトライする必要がありそうです。

 

イラスト系ですと、顔の表情も修正箇所のプロンプトだけで確率良く生成することができました。

 

拡張機能「controlNet」にも「Inpaint」という機能があります。

機能的には「img2img」と変わらないので私は使用していません。

 

興味がある方は、こちらをご覧ください。

【Stable Diffusion】ControlNetの導入方法・種類について

    画像生成AIはなかなか１回で納得いく画像を生成するのが難しく、ガチャを回すとも言われています。 特にポーズの指定はプロンプトで作るのも初心者には難しいと感じてしまうでしょう ...

続きを見る

 

 

 

Stable Diffusionで大事なグラボ

画像生成において、グラボは妥協せずに用意しましょう。

最低でも「RTX 3060」を用意すると、生成もスムーズに行えます

 

Stable Diffusion関連書籍

Stable Diffusionスタートから応用まで学べる１冊

 

Stable Diffusion LORAの使い方までしっかりカバー

 

ゲーム系画像が作りたい方におすすめ