InstantID は、トレーニングモデルを必要とせず、1 枚の画像を参照としてカスタマイズされたプロフィール写真を生成することができます。
Instant ID は、ControlNet と IP-Adapter を組み合わせて、拡散プロセス中の顔の特徴を制御します。 Instant ID のユニークな設計の 1 つは、IP-Adapter からの顔の埋め込みを交差注意力(クロスアテンション)入力として ControlNet の UNet に渡すことです。
オンライン体験:https://huggingface.co/spaces/InstantX/InstantID
オンラインデモを試してみましたが、モデルには 8 つのスタイルが事前に設定されています。
テスト 1:
「繁花」というドラマの宝総(胡歌)の写真をアップロードし、下のヒントワードを入力し、スタイル「Jungle」を選択します。
テスト 2:
顔の写真を変えずに、参照ポーズ(下の画像)をアップロードし、ヒントワードを入力し、スタイル「watercolor」を選択します。
一般的なデプロイ方法
次に、よく使用されるいくつかのデプロイ方法を紹介します:
WebUI
チュートリアル:https://github.com/Mikubill/sd-webui-controlnet/discussions/2589
注意事項:
InstantID では、WebUI で 2 つのモデルを使用します。常に IP-Adapter モデルを最初のモデルに設定する必要があります。なぜなら、ControlNet モデルは IP-Adapter モデルから出力を取得するからです。
モデルは指定されたディレクトリに配置する必要があります:{A1111_root}/models/ControlNet
モデルを拡張機能の識別のためにそれぞれ名前を変更してください:ip-adapter_instant_id_sdxl および control_instant_id_sdxl。
ComfyUI
チュートリアル:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID
Gradio の独自の構築
技術力のある方は、WebUI や ComfyUI を使用せずに、Python スクリプトを直接使用することもできます。公式には使用例も提供されています:
https://github.com/InstantID/InstantID?tab=readme-ov-file#download