InstantID 可以使用一張圖片作為參考來生成定制化的頭像照片,不需要訓練任何模型。
Instant ID 通過結合使用 ControlNet 和 IP-Adapter 來控制擴散過程中的面部特徵。Instant ID 的一個獨特設計是,它將來自 IP-Adapter 投影的面部嵌入作為交叉注意力(cross attention)輸入傳遞給 ControlNet 的 UNet。
線上體驗:https://huggingface.co/spaces/InstantX/InstantID
線上 demo 體驗了一下,模型預設了 8 種風格
實測一:
上傳《繁花》中寶總(胡歌)的劇照,然後輸入下方提示詞,選擇風格 Jungle
實測二:
保持面部圖片不變,上傳參照姿勢(下圖),並輸入提示詞,選擇風格 watercolor
常見部署
接下來我們介紹常用的幾種部署方式:
WebUI
教程:https://github.com/Mikubill/sd-webui-controlnet/discussions/2589
注意事項:
InstantID 在 WebUI 上採用 2 個模型。要始終把 IP-Adapter 模型設置為第一個模型,因為 ControlNet 模型從 IP-Adapter 模型獲取輸出。
模型要放在指定目錄下:{A1111_root}/models/ControlNet
將模型分別重命名,以確保擴展功能識別:ip-adapter_instant_id_sdxl 和 control_instant_id_sdxl。
ComfyUI
教程:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID
自行構建 Gradio
動手能力強的小夥伴也可以不使用 WebUI 或 ComfyUI,直接用 Python 腳本來實現,官方也給了用例:
https://github.com/InstantID/InstantID?tab=readme-ov-file#download