需安装Stable Diffusion WebUI Bridge插件并配置本地WebUI连接,通过GIMP菜单调用文生图、ControlNet控制及Ollama+Phi-3-V优化提示词实现AI图像生成。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如果您希望在GIMP中直接调用AI模型生成图像,需借助第三方AI插件实现文生图功能。以下是具体操作步骤:
一、安装Stable Diffusion WebUI Bridge插件
该插件作为GIMP与本地运行的Stable Diffusion WebUI之间的通信桥梁,使GIMP能向WebUI发送文本提示并接收生成图像。需确保WebUI已正确部署并处于运行状态。
1、访问GitHub仓库https://github.com/timothycrosley/gimp-stable-diffusion,下载最新版gimp-stable-diffusion.zip压缩包。
2、解压后将其中的stable-diffusion目录整体复制到GIMP插件路径:Linux为~/.config/GIMP/3.0/plug-ins/,Windows为%APPDATA%\GIMP\3.0\plug-ins\,macOS为~/Library/Application Support/GIMP/3.0/plug-ins/。
3、赋予插件可执行权限:在Linux/macOS终端中执行chmod +x ~/.config/GIMP/3.0/plug-ins/stable-diffusion/stable-diffusion.py;Windows用户跳过此步。
4、重启GIMP,在菜单栏“滤镜→AI生成→Stable Diffusion”中确认选项已出现。
二、配置WebUI连接参数
插件默认尝试连接本地http://127.0.0.1:7860,需确保WebUI启动时启用API且端口一致,否则GIMP无法发送请求。
1、启动Stable Diffusion WebUI时添加命令行参数--api --port 7860。
2、打开WebUI界面,点击右上角“Settings”→“API”→勾选“Enable API”,保存并重启WebUI。
3、在GIMP中依次点击“滤镜→AI生成→Stable Diffusion→Configure”,将URL字段修改为http://127.0.0.1:7860,点击“Test Connection”验证绿色提示“Connection successful”。
三、使用文本提示生成图像
插件通过POST请求将文本提示、采样步数、CFG值等参数提交至WebUI的txt2img接口,并将返回的Base64图像数据自动载入GIMP新图层。
1、在GIMP中新建空白图像或打开任意画布。
2、点击“滤镜→AI生成→Stable Diffusion→Text to Image”。
3、在弹出窗口中输入提示词,例如a cyberpunk cityscape at night, neon lights, rain, 4k。
4、设置参数:Steps设为20,CFG Scale设为7,Width与Height保持默认512×512或按需调整。
5、点击“Generate”,等待进度条完成,生成图像将作为新图层自动插入当前图像。
四、启用ControlNet增强构图控制
若需对生成图像的结构、姿态或边缘进行精确约束,需在WebUI中预先启用ControlNet扩展,并在GIMP插件中指定对应预处理器和模型。
1、在WebUI中安装ControlNet扩展,下载control_v11p_sd15_canny.safetensors等模型至extensions/sd-webui-controlnet/models/目录。
2、重启WebUI,进入“ControlNet”标签页,启用Canny预处理器并加载对应模型。
3、在GIMP中打开一张线稿或边缘图,点击“滤镜→AI生成→Stable Diffusion→ControlNet Text to Image”。
4、在提示词下方勾选“Enable ControlNet”,选择Processor为canny,Model为control_v11p_sd15_canny,上传当前图层作为控制图像。
五、调用本地Ollama运行Phi-3-V视觉语言模型辅助提示工程
当提示词表达不清晰导致生成结果偏离预期时,可利用轻量级多模态模型优化文本描述,提升语义准确性。
1、安装Ollama并拉取phi3-v模型:执行ollama run phi3-v。
2、在GIMP中截取当前画布局部区域,导出为prompt_input.png。
3、执行命令:ollama run phi3-v "Describe this image in detail for use as a Stable Diffusion prompt, output only the prompt text, no explanations" --image prompt_input.png > refined_prompt.txt。
4、读取refined_prompt.txt内容,将其粘贴至GIMP插件的提示词输入框,替换原始描述。










