Stable Diffusion【模型篇】:LORA模型

Stable Diffusion【模型篇】:LORA模型LORA 模型 可以简单的理解是大模型的补丁 用于满足一种特定的风格 或者指定的人物特征或动作特征 增强绘制图片的细节

大家好,欢迎来到IT知识分享网。

大家好,我是小王同学

一. LOAR模型 介绍

我们知道,大模型主要用于决定绘图的风格。比如,二次元、真人、国风等风格。一般是通过Dreambooth训练得到,出图效果相对较好,但是由于训练的是一个完整的新模型,所以训练速度普遍偏慢,生成模型的文件较大,一般都在几个G。

LORA模型,可以简单的理解是大模型的补丁,用于满足一种特定的风格,或者指定的人物特征或动作特征,增强绘制图片的细节。LOAR模型必须结合大模型一起使用,但是由于使用效果较好并且训练较为快速和简单,而且大小也相对较小,一般在几十到上百兆之间,因此LORA模型是目前性价比最高的,也是最常用的微调模型。

由于LORA模型训练相对简单容易些,因此针对各种大模型很多大神们都训练了各种各样适用不同风格的LORA模型,并且开放到互联网上面提供给广大的AI绘画者免费下载使用,通常情况,我们只需要直接拿来使用即可。当然,我们也可以训练自己的LORA模型,关于如何训练自己的LORA模型,后面的文章再分享。

二. LOAR模型安装

LOAR模型的下载

国外:

(C站)

国内:

(炼丹阁)

(吐司)

(哩布哩布AI)

我们以C站为例,国内的很多网站的界面风格和操作都和C站类似。

在这里插入图片描述

在C站的很多图片左上方(模型界面)都有一个小标签,如果这个标签是LoRA,就表示这个是LORA模型,当然,如果这个标签是CHECKPOINT,就表示这个是大模型。

我们点击这个图片,会进入到LORA模型对应的详细信息界面,这个界面提供了模型的下载。

在这里插入图片描述

点击【Download】按钮就可以把模型下载到本地。

LOAR模型的安装

以autoDL算力云为例,直接将下载的文件放到下面的目录即可。

在这里插入图片描述

安装完成后,在SD Web UI界面就可以查看对应的LORA模型了。

在这里插入图片描述

三. LOAR模型的使用

触发词

所谓触发词,就是某些LORA必须在提示词里面添加这些触发词才生效。一般在LORA的下载界面,都会提供触发词。如果没有的话,使用这个LORA可能就不需要触发词。建议大家在使用LORA的时候注意留心一下触发词。

在这里插入图片描述

权重

在使用LORA模型绘图的提示词中,除了包含有触发词之外,还可以设置LORA模型的权重。使用方式loar:LORA模型名称:权重,其中权重默认值是0.8。这个参数值可以根据具体情况进行调整。

在提示词中,一般触发词和LORA模型放到一起,格式如下:

(触发词),loar:LORA模型名称:权重

相关说明:

(1)在一张图片绘制中,根据绘图的需要,可以使用多个LORA模型,即使用LORA分层。比如使用LORA1控制画面整体风格,LORA2控制画面中人的脸,LORA3控制画面中人的服装。在实际使用中大家注意多个LORA模型的占比。这个就不展开了,大家可以参考https://github.com/hako-mikan/sd-webui-lora-block-weight了解一下。

(2)大家要注意阅读LORA模型下载页面的详细信息,这个里面经常提供了LORA模型的权重值范围。

在这里插入图片描述

使用实例

下面我以一个具体实例为例来讲解LOAR模型的使用。

大模型:majicmixRealistic_v6.safetensors

正向提示词:(8k, best quality, masterpiece:1.2), (realistic, photo-realistic:1.2),1girl,perfect face, perfect eyes,pureerosface_v1, blue hanfu, ming style,(full body:1.2),

反向提示词:(EasyNegative:1.2),(Bad_Prompt_v2:0.8),(Bad_Hands_5),sketch by Bad_Artist, (worst quality, low quality:1.4), (bad anatomy), watermark, signature, text, logo,contact, (extra limbs),Six fingers,Low quality fingers,monochrome,(((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),less fingers,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, (depth of field, bokeh, blurry:1.4),blurry background,bandages,

LORA模型:hanfu_v30Song

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

关于使用的汉服LOAR模型,大家可以看一下模型下载页面的使用说明。这里有触发词使用方法和权重的建议值。

在这里插入图片描述

利用脚本分析LORA模型权重

使用脚本分析LORA模型权重,需要使用到Additional Networks插件,插件的安装(需要的小伙伴可以文末自行扫描获取)

在这里插入图片描述

安装完成后,需要重启SD WEB UI,会发现界面多了一个Additional Networks插件选项。

在这里插入图片描述

下面我们来看看如何使用。

在Additional Networks设置LORA模型为hanfu_v30Song。

在这里插入图片描述

在脚本中选择【X/Y/Z plot】,设置X轴类型为AddNet Weight1,值为我们的权重值。

在这里插入图片描述

我们看一下最后生成的效果。

在这里插入图片描述

可以看到,LORA权重从0.25到1的过程中,图片的背景,人物,服饰都是在变化的。当LORA为1的时候,图片就崩了。在权重为0.5-0.75之间,效果融合得相对较好。

四. LOAR模型使用注意事项

(1)LORA模型必须结合大模型一起使用,所以使用LORA模型时候,务必要清楚这个LORA模型是在哪些模型下面训练出来的,一般在LORA模型下载界面的介绍信息中或者提供的图片中可以查到。通常来说,LORA模型在这些大模型下面使用效果会比较好。

(2)要习惯阅读LORA模型下载界面对于该模型相关的介绍信息,不管是国外还是国内网站提供的模型界面,模型上传的大神们很多都提供了详细的使用说明,我们了解了之后,在具体使用的时候会让我们少走很多弯路。

在这里插入图片描述

(3)LORA模型非常的多,很多的特效实现都是基于LORA来实现的。所以SD绘图要想制作非常优秀的图片,LOAR的使用是必须要掌握的内容。但是LORA很多时候都是拿来即用的,所以更多时候需要我们去尝试去使用体验,在具体场景使用哪些模型对应的哪些LORA,充分积累我们使用LORA解决问题的经验。

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

三、最新AIGC学习笔记

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

在这里插入图片描述

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/131297.html

(0)
上一篇 2025-08-08 20:33
下一篇 2025-08-08 20:45

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信