AIGC实战——生成模型简介

大家好，欢迎来到IT知识分享网。

AIGC实战——生成模型简介

• * 0\. 前言 

  • 1. 生成模型
  • 2. 生成模型与判别模型的区别

  •  * 2.1 模型对比 

    • 2.2 条件生成模型
    • 2.3 生成模型的发展
    • 2.4 生成模型与人工智能
  • 3. 生成模型示例

  •  * 3.1 简单示例 

    • 3.2 生成模型框架
  • 4. 表示学习
  • 5. 生成模型与概率论
  • 6. 生成模型分类
  • 小结
  • 系列链接

0. 前言

生成式人工智能 (Generative Artificial Intelligence, GAI)
是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC)
是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。

1. 生成模型

生成模型 (Generative Model)
是机器学习的一个分支，通过训练模型以生成与给定数据集类似的新数据，换句话说模型通过学习训练数据的分布特征，生成与之类似但又不完全相同的新数据。
假设有一个包含猫图片的数据集，如果在该数据集上训练一个生成模型，以捕捉图像中像素之间的复杂关系。然后，我们可以利用该模型进行采样，生成原始数据集中不存在的逼真(猫)图像，如下图所示。

为了构建生成模型，我们需要一个包含许多我们要生成的实例的数据集，这被称为训练数据 (training data)，其中每一个数据点称为一个观测值
(observation)。
每个观测值由许多特征 (features)
组成，对于图像生成问题，特征通常是各个像素的像素值；对于文本生成问题，特征通常是单词或字母组合。我们的目标是构建一个模型，可以生成看起来像是使用与原始数据相同规则创建的新特征集。对于图像生成来说，这是一个非常困难的任务，不仅由于生成的图像需要具有真实世界的特征和细节，包括纹理、颜色、形状等，同时图像生成模型通常需要大量的训练数据来学习图像的特征和分布。
生成模型还必须是概率性的 (probabilistic)，而不是确定性的
(deterministic)，因为我们希望能够采样出具有不同变化的输出，而不是每次得到相同的输出，对于图像数据而言，生成的图像应该具有不同的风格、角度和变化，而不是仅仅复制训练数据中的图像。如果我们的模型仅仅是一个固定的计算，例如在训练数据集中每个像素的平均值，那么它就不是生成模型，生成模型必须包含一个影响模型生成的随机因素。
换句话说，我们假设存在某种未知的概率分布，其可以解释图像在训练数据集中存在(或不存在)的合理性。生成模型的目标是构建一个尽可能精确地模仿这个分布的模型，然后从中进行采样，生成看起来像是原始训练集中可能包含的新的、独特的样本数据。

2. 生成模型与判别模型的区别

2.1 模型对比

为了了解生成模型及其重要性，首先需要介绍判别模型。假设我们有一个绘画的数据集，其中包含莫奈与一些其他艺术家的画作。通过使用足够的数据，可以训练一个判别模型，以预测给定的画作是否由莫奈绘制。判别模型能够学到画作中的颜色、形状和纹理特征，以便判断画作是否由莫奈所绘制，对于具有莫奈画作特征的绘画，模型会相应地增加其预测权重。下图展示了判别模型的构建过程：

在构建判别模型时，训练数据中的每个观测值都有一个标签 (label)。对于二分类问题，比如上述画作鉴别器，将莫奈的画作标记为 1，非莫奈的画作标记为
0。然后，判别模型学习如何区分这两组画作，并预测新数据样本属于标签 1 的概率，即样本是由莫奈绘制的概率。
而生成模型不需要数据集带有标签，因为生成模型关注的是生成新图像，而非试图预测给定图像的标签。接下来，使用公式正式定义生成模型和判别模型。

• 判别模型估计 p ( y ∣ x ) p(y|x) p(y∣x)，即在给定输入 x x x 的情况下，输出 y y y 的概率。其中 y y y 是标签， x x x 是观测值
• 生成模型估计 p ( x ) p(x) p(x)，即生成给定输入 x x x 的观测值的概率，而不考虑标签
• 判别模型关注如何根据观测值来预测标签，而生成模型关注如何根据概率分布来生成观测值
• 在判别模型中，可以使用逻辑回归、支持向量机等算法来构建模型。而在生成模型中，常使用生成对抗网络 (Generative Adversarial Networks, GAN) 或扩散模型等算法来生成新的观测值

2.2 条件生成模型

2.3 生成模型的发展

2.4 生成模型与人工智能

3. 生成模型示例

3.1 简单示例

3.2 生成模型框架

我们可以通过以下框架来表达我们构建生成模型的目标：

• 准备一组观测数据 X X X
• 假设这些观测数据是根据某一分布 p d a t a p_{data} pdata​ 生成的
• 目标是构建生成模型 p m o d e l p_{model} pmodel​，以近似 p d a t a p_{data} pdata​，如果实现了此目标，就可以从 p m o d e l p_{model} pmodel​ 中进行采样，生成看起来像是从 p d a t a p_{data} pdata​ 中抽取的观测数据

因此， p m o d e l p_{model} pmodel​ 需要包含以下属性：

• 准确性：如果 p m o d e l p_{model} pmodel​ 生成的观测样本准确性较高，则观测样本应该看起来像是从 p d a t a p_{data} pdata​ 中抽取的；如果 p m o d e l p_{model} pmodel​ 生成的观测样本准确性较低，则观测样本不应该看起来像是从 p d a t a p_{data} pdata​ 中抽取的
• 生成性：能够简单地从 p m o d e l p_{model} pmodel​ 中进行采样生成新的观测样本
• 表示性：能够理解 p m o d e l p_{model} pmodel​ 如何表示数据中不同的高级特征

• 点 A 是由模型生成的观测样本，但看起来并不像是由 p d a t a p_{data} pdata​ 生成的，因为它位于黄色区域中
• 点 B 无法由模型生成，因为它位于灰色区域之外，因此，可以说 B 为模型无法在整个可能性范围内的生成观测样本
• 点 C 是一个合理的数据样本点，因为它既可以由模型 p m o d e l p_{model} pmodel​ 生成，也可以由真实分布 p d a t a p_{data} pdata​ 生成

4. 表示学习

5. 生成模型与概率论

生成模型与概率分布的统计建模密切相关，因此，需要了解一些核心统计概念，用于解释每个生成模型的理论背景。为了充分理解要解决的任务，需要建立对基本概率理论的扎实理解，以理解不同类型的生成模型。

样本空间
样本空间 (sample space) 是观测样本 x \textbf x x
可以获取的所有值的完整集合。例如，在上述数据分布示例中，样本空间图像中的横纵坐标 ( x , y ) (x, y) (x,y) 组成。例如， x = (
40 , 10 ) \textbf x=(40,10) x=(40,10) 是样本空间中属于真实数据生成分布的一个点。

概率密度函数
概率密度函数( probability density function，或简称密度函数)是一种将样本空间中的点 x \textbf x x 映射到
0 到 1 之间的数值的函数 p ( x ) p(\textbf x) p(x)。密度函数在样本空间中所有点上的积分必须等于
1，以确保其是一个明确定义的概率分布。
在上述数据分布示例中，生成模型的密度函数在灰色框之外为 0，在灰色框内为常数，因此密度函数在整个样本空间上的积分等于 1。
虽然只有一个真实的密度函数 p d a t a ( x ) p_{data}(\textbf x) pdata​(x)
能够真正生成可观测数据集，但有无限多个密度函数 p m o d e l ( x ) p_{model}(\textbf x) pmodel​(x)
可以用来估计 p d a t a ( x ) p_{data}(\textbf x) pdata​(x)。为了能够找出合适的 p m o d e l (
x ) p_{model}(\textbf x) pmodel​(x)，可以使用参数化建模 (parametric modeling) 技术。

参数化建模
参数化建模 (parametric modeling) 是一种用来寻找合适 p m o d e l ( x ) p_{model}(\textbf
x) pmodel​(x) 的方法。参数模型 p θ ( x ) p_θ(\textbf x) pθ​(x) 是一系列密度函数，可以通过有限数量的参数
θ θ θ 来描述。
如果我们将均匀分布假设为模型簇，那么在上述数据分布示例中，我们可以绘制的所有可能框的集合就是参数化模型的一个例子。在这种情况下，我们需要四个参数：方框的左下角
( θ 1 , θ 2 ) (θ_1, θ_2) (θ1​,θ2​) 和右上角 ( θ 3 , θ 4 ) (θ_3, θ_4) (θ3​,θ4​)
的坐标。
因此，该参数模型中的每个密度函数 p θ ( x ) p_θ(\textbf x) pθ​(x) (即每个方框)可以由四个数字 θ = ( θ 1 ,
θ 2 , θ 3 , θ 4 ) θ=(θ_1, θ_2, θ_3, θ_4) θ=(θ1​,θ2​,θ3​,θ4​) 唯一的表示。

似然函数
给定某个观测样本 x \textbf x x，参数集 θ θ θ 的似然函数 L ( θ ∣ x ) L(θ|\textbf x) L(θ∣x)
是一个量度 θ θ θ 在给定观测点 x \textbf x x 处的合理性的函数，其定义如下：

由于计算 0 到 1 之间大量项的乘积可能非常困难，因此通常使用对数似然度ℓ代替：

最大似然估计
最大似然估计 (maximum likelihood estimation) 是一种估计密度函数 p θ ( x ) p_θ(\textbf x)
pθ​(x) 的参数集 θ ^ \hat θ θ^ 的方法，该参数集能够最合理的解释观测数据集 X \textbf X X，更正式的定义如下：

θ ^ \hat θ θ^ 也被称为最大似然估计 (maximum likelihood estimate,
MLE)。在上述数据分布示例中，MLE 是包含训练集中所有点的最小矩形。
神经网络通常需要最小化损失函数，等价的，我们可以找到使负对数似然最小化的参数集：

6. 生成模型分类

• 显式地对密度函数进行建模，但通过一定方式对模型进行约束，使密度函数可计算
• 显式地对密度函数的可计算近似进行建模
• 通过直接生成数据的随机过程来隐式地对密度函数进行建模

生成模型分类方式如下所示，这些模型簇并不是互斥的，有很多模型混合使用了两种及以上的不同方法。

小结

本节介绍了人工智能的一个重要分支——生成模型，介绍了生成模型理论和应用的最新进展。我们从一个简单的示例开始，了解了生成模型最终关注的是对数据的潜在分布进行建模。通过总结生成模型框架，以理解生成模型的重要属性。然后，介绍了有助于理解生成模型的理论基础和关键概率概念，并概述了生成模型的分类方法。

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓