开云体育(中国)官方网站解码器使咱们能够将生成的潜在向量映射回原始输入空间-开云平台网站皇马赞助商| 开云平台官方ac米兰赞助商 最新官网入口

发布日期：2025-09-01 11:56    点击次数：101

选自Sander Dieleman博客

机器之心编译

编订：刘欣

上个月， GPT-4o 的图像生生效力爆火，掀翻了以吉卜力风为代表的普通接头，生成式 AI 的激越再次席卷集中。

而在这股波浪背后，潜在空间（Latent Space）作为生成模子的中枢驱能源，焚烧了图像与视频创作的无穷假想。

著名推敲者 Andrej Karpathy 最近转发了一篇来自 Google DeepMind 推敲科学家 Sander Dielman 的博客著述，探讨了生成模子（如图像、音频和视频生成模子）若何通过欺诈潜在空间来提高生成效率和质料。

博客贯穿：https://sander.ai/2025/04/15/latents.html

Sander Dielman 自 2015 年加入 DeepMind 以来，参与了包括 WaveNet、AlphaGo、Imagen 3 和 Veo 在内的多个时势，涵盖深度学习、生成模子及表征学习（Representation Learning）。

在这篇著述中，他将潜在变量比方为「数据的精髓」—— 通过压缩复杂信息已毕图像、语音等生成。他还深入对比变分自编码器（VAEs）、生成抵拒集中（GANs）和扩散模子，展示了潜在变量若何解救这些模子生成传神内容。

举例，Dielman 参与设备的 WaveNet 就欺诈潜在变量生效已毕了高质料语音合成，并在谷歌多个产物中得到普通应用。他还以 VQ-VAE 为例，评释破裂潜在空间若何提高图像生成效率。

这篇著述兼具表面深度与直不雅细察，适当对生成模子感风趣的读者深入推敲。

配方

在潜在空间中闇练生成模子平素分为两个阶段：

1. 用输入信号闇练自编码器。自编码器是一个神经集中，包含两个子集中：编码器息争码器。编码器将输入信号映射到相应的潜在表征（编码），解码器则将潜在表征映射回输入域（解码）。

2. 在潜在表征上闇练生成模子。这一要领波及使用第一阶段的编码器来索要闇练数据的潜在表征，然后径直在这些潜在表征上闇练生成模子。面前主流的生成模子平素是自回顾模子或扩散模子。

一朝第一阶段闇练好了自编码器，在第二阶段其参数将不再改变：学习过程第二阶段的梯度不会反向传播到编码器中。换句话说，在第二阶段，编码器的参数会被冻结。

请珍惜，在闇练的第二阶段，自编码器的解码器部分不说明作用，但在从生成模子采样时需要用到它，因为这将生成潜在空间中的输出。解码器使咱们能够将生成的潜在向量映射回原始输入空间。

底下是评释这种两阶段闇练要领的暴露图。在相应阶段学习参数的集中标有 「∇」 象征，因为这险些老是使用基于梯度的学习要领。参数被冻结的集中标有雪花象征。

潜在生成模子的闇练要领：两阶段闇练。

在两个闇练阶段中波及几种不同的吃亏函数，这在图中以红色标出：

为确保编码器息争码器能够高保真地将输入表征迤逦为潜在向量再迤逦回来，多个吃亏函数用于握住重建（解码器输出）与输入的关系。这些平素包括肤浅的回顾吃亏、感知损树厌烦抗吃亏。为了限度潜在向量的容量，在闇练时间平素会径直对它们应用很是的吃亏函数，尽管并非老是如斯。咱们将此称为瓶颈吃亏，因为潜在表征在自编码器采汇注形成了一个瓶颈。在第二阶段，生成模子使用其自身的吃亏函数进行闇练，这与第一阶段使用的吃亏函数分开。这平素是负对数似然吃亏（用于自回顾模子）或扩散吃亏。

深入不雅察基于重建的吃亏函数，咱们有以下几种：

回顾吃亏：巧合是在输入空间（举例像素空间）中测量的平均总共过失（MAE），但更常见的是均方过失（MSE）。感知吃亏：局势各样，但平素欺诈另一个冻结的预闇练神经集中来索要感知特征。该吃亏函数饱读舞重建和输入之间的这些特征相匹配，从而更好地保留回顾吃亏大多淡薄的高频内容。对于图像处理，LPIPS 是一种流行的取舍。抵拒吃亏：使用与自编码器协同闇练的判别集中，类似于生成抵拒集中（GAN）的要领。判别集中厚爱离别真实输入信号和重建信号，而自编码器则致力诈欺判别集中使其出错。目的是提高输出的真实性，即使这意味着进一步偏离输入信号。在闇练驱动时，平素会暂时禁用抵拒吃亏，以幸免闇练过程中的不强健。

以下是一个更翔实的暴露图，展示了第一阶段的闇练过程，并明确炫耀了在此过程中平素说明作用的其他集中。

这是第一闇练阶段的更翔实版块的图，展示了通盘参与的集中。

不言而谕，这个通用要领在音频和视频等应用中时常会有各样变体，但我试图总结出在大多数当代践诺应用中常见的主要元素。

咱们是若何走到这一步的

如今，自回顾和扩散模子这两种主要的生成模子范式，开端齐是应用于「原始」数字感知信号的，即像素（pixels）与波形（waveforms）。举例，PixelRNN 和 PixelCNN 是逐像素生成图像的，而 WaveNet 和 SampleRNN 则是逐样本生成音频波形的。在扩散模子方面，开端引入和成立这种建规范式的作品齐是通过像素来生成图像的，早期的推敲如 WaveGrad 和 DiffWave 则是通过生成波形来产生声息的。

关联词，东说念主们很快意志到这种战略在彭胀性方面存在很大挑战。其主要原因可以轮廓为：感知信号大多由不可察觉的噪声组成。换句话说，在给定信号的总信息量中，只须一小部分确凿影响咱们的感知。因此，确保咱们的生成模子能够高效欺诈其容量，并专注于建模这一小部分信息诟谇常遑急的。这么，咱们就可以使用更小、更快且更低廉的生成模子，同期不松手感知质料。

潜在自回顾模子

跟着具有里程碑意旨的 VQ-VAE 论文的发表，图像自回顾模子取得了精深飞跃。该论文提议了一种实用战略，通过在自编码器中插入矢量量化瓶颈层，欺诈神经集中学习破裂表征。为了学习图像的破裂潜在表征，一个具有多个下采样阶段的卷积编码器生成了一个矢量的空间网格，其分辨率比输入图像低 4 倍（在高度和宽度上均为输入图像的 1/4，因此空间位置减少了 16 倍），然后这些矢量通过瓶颈层进行量化。

现在，咱们可以使用类似 PixelCNN 的模子一次生成一个潜在向量，而不是逐像素生成图像。这显耀减少了所需的自回顾采样要领数目，但更遑急的是，在潜在空间而不是像素空间中测量似然吃亏，有助于幸免在不可察觉的噪声上花费模子容量。这践诺上是一种不同的吃亏函数，更侧重于感知相关的信号内容，因为很多感知无关的信号内容在潜在向量中并不存在（对于这个问题，可以参阅我在典型性方面的博客著述）。该论文展示了从在 ImageNet 上闇练的模子生成的 128×128 图像，这种分辨率在那时只须 GANs 才气达到。

破裂化对于其生效至关遑急，因为那时的自回顾模子在破裂输入下阐发更好。但大要更遑急的是，潜在表征的空间结构使得现存的基于像素的模子可以终点容易地进行适配。在此之前，变分自编码器（VAEs）平素会将通盘图像压缩到一个单一的潜在向量中，导致表征莫得任何拓扑结构。当代潜在表征的网格结构与「原始」输入表征的网格结构相镜像，生成模子的集中架构欺诈这种结构来提高效率（举例，通过卷积、轮回或重见解层）。

VQ-VAE 2 进一步将分辨率提高到 256×256，并通过扩大鸿沟和使用多眉目的潜在网格（以眉目化结构组织）显耀提高了图像质料。随后，VQGAN 将 GANs 的抵拒学习机制与 VQ-VAE 架构相结合。这使得分辨率镌汰因子从 4 倍增多到 16 倍（与像素输入比较，空间位置减少了 256 倍），同期仍然能够生成机敏且传神的重建图像。抵拒吃亏在其中说明了遑急作用，即使无法详尽征服原始输入信号，也能饱读舞生成传神的解码器输出。

VQGAN 成为近五年来咱们在感知信号生成建模方面取得快速进展的中枢技艺。其影响若何强调齐不为过 —— 我致使可以说，这可能是 GANs 在 2024 年 NeurIPS 大会上取得「时候考验奖」的主要原因。VQGAN 论文提供的「助攻」，使 GANs 即使在被扩散模子险些完全取代用于媒体生成的基础任务之后，依然保执着相关性。

值得一提的是，上一节中提到的很多要领在这个论文中齐被构想出来了。如今，迭代生成器平素不是自回顾的（Parti、xAI 最近的 Aurora 模子以及 OpenAI 的 GPT-4o 是显耀例外），量化瓶颈也被替代了，但其他一切齐还在。尤其是肤浅的回顾吃亏、感知损树厌烦抗吃亏的组合，尽管看似复杂，却一直强硬地存在。在快速发展的机器学习鸿沟，这种执久性极为苦楚 —— 也许只须基本未变的 Transformer 架构和 Adam 优化器能与之比好意思！

（诚然破裂表征在使潜在自回顾模子在大鸿沟应用中说明作用方面至关遑急，但我想指出，最近一语气空间中的自回顾模子也取得了精良的效果。）

潜在扩散

跟着潜在自回顾模子在 2010 年代后期逐渐崭露头角，以及扩散模子在 2020 年代初期取得冲破，将这两种要领的上风相结合成为了义正辞严的下一步。如同很多应时而生的想法一样，咱们在 2021 年下半年见证了一系列探讨这一主题的论文在 arXiv 上接连发布。其中最为东说念主熟知的是 Rombach 等东说念主的《High-Resolution Image Synthesis with Latent Diffusion Models》，他们沿用了先前的 VQGAN 推敲效果，并将自回顾 Transformer 换成基于 UNet 的扩散模子，这一效果组成了强健扩散模子的基础。其他相关责任诚然鸿沟较小，或者针对的诟谇图像类数据，但也进行了类似探索。

这种要领主流化花了点时候。早期买卖文生图模子使用所谓分辨率级联，即基础扩散模子径直在像素空间生成低分辨率图像，一个或多个上采样扩散模子则基于低分辨率输入生成高分辨率输出。典型例子包括 DALL-E 2 和 Imagen 2。强健扩散模子问世后，大多转为基于潜在空间的要领（包括 DALL-E 3 和 Imagen 3）。

自回顾模子和扩散模子一个要害区别在于闇练所用的吃亏函数。自回顾模子闇练相对肤浅，最大化似然即可（尽管曾经尝试过其他要领）。扩散模子则复杂些，其吃亏函数是针对通盘噪声级别的生机，这些噪声级别的相对权重显耀影响模子学习内容。这为将典型的扩散吃亏解释为一种感知吃亏函数提供了依据，这种吃亏函数更强调在感知上更为显耀的信号内容。

初看之下，这会让两阶段要领显得弥散，因其与扩散吃亏函数的样貌类似，即过滤掉感知无关信号内容，幸免花费模子容量。但践诺中这两种机制相配互补，原因如下：

小圭臬和大圭臬下的感知责任机制似乎有压根区别，尤其是视觉鸿沟。举例，建模纹理和细粒度细节需要单独处理，抵拒要领可能更适当。我将鄙人文翔实接头。闇练大型强劲扩散模子计较密集，使用更紧凑的潜在空间可幸免处理艰巨的输入表征，有助于减少内存需求，加速闇练和采样速率。

早期照实有责任尝试端到端要领，统一学习潜在表征和扩散先验，但未流行。尽管从实用角度看，幸免多阶段闇练的序列依赖是可取的，但感知和计较上风使这些穷苦值得。

为什么需要两个阶段？

如前所述，确保感知信号的生成模子能够高效欺诈其容量至关遑急，因为这能使它们更具资本效益。这基本上等于两阶段要领所已毕的宗旨：通过索要更紧凑的表征，专注于信号内容中与感知相关部分，并对这一表征进行建模而非原始表征，咱们能够使相对较小的生成模子说明突出其鸿沟的效果。

大多数感知信号中的信息践诺上在感知上并不遑急，这并非新发现：这亦然有损压缩背后的要害想想，它使咱们能够以更低的资本存储和传输这些信号。像 JPEG 和 MP3 这么的压缩算法欺诈了信号中的冗余以及咱们对低频比高频更明锐的事实，从而用更少的比特表征感知信号。（还有其他感知效应，举例听觉掩藏，但非均匀的频率明锐性是最遑急的。）

那么，咱们为什么不以这些有损压缩技艺为基础来构建生成模子呢？这并非一个坏主意，一些推敲照实为此目的使用了这些算法或其部分组件。但咱们很自然地倾向于用更多的机器学习来处置问题，望望是否能突出这些 “手工遐想” 的算法。

这不单是是机器学习推敲者的娇傲：践诺上，使用学习得到的潜在表征而非事先存在的压缩表征有一个终点好的根由。与压缩设立不同，在压缩设立中越小越好，尺寸是独一遑急的因素，生成建模的宗旨还施加了其他握住：某些表征比其他表征更容易建模。至关遑急的是，表征中保留了一些结构，咱们可以通过赋予生成模子适当的归纳偏置来加以欺诈。这一要求在重建质料和潜在表征的可建模性之间创造了衡量，咱们将鄙人一节中探讨这少许。

潜在表征灵验性的另一个遑急原因是它们若何欺诈咱们感知在不同圭臬上不同责任的事实。在音频鸿沟，这少许显而易见：幅度的快速变化会产生音高的感知，而在较粗时候圭臬上的变化（举例饱读点）则可以被单独辨认。鲜为东说念主知的是，这种欢快在视觉感知中也饰演着遑急扮装：激情和强度的快速局部波动被感知为纹理。我曾在 Twitter 上尝试解释这少许，并在此处改写该解释：

一种想考样貌是纹理与结构的对比，或者巧合东说念主们称之为东西与物体的对比。

在一张狗在田园中的图像里，草的纹理（东西）是高熵的，但咱们不善于感知这种纹理各个实例间的互异，咱们只是将其感知为不可数的「草」。咱们无需一一把每一根草叶看在眼里，就能细目咱们看到的是田园。

这种纹理的已毕淌若稍有不同，咱们平素无法察觉，除非把图像径直叠在全部。用抵拒自编码器作念实验很风趣：当把原始图像和重建图像比肩放在全部比较时，它们时常看起来一模一样。但淌若把它们叠在全部，往复切换检察，时常会发现图像之间的互异，尤其是在纹理丰富的区域。

对于物体（有形的东西）来说，情况则不同，举例狗的眼睛，类似进度的互异会坐窝披露馅来。 一个好的潜在表征会抽象化纹理，但尽量保留结构。这么一来，在重建中对草纹理的阐发可以与原始不同，而不会彰着影响重建的保真度。这使得自编码器能够断念很多模式（即袪除纹理的其他阐发局势），并在其潜在空间中更简约地表征该纹理的存在。

这反过来也应该使潜在空间中的生成建模变得更容易，因为它现在可以对纹理的有无进行建模，而无需捕捉与该纹理相关的通盘复杂变化。

一张狗在田园中的图片。图片的上半部分熵值很低：组成太空的像素可以从其相邻像素中很容易地瞻望出来。而下半部分熵值很高：草地的纹理使得隔邻的像素很难被瞻望。

由于两阶段要领提供的显耀效率提高，咱们似乎应承忍耐它带来的很是复杂性 —— 至少咫尺是这么。这种效率的提高不仅使闇练运行更快、更低廉，而且更遑急的是，它还可以大大加速采样。对于引申迭代细化的生成模子来说，这种显耀的资本镌汰终点受迎接，因为生成单个样本需要屡次通过模子进行前向传播。

衡量重建质料和可建模性

深入探讨有损压缩和潜在表征学习之间的互异是值得的。诚然机器学习可以用于两者，但如今普通使用的大多数有损压缩算法并莫得使用机器学习。这些算法平素基于率失真义论，该表面局势化并量化了咱们能够压缩信号的进度（率）与咱们允许解压缩信号与原始信号偏离的进度（失真）之间的关系。

对于潜在表征学习，咱们可以通过引入可建模性或可学习性的观念来彭胀这种衡量，该观念形色了生成模子捕捉这种表征散布的难度。这导致了一个三方的率失真可建模性衡量，这与 Tschannen 等东说念主在表征学习的配景下接头的率失真有用性衡量密切相关。（在机器学习配景下，另一种流行的彭胀这种衡量的样貌是率失真感知衡量，它明确离别了重建保真度和感知质料。为了幸免过于复杂，我在这里不会作念这种离别，而是将失真视为在感知空间中测量的量，而不是输入空间。）

为什么这致使是一个衡量并不立即显而易见 —— 为什么可建模性与失真相冲突？要贯通这少许，谈判有损压缩算法的责任样貌：它们欺诈已知的信号结构来减少冗余。在这个过程中，这种结构平素从压缩表征中被移除，因为解压缩算法能够重建它。但输入信号中的结构也在当代生成模子中被普通欺诈，举例以架构归纳偏差的局势，这些偏差欺诈信号属性，如平移等变性或频率谱的特定特征。

淌若咱们有一个神奇的算法，能够高效地从输入信号中移除险些通盘冗余，咱们将使生成模子捕捉压缩信号中剩余的无结构变异性变得终点坚苦。淌若咱们的宗旨只是是压缩，这是完全可以的，但淌若咱们要进行生成建模，就不是这么了。因此，咱们必须找到一个均衡：一个好的潜在表征学习算法会检测并移除一些冗余，但同期也会保留一些信号结构，以便为生成模子留住一些可以欺诈的东西。

在这种情况下，一个不好的例子是熵编码，它践诺上是一种无损压缩要领，但也被用作很多有损决策的终末阶段（举例 JPEG/PNG 中的霍夫曼编码，或 H.265 中的算术编码）。熵编码算法通过为时常出现的模式分派更短的表征来减少冗余。这并莫得移除任何信息，但它窒碍了结构。因此，输入信号中的小变化可能导致相应的压缩信号发生更大的变化，从而使熵编码序列的建模难度大大增多。

比较之下，潜在表征倾向于保留大批的信号结构。底下的图展示了一些图像的 Stable Diffusion 潜在表征的可视化（取自 EQ-VAE 论文）。仅通过视觉查验潜在表征，就可以很容易地识别迁徙物。它们基本上看起来像是带有污蔑激情的噪声低分辨率图像。这等于为什么我心爱将图像潜在表征视为只是是「高等像素」，捕捉了一些普通像素不会捕捉的很是信息，但大部分仍然像像素一样阐发。

从几幅图像中索要的 Stable Diffusion 潜在表征的可视化，取自 EQ-VAE 论文。潜在空间的前三个主身分分别对应于激情通说念。从潜在表征的视觉查验中，图像中的动物仍然大多可以被识别出来，这标明编码器保留了大批原始信号的结构。

可以说，这些潜在表征相配低眉目。传统的变分自编码器（VAE）会将通盘图像压缩成一个特征向量，平素会得到一个能够进行语义操作的高等表征，而当代用于图像生成建模的潜在表征践诺上更接近像素层面。它们具有更高的容量，袭取了输入的网格结构（尽管分辨率较低）。网格中的每个潜在向量可能会抽象掉一些低眉目的图像特征，举例纹理，但它并莫得捕捉到图像内容的语义。这亦然为什么大多数自编码器并不使用任何很是的条目信号，举例翰墨形色，因为这些信号主要握住的是高眉目的结构（尽管也有例外）。

可控性

两个要害的遐想参数限度着具有网格结构的潜在空间的容量：下采样因子和表征的通说念数。淌若潜在表征是破裂的，码本大小也很遑急，因为它对潜在表征能够包含的信息位数施加了一个硬性限度。（除了这些，正则化战略也起着遑急作用，但咱们将鄙人一节接头它们的影响。）

以一个示例来说，编码器可能会接受一张 256×256 像素的图像作为输入，并生成一个带有 8 个通说念的 32×32 一语气潜在向量网格。这可以通过使用跨步卷积堆栈或补丁大小为 8 的视觉迤逦器（ViT）来已毕。降采样因子会同期镌汰宽度和高度宗旨的维度，因此潜在向量的数目比像素少 64 倍 —— 但每个潜在向量有 8 个重量，而每个像素只须 3 个（RGB）。

总体而言，潜在表征的张量组件数目（即浮点数）比表征原始图像的张量少。我心爱将这个数字称为张量尺寸缩减因子（TSR），以幸免与空间或时候降采样因子欺侮。

展示文本中形色的输入和潜在维度的暴露图。

淌若咱们把编码器的下采样因子增多 2 倍，潜在网格的大小就会变成 16×16，然后咱们可以把通说念数增多 4 倍到 32 个通说念，以保执同样的 TSR（总空间冗余）。对于给定的 TSR，平素有几种不同的配置在重建质料方面阐发得大约相配，尤其是在视频的情况下，咱们可以分别限度时候和空间的下采样因子。关联词，淌若咱们改变 TSR（通过改变下采样因子而不改变通说念数，或者反之），这平素会对重建质料和可建模性产生深刻的影响。

从纯数学角度来看，这是令东说念主惊诧的：淌若潜在变量是实值的，网格的大小和通说念的数目就不应该相相关，因为单个数字的信息容量照旧是无穷的（这被 Tupper 的自指公式玄机地评释注解了）。但自然，有一些践诺的限度因素限度了潜在表征的单个组成部分能够佩戴的信息量：

咱们使用浮点数来表征实数，而浮点数的精度是有限的；在很多公式中，编码器会添加一定量的噪声，这进一步限度了灵验的精度；神经集中并不擅长学习其输入的高非线性函数。

第一个原因显而易见：淌若用 32 位（单精度）来表征一个数字，那么它最多也只可传递 32 位的信息。加入噪声会进一步减少可用的位数，因为一些低位数字会被噪声笼罩。

终末一个限度其实更为严格，但咫尺贯通还不够充分：难说念神经集中不等于为了学习非线性函数吗？照实如斯，但神经集中自然倾向于学习相对肤浅的函数。这平素是一个优点，而不是瑕玷，因为它增多了学习到的函数能够泛化到未见数据的概率。但淌若咱们要把大批信息压缩到几个数字中，这很可能需要高度的非线性。诚然有一些要领可以匡助神经集中学习更复杂的非线性函数（举例傅里叶特征），但在咱们的场景中，高度非线性的映射践诺上会对可建模性产生负面影响：它们会笼罩信号结构，因此这不是一个好的处置决策。具有更多组件的表征会提供更好的衡量。

同样的风趣风趣也适用于破裂潜在表征：破裂化对表征的信息内容设定了一个硬性上限，然则否能够高效地欺诈这一容量主要取决于编码器的抒发才略以及量化战略在践诺中的效果（即是否通过尽可能均匀地使用不同码字来已毕高码本欺诈率）。咫尺最常用的仍然是 VQ-VAE 中的原始 VQ 瓶颈，但最近一种通过「旋转技能」提供更好梯度臆想的纠正要领在码本欺诈率和端到端性能方面似乎很有出息。一些不使用显式学习码本的替代决策也逐渐受到关怀，举例有限标量量化（FSQ）、无查找量化（LFQ）和二进制球面量化（BSQ）。

总结来说，取舍合适的 TSR（总空间冗余）至关遑急：更大的潜在表征能够带来更好的重建质料（更高的率，更低的失真），但可能会对可建模性产生负面影响。更大的表征意味着有更多的信息位需要建模，因此需要生成模子具备更高的容量。在实践中，这种衡量平素是通过教养来调停的。这可能是一个资本较高的过程，因为咫尺还莫得任何可靠且计较资本低的可建模性代理盘算推算。因此，需要反复闇练足够大的生成模子才气得到特意旨的结果。

Hansen-Estruch 等东说念主最近对潜在空间容量过火各样影响因素进行了普通的探索（他们的要害发现已在文中明确隆起炫耀）。咫尺有一个趋势是增多空间下采样因子，并相应地增多通说念数以保执 TSR，以便在更高分辨率下进行图像和视频生成（举例 LTX-Video 中的 32×、GAIA-2 中的 44×，以及 DCAE 中的 64×）。

梳理和塑造潜在空间

到咫尺为止，咱们照旧接头了潜在表征的容量，即应该在其中包含若干位信息。同样遑急的是，要精准限度原始输入信号中的哪些位信息应该被保留在潜在表征中，以及这些信息是若何呈现的。我将前者称为梳理潜在空间，后者称为塑造潜在空间 —— 这种离别诚然秘要，但很遑急。很多正则化战略照旧被遐想出来，用于塑造、梳理和限度潜在表征的容量。我将专注于一语气情况，但其中很多谈判同样适用于破裂潜在表征。

VQGAN 与 KL 正则化潜变量

Rombach 等东说念主提议了两种针对一语气潜在空间的正则化战略：

征服原始 VQGAN 的遐想理念，并将量化要领重新解释为解码器的一部分（而非编码器的一部分），从而取得一语气潜在表征（即 VQ 正则化，VQ-reg）；完全移除 VQGAN 中的量化操作，转而像规范变分自编码器（Variational Autoencoder，VAE）那样引入 KL 散度刑事包袱项（即 KL 正则化，KL-reg）。

这种只对 VQGAN 作出最小调动、以适配扩散模子（Diffusion Model）而生成一语气潜变量的想路可谓玄机：此类结构在自回顾模子（Autoregressive Model）中阐发精良，而闇练过程中的量化要领也起到了某种「安全阀」作用，防护潜变量佩戴过多的信息。

关联词，正如咱们之前所接头的，这种机制在多数情况下可能并非确凿必要，因为编码器的抒发才略时常才是生成模子性能的瓶颈所在。

比较之下，KL 正则化自己是传统 VAE 架构的中枢组成部分：它是组成笔据下界（Evidence Lower Bound，ELBO）的两项吃亏之一。ELBO 是对数据似然的下界，用于转折地、但在数值上可行地最大化样本的对数似然。该项正则化饱读舞潜变量死守某一预设先验散布（平素为高斯散布）。

但要害在于，ELBO 仅在 KL 项前未引入缩放超参数（scale parameter）的前提下，才是确凿意旨上的似然下界。关联词在践诺应用中，为了闇练强健性及重建质料的谈判，KL 正则项险些老是被大幅缩放（平素缩小几个数目级），这险些堵截了它与变分推断原始语境之间的运筹帷幄。

形成这一调停的原因也很径直：未经缩放的 KL 项具有过强的限度作用，会显耀压缩潜在空间的容量，继而严重影响图像重建质料。出于工程可行性上的谈判，业界普遍的作念法是显耀镌汰其在总吃亏函数中的权重。

（趁机提一下：在某些更关怀语义可解释性或潜变量解耦（disentanglement）质料、而非重建效果的任务中，增多 KL 权重亦然一种灵验且常见的战略，举例 β-VAE）。

接下来属于彰着的主不雅不雅点，但我以为面前对于 KL 项效果的接头中还存在相配多的 “深重化想维”。举例，KL 项被普通以为能疏导潜变量死守高斯散布 —— 关联词在践诺应用中的缩放因子下，这一效果微弱到险些可以忽略。即使是在 “确凿的” VAE 中，总体后验散布（aggregate posterior）也很少呈现出规范高斯形态。

因此，在我看来，「VAE」中阿谁「V」（即 「Variational」，变分）如今险些已失去实质意旨 —— 其存介意旨更多是历史留传。与其如斯，咱们倒不如将这类模子称为「KL 正则化自编码器」（KL-regularised autoencoders），这在观念上对面前主流实践更贴切。

在这种设定下，KL 项最主要的作用，是遏止潜变量散布中的离群点，并在一定进度上握住其数值圭臬。换句话说：尽管 KL 项平素被算作限度潜变量容量的机制来论说，其在现实中起到的作用，更多是对潜变量局势的轻度限度 —— 而这种限度也远莫得假想中那么强。

调停重建吃亏

重建吃亏的「三件套」（即回顾吃亏（regression loss）、感知吃亏（perceptual loss）与抵拒吃亏（adversarial loss））在最猛进度提高重建信号质料方面无疑说明着要害作用。

关联词，值得进一步推敲的是，这些吃亏项若何影响潜在变量（latents），罕见是在「内容筛选」（curation，即潜变量学会编码哪些信息）方面的作用。如第 3 节（为什么需要两个阶段？）所接头的，在视觉鸿沟中，一个精良的潜在空间应在一定进度上已毕对纹理的抽象（abstraction）。这些吃亏是若何匡助已毕这一宗旨的？

一个有启发性的想维实验是，假定咱们将感知损树厌烦抗吃亏去除，仅保留回顾吃亏，如传统的变分自编码器（VAE）所聘请的作念法。这种设立平素会导致浑沌的重建结果。回顾吃亏在遐想上不会偏向于特定类型的信号内容，因此在图像任务中，时常会更关怀于低频信息，原因只是是这种信息在图像中占比较大。

在自然图像中，不同空间频率的能量平素与其频率的平方成反比 —— 频率越高，能量越小（相关该欢快的图示分析，请参阅我先前的博文）。由于高频身分在总信号能量中所占比例极小，因此使用回顾吃亏机，模子更倾向于准确地瞻望低频重量，而非高频部分。

关联词，从东说念主类感知的角度看，高频信息的主不雅遑急性远远高于它们在信号能量中所占的比例，这也就导致了人人熟知的「浑沌感」重建结果。

图片来自 VQGAN 论文。与仅使用回顾吃亏闇练的 DALL-E VAE 的对比展示了感知与抵拒吃亏所带来的显耀影响。

由于纹理主要由这些高频身分组成，而回顾吃亏险些忽略这些高频信息，最终咱们得到的潜在空间不仅无法作念出纹理抽象，反而是径直抹去了与纹理相关的信息。从感知质料的角度讲，这是一种很差的潜在空间结构。这也径直评释了感知吃亏与抵拒吃亏的遑急性：它们确保潜在变量中能够编码一定的纹理信息。

既然回顾吃亏具有上述这些不睬想的性质，况且时常需要其他吃亏项来加以弥补，那咱们是否可以干脆将其完全断念呢？事实评释注解，这种作念法也不可行。因为感知吃亏与抵拒吃亏的优化过程更为复杂，且容易堕入病态的局部最优解（毕竟，这些吃亏平素是基于预闇练神经集中构建的）。在闇练过程中，回顾吃亏起到某种「正则化器」的扮装，执续为优化过程提供握住与指引，幸免模子堕入无理的参数空间。

面前已有诸多战略尝试聘请不同局势的重建吃亏，以下仅列举部分文件中的实例，展示该宗旨的各样性：

前文提到的 DCAE46 模子，其要领在举座上与原始的 VQGAN 配方互异不大，只是将 L2 回顾吃亏（均方过失，MSE）替换为 L1 吃亏（平均总共过失，MAE）。它依然保留了 LPIPS 感知吃亏（Learned Perceptual Image Patch Similarity）以及 PatchGAN49 判别器。该要领的不同之处在于其聘请了多阶段闇练，仅在终末阶段启用抵拒吃亏。ViT-VQGAN50 模子结合了两种回顾吃亏：L2 吃亏与 logit-Laplace 吃亏 51，并使用 StyleGAN52 判别器以及 LPIPS 感知吃亏。LTX-Video44 模子引入了一种基于破裂小波变换（Discrete Wavelet Transform，DWT）的「视频感知吃亏」，并提议了其私有的抵拒吃亏战略，称为 reconstruction-GAN。

正如经典菜肴千东说念主千味，在这种「配方」问题上，每位推敲者齐有各自的解法！

表征学习 vs 重建

此前咱们探讨的诸多遐想取舍，不仅影响重建质料，同期也深刻影响所学习的潜在空间的性质。其中，重建吃亏事实上承担了双重负务：既保证了解码器输出的高质料，又在潜在空间的形成中说明了要害作用。这不禁引出一个问题：像咱们现在这么「一箭双鵰」的作念法，确切合适吗？我以为谜底是狡赖的。

一方面，为生成建模（generative modelling）学习出精良且紧凑的表征；另一方面，将这一表征解码回原始输入空间，这其实是两项截然有异的任务。而当代自动编码器平素被生机能同期完成这两项任务。

尽管从实践角度看，这种作念法效果相配可以，无疑也简化了过程（毕竟自动编码器闇练照旧是完整系统中第一阶段的闇练部分，咱们自然但愿尽可能幸免进一步复杂化，尽管闇练多个阶段的自动编码器也并非绝世超伦。但这一要领实则欺侮了两个任务，其间某些适用于一个任务的遐想，大要在另一个任务上并不睬想。

当解码器聘请自回顾架构时，这种任务合并的问题尤为隆起，因此咱们提议使用一个独处的非自回顾（non-autoregressive）缓助解码器（auxiliary decoder）来为编码器提供学习信号。

主解码器（main decoder）则完全不会影响潜在表征，因为其梯度在闇练中不会反传至编码器。这使其专注于优化重建质料，而缓助解码器则承担起潜在空间的塑造任务。通盘自动编码器各组件仍可统一闇练，因此增多的闇练复杂度终点有限。诚然缓助解码器会增多闇练资本，但它在闇练完成后即可被断念。

这种带有两个解码器的自动编码器结构中：主解码器仅用于重建，其梯度不回传到编码器（平素咱们用虚线来暴露这少许）缓助解码器则专注于构建潜在空间，它可以聘请不同的架构、优化不同的吃亏函数，或者两者兼容并包。

尽管咱们在那篇论文中使用自回顾解码器来处理像素空间的想法，如今照旧不再适用（可以说很分歧时宜），但我仍然确信将表征学习与重建任务分开的这一战略在面前仍具有高度相关性。

一个缓助解码器，淌若它优化的是另一种吃亏，或者聘请了与主解码器不同的架构（抑或两者兼具），就可能为表征学习提供更灵验的闇练信号，从而带来更优的生成建模效果。

Zhu 等东说念主最近也得出了同样的论断（见其论文第 2.1 节），他们使用 K-means 对 DINOv2 索要的特征进行破裂化建模，并结合一个单独闇练的解码器。在生成建模中复用自监督学习（self-supervised learning）得到的表征，这一想路在音频建模鸿沟早已较为普遍 —— 可能是因为音频鸿沟推敲者正本就民风于闇练声码器（vocoder），将预界说的中间表征（举例梅尔频谱图）迤逦回波形信号。

通过正则化提高模子才略

对潜在变量容量的塑造、梳理和限度齐会影响其可建模性：

容量限度决定了潜在变量中的信息量。容量越高，生成模子就必须越强劲，才气充分捕捉其包含的通盘信息；塑造对于已毕高效建模至关遑急。同样的信息可以用多种不同的样貌表征，有些样貌比其他样貌更容易建模。缩放和规范化对于正确建模至关遑急（尤其是对于扩散模子而言），但高阶统计量和相关结构也同样遑急；梳搭理影响可建模性，因为某些类型的信息比其他类型的信息更容易建模。淌若潜在变量编码了输入信号中不可瞻望的噪声信息，那么它们的可瞻望性也会镌汰。

以下是一条风趣的推文，展示了这若何影响强健扩散 XL VAE：

图源：https://x.com/rgilman33/status/1911712029443862938

在这里，我想将其与 Xu et al. 提议的 V-information 运筹帷幄起来，它彭胀了互信息的观念，使其能够谈判计较握住。换句话说，信息的可用性取决于不雅察者辨认信息的计较难度，咱们可以尝试量化这少许。淌若一条信息需要强劲的神经集中来索要，那么输入中的 V-information 量就会低于使用肤浅线性探伤的情况 —— 即使以比特为单元的总共信息量同样。

明白，最大化潜在表征的 V-information 量是可取的，以便最大礼貌地镌汰生成模子贯通潜在表征所需的计较需求。我之前提到的 Tschannen et al. 形色的速率 - 失真 - 实用性衡量也解救同样的论断。

如前所述，KL 刑事包袱对高斯化或平滑潜在空间的作用可能不如很多东说念主以为的那么大。那么，咱们可以作念些什么来使潜在模子更容易建模呢？

使用生成先验：与自动编码器共同闇练一个（轻量级）潜在生成模子，并通过将生成吃亏反向传播到编码器中，使潜在模子易于建模，就像在 LARP 或 CRT 中一样。这需要仔细调停吃亏权重，因为生成损构怨重构吃亏相互矛盾：当潜在模子完全不编码任何信息时，它们最容易建模！使用预闇练的表征进行监督：饱读舞潜在模子对现存高质料表征（举例 DINOv2 特征）进行瞻望，就像在 VA-VAE、MAETok 或 GigaTok 中一样。饱读舞等变性：使输入的某些变换（举例重缩放、旋转）产生相应的潜在表征，这些表征也进行类似变换，就像在 AuraEquiVAE、EQ-VAE 和 AF-VAE 中一样。我在第 4 部分中使用的 EQ-VAE 论文中的图表展示了这种握住对潜在空间的空间平滑度产生的深刻影响。Skorokhodov et al. 基于潜在空间的谱分析得出了同样的论断：等变性正则化使潜在谱与像素空间输入的谱更相似，从而提高了可建模性。

这只是一些可能的正则化战略的一小部分，通盘这些战略齐试图以某种样貌增多潜在向量的 V-information。

向下扩散

一类用于学习潜在表征的自编码器值得深入推敲：带有扩散解码器的自编码器。诚然更典型的解码器架构聘请前馈集中，该集中在一次前向传递中径直输出像素值，况且聘请抵拒式闇练，但一种越来越流行的替代决策是使用扩散来完成潜在解码任务以及对潜在表征的散布进行建模。这不仅会影响重构质料，还会影响学习到的表征类型。

SWYCC、ϵ-VAE 和 DiTo 是近期一些探索这种要领的推敲效果，它们从几个不同的角度论说了这一要领：

使用扩散解码器学习的潜在特征提供了一种更具原则性、表面基础的层级生成建模要领；它们可以仅使用 MSE 吃亏进行闇练，这简化了过程并提高了鲁棒性（毕竟抵拒性吃亏的调停相配辣手）；将迭代纠正的旨趣应用于解码可以提高输出质料。

我无法反驳这些不雅点，但我照实想指出扩散解码器的一个显耀流毒：它们的计较资本过火对解码器延伸的影响。我以为，咫尺大多数买卖部署的扩散模子齐是潜在模子的一个要害原因是：紧凑的潜在表征有助于咱们幸免在输入空间进行迭代细化，而这种作念法既慢又贵。在潜在空间中引申迭代采样过程，然后在终末通过一次前向传播回到输入空间，速率要快得多。谈判到这少许，在我看来，在解码任务中重新引入输入空间迭代细化，在很猛进度上拒抗了两阶段要领的初志。淌若咱们要付出这么的代价，不妨取舍一些肤浅的扩散要领来彭胀单阶段生成模子。

你可能会说，别急 —— 咱们难说念不成使用稠密扩散蒸馏要领来减少所需的要领数吗？在这么的设立中，由于具有终点丰富的条目信号（即潜在表征），这些要领照实被评释注解是灵验的，致使在单步采样机制下亦然如斯：条目越强，取得高质料蒸馏结果所需的要领就越少。

DALL-E 3 的一致性解码器等于一个很好的实践案例：他们重用了强健扩散潜在空间，并闇练了一个基于扩散的新解码器，然后通过一致性蒸馏将其精简为仅两个采样要领。诚然在延伸方面，它的支出仍然比原始抵拒解码器更高，但输出的视觉保真度得到了显耀提高。

DALL-E 3 基于 Stable Diffusion 潜在空间的一致性解码器显耀提高了视觉保真度，但代价是延伸更高。

Music2Latent 是这种要领的另一个例子，它基于音乐音频的声谱图表征进行操作。它们的自编码器带有一致性解码器，聘请端到端闇练（不同于 DALL-E 3 的自编码器，后者复用了预闇练的编码器），况且能够一步生成高保真输出。这意味着解码过程再次只需要一次前向传递，就像抵拒性解码器一样。

FlowMo 是一款带有扩散解码器的自编码器，它使用后闇练阶段来饱读舞模式搜索举止。如前所述，对于解码潜在表征的任务，丢失模态以及专注于真实性而非各样性践诺上是可取的，因为它需要的模子容量较少，况且不会对感知质料产生负面影响。抵拒性吃亏时常会导致模态丢失，但基于扩散的吃亏则不会。这种两阶段闇练战略使扩散解码器能够模拟这种举止 —— 尽管仍然需要大批的采样要领，因此计较资本远高于典型的抵拒性解码器。

一些早期对于扩散自编码器的推敲，举例 Diff-AE 和 DiffuseVAE，更侧重于学习类似于旧式 VAE 的高等语义表征，莫得拓扑结构，况且珍惜可控性息争耦。DisCo-Diff 介于两者之间，它欺诈一系列破裂潜在表征来增强扩散模子，这些潜在表征可以通过自回顾先验建模。

排斥抵拒闇练的必要性无疑会简化事情，因此扩散自编码器在这方面是一个风趣（最近也相配流行）的推敲鸿沟。关联词，在延伸方面，与抵拒性解码器竞争似乎颇具挑战性，是以我以为咱们还莫得准备好撤消它们。我终点期待一个更新的决策：它不需要抵拒性闇练，但在视觉质料和延伸方面却能与面前的抵拒解码器相比好意思！

网格统领一切

感知模态的数字表征平素聘请网格结构，因为它们是底层物理信号的均匀采样（和量化）版块。图像产生二维像素网格，视频产生三维网格，音频信号产生一维网格（即序列）。均匀采样意味着相邻网格位置之间存在着固定的量子（即距离或者时候量）。

从统计意旨上讲，感知信号在时候和空间上也趋于近似自如。与均匀采样相结合，这产生了丰富的拓扑结构，咱们在遐想用于处理它们的神经集中架构时会充分欺诈这种结构：使用普通的权重分享来欺诈不变性和等变性等特质，这些特质通过卷积、轮回和重见解机制来已毕。

毫无疑问，对网格结构的欺诈恰是咱们能够构建如斯强劲的机器学习模子的要害原因之一。由此推论，在遐想潜在空间时保留这种结构是一个绝佳的主意。咱们最强劲的神经集中遐想在架构上依赖于它，因为它们开端等于为径直处理这些数字信号而构建的。淌若潜在表征具有同样的结构，它们将更擅所长理这些表征。

网格结构也为学习生成潜在空间的自编码器带来了显耀的上风：由于自如性，况且它们只需要学习局部信号结构，因此可以在较小的剪辑图像或输入信号片断上进行闇练。淌若咱们施加正确的架构握住（限度编码器息争码器中每个位置的感受野），它们将能够开箱即用地泛化到比闇练时更大的网格。这有可能大大镌汰第一阶段的闇练资本。

关联词，事情并非老是那么好意思好：咱们照旧接头过感知信号是若何高度冗余的，缺憾的是，这种冗余散布不均。信号的某些部分可能包含大批感知上显耀的细节，而其他部分则险些莫得信息。在咱们之前使用的田园里狗的图像中，谈判一个以狗的头部为中心的 100×100 像素块，然后将其与图像右上角仅包含蓝天的 100×100 像素块进行比较。

田园里的狗的图像，其中隆起炫耀了两个具有不同冗余度的 100×100 像素块。

淌若咱们构建一个袭取输入二维网格结构的潜在表征，并用它来编码这幅图像，则势必会使用完全同样的容量来编码这两个图像块。淌若咱们让表征足够丰富，能够捕捉到狗头通盘相关的感知细节，那么将花费大批容量来编码类似大小的太空图像块。换句话说，保留网格结构会显耀镌汰潜在表征的效率。

这等于我所说的「网格统领一切」：咱们用神经集中处理网格结构数据的才略照旧终点熟谙，偏离这种结构会增多复杂性，使建模任务变得愈加坚苦，况且对硬件的兼容性也更差，是以平素不会这么作念。但就编码效率而言，这践诺上相配花费，因为视听信号中感知显耀的信息散布并不均匀。

Transformer 架构践诺上相对适当抵拒这种统领：诚然咱们平素将其视为序列模子，但它践诺上是为处理集值（set-valued）数据而遐想的，任何将衔接元素相互关联的附加拓扑结构齐通过位置编码来抒发。这使得偏离成例网格结构比卷积或轮回架构更为实用。几年前，我和共事探索了使用可变速率破裂表征进行语音生成的这个想法。在两阶段生成模子的配景下，松懈潜在空间的拓扑结构似乎最近越来越受到关怀，包括如下：

TiTok 和 FlowMo 从图像中学习序列结构化的潜在表征，将网格维度从二维镌汰到一维。大型话语模子的发展为咱们带来了极其强劲的序列模子，因此这是一种合理的宗旨结构；One-D-Piece 和 FlexTok 也聘请了类似的要领，但使用了嵌套的 dropout 机制，在潜在序列中引入了由粗到细的结构。这使得序列长度能够根据每个输入图像的复杂度以及重建所需的细节级别进行调停。CAT 也探索了这种自适合性，但仍然保留了二维网格结构，况且仅调停其分辨率；TokenSet 更进一步，使用了一种生成「token 袋」的自动编码器，完全甩掉了网格。

除了 CAT 除外，通盘这些要领的共同点在于：它们学习的潜在空间在语义上比咱们咫尺主要接头的那些要高等得多。就抽象眉目而言，它们可能介于「高等像素」和旧式 VAE 的矢量值潜在空间之间。FlexTok 的一维序列编码器需要使用现存二维网格结构编码器的初级潜在空间作为输入，践诺上是在现存初级潜在空间之上构建了一个很是的抽象层。TiTok 和 One-D-Piece 也欺诈现存的二维网格结构潜在空间作为多阶段闇练要领的一部分。一个相关的想路是：将话语域重用为图像的高等潜在表征。

在破裂环境下，一些责任欺诈话语 tokenisation 的想想，推敲了网格中常见的 token 模式是否可以组合成更大的子单元：DiscreTalk 是语音鸿沟的一个早期示例，它在 VQ token 之上使用了 SentencePiece。Zhang et al 的 BPE Image Tokenizer 是这一想路的较新体现，它在 VQGAN token 上使用了一种增强的字节对编码算法。

其他模态的潜在变量

到咫尺为止，咱们主要关怀意觉鸿沟，仅在一些方位简要说起音频。这是因为学习图像的潜在特征是咱们照旧终点擅长的事情，而且连年来，使用两阶段要领的图像生成照旧得到了普通的推敲并干预分娩！。咱们在感知吃亏方面领有熟谙的推敲体系，以及大批的判别器架构，使抵拒闇练能够专注于感知相关的图像内容。

对于视频，咱们仍然停留在视觉鸿沟，但引入了时候维度，这带来了一些挑战。东说念主们可以肤浅地访佛使用图像的潜在特征并逐帧索要它们来取得潜在的视频表征，但这可能会导致时候伪影（举例能干）。更遑急的是，它无法欺诈时候冗余。我以为咱们用于时空潜在表征学习的器具还远远不够完善，而且咫尺东说念主们对若何欺诈东说念主类对通顺的感知来提高效率的贯通也不够深入。尽管视频压缩算法齐欺诈通顺臆想来提高效率，但情况仍然如斯。

音频亦然如斯：诚然两阶段要领已被普通聘请，但对于使其适用于这种模态所需的修改，似乎并未达成普通的共鸣。如前所述，对于音频，更常见的作念法是重用通过自监督学习习得的表征。

那么话语呢？话语并非感知模态，但两阶段要领大要也能提魁伟型话语模子的效率吗？事实评释注解，这并非易事。话语践诺上比感知信号更难压缩：它作为一种高效的疏通样貌发展起来，因此冗余度要低得多。但这并不虞味着话语就不存在：香农曾有一个着名的臆想：英语的冗余度为 50%。但请记取，图像、音频和视频可以在相对较小的感知失真下压缩几个数目级，而话语则不可能在不丢失细小死别或遑急语义信息的情况下作念到这少许。

用于话语模子的 Tokeniser 时常是无损的（举例 BPE、SentencePiece），因此生成的 token 平素不被视为「潜在 token」（关联词，Byte Latent Transformer 在其动态 tokenisation 战略中照实使用了这种框架）。关联词，话语中相对贫苦冗余并莫得遏止东说念主们尝试学习有损的高等表征！用于感知信号的技艺可能无法沿用，但东说念主们照旧探索了几种其他用于学习句子或段落级别表征的要领。

端到端会是终末赢家吗？

当深度学习兴起时，主流不雅点是：咱们将尽可能用端到端学习取代手工构建的特征。统一学习通盘处理阶段将使这些阶段能够相互适合和蛊惑，从而最大礼貌地提高性能，同期从工程角度简化过程。这或多或少也恰是计较机视觉和语音处理鸿沟最终发生的事情。从这个角度来看，颇具挖苦意味的是，现在感知信号的主流生成建规范式是两阶段要领。诚然两个阶段齐倾向于学习，但并非完全端到端！

如今产物中部署的文本转图像、文本转视频和文本转音频模子大多使用中间潜在表征。值得想考的是，这种近况是暂时的，如故会执续下去？毕竟，两阶段闇练照实引入了相配多的复杂性，除了愈加优雅除外，端到端学习还可以匡助确保系统的通盘部分齐与单一的总体宗旨无缺地保执一致。

如上所述，输入空间的迭代细化速率慢且资本时髦，我以为这种情况可能会执续一段时候 —— 尤其是在咱们络续提高生成信号的质料、分辨率和 / 或长度的情况下。咱们不太可能撤消潜在层在闇练效率和采样延伸方面的上风，咫尺尚无可行的替代决策被评释注解能够大鸿沟应用。这是一个颇具争议的不雅点，因为一些推敲东说念主员似乎以为是时候转向端到端要领了。我个东说念主以为现在还为时过早。

那么，咱们何时才气准备好回顾单阶段生成模子呢？像肤浅扩散、Ambient Space Flow、Transformers 和 PixelFlow 这么的要领照旧评释注解：即使在相对较高的分辨率下，这种要领也能很好地说明作用，只是咫尺还不够合算。但硬件正以惊东说念主的速率络续纠正和提高，因此我推测咱们最终会达到一个临界点：即相对低效的输入空间模子在经济上优于工程复杂性日益增多的潜在空间模子。至于何时已毕，则取决于具体模态、硬件纠正的速率以及推敲的进展，因此我不会作念出具体的瞻望。

畴昔，咱们需要潜在向量来确保生成模子专注于学习感知相关的信号内容，同期忽略视觉上不显耀的熵。纪念一下，输入空间中的似然吃亏在这方面尤其灾祸，而切换到在潜在空间中测量似然值可以显耀改善基于似然模子的结果。可以说，这种情况已不再存在，因为咱们照旧找到了如安在感知上重新加权自回顾和扩散模子的似然吃亏函数，从而排斥了彭胀的一个遑急间隔。尽管如斯，潜在空间模子的计较效率上风仍然一如既往地遑急。

第三种替代决策开云体育(中国)官方网站，我咫尺为止只是简要提到过，是分辨率级联要领。这种要领不需要表征学习，但仍然将生成模子问题领悟为多个阶段。一些早期的买卖模子曾使用这种要领，但它似乎照旧不再受迎接了。我以为这是因为不同阶段之间的单干不够完善 —— 上采样模子必须完成太多的责任，这使得它们更容易在各个阶段累积无理。