相关阅读
视频讲解
在本期视频中，我将向您介绍最新的AI绘图技术，以及它们可能给数字媒体带来的巨大变革。我们将探讨DreamBooth和LoRa等一系列模型，以及如何将它们合并在一起，从而创造出极其逼真、栩栩如生的人工智能生成图像。这些混合物甚至可以欺骗人类眼睛，使您难以区分它们是否为真实的。未来可能会有越来越多的虚假AI名人，他们的外貌完全符合您的个人喜好。但同时，这种技术也存在潜在危险，因为它可以轻松地利用Deepfake技术进行滥用。这是一个令人惊叹又令人担忧的时代。所以，请务必观看本期视频，了解更多关于这场数字媒体革命的信息。
文本介绍
记得几个月前我展示了一些使用DreamBooth制作的非常令人印象深刻的AI艺术，它可以复制任何主题或任何艺术风格，并通过使用一些非常好的微调模型，仅使用文本就可以生成一些令人难以置信的艺术品。四个月后，人们以某种方式使一切看起来更加出色。从极端的逼真度，图像看起来就像真实的人一样，没有其他AI会创建的虚假图像光晕，到插图更加连贯和有风格，使得大多数人建议如何识别AI的方法都无法使用，特别是这些新技术。我只想在这个视频中发出免责声明，即这确实会跌落到我自己的“反常谷”，在那里会有更多的艺术风格复制和潜在的深度伪造图像，而所有这一切都还在不断改进中。我仍在思考我对所有这些事情的感受，但我认为每个人都值得了解这些，因为这是我们不可避免地要面对的技术进步。引用一条推文的话，“AI不会取代你，使用AI的人会取代你。”这很快就会成为我们生活的世界，因此了解一切如何运作以便不被落下也是非常重要的。无论如何，要达到这种生成逼真度或插图的水平，就像罗马并非一日建成一样，我们必须回到我之前提到过的DreamBooth和微调模型的想法，并从那里开始。如果你还没有看过的话，可以查看我的先前视频。由于DreamBooth擅长用非常少量的数据集学习任何东西，人们开始使用DreamBooth对艺术风格或对象进行微调，这使得在原始Stable Diffusion模型上微调有点过时，因为那需要更多的图像、训练时间和计算成本，并且只能稍微改进一些。因此，社区中的一些人变得非常有创意，开始将DreamBooth和其他微调模型合并在一起，并发现这种方法效果惊人。这几乎开启了一个全新的合并模型的潮流，以创建包含合并模型最佳部分的东西。然而，合并模型并不是一个新的概念。它早期就存在了，但由于它比训练或微调更加复杂，因为你直接干涉模型架构内的权重，所以当DreamBooth刚出来并使一切变得如此容易时，人们并没有真正使用它。但随着时间的推移，更多的试错研究能够被进行，以便于好的合并模型从1月中旬左右开始出现并变得流行起来。有一个非常好的解释，说明了不同类型的合并如何工作，我会在描述中放链接。我只会给出一个非常简单的解释，即经典合并基本上通过添加或计算权重之间的差异来工作，使得合并模型可以均匀地共享每个模型的关键特征。而块合并是另一种类型的合并，允许您指定模型的特定层，因此它可以让您更加精细地控制要合并的特征。块合并非常有用，因为某些层的部分实际上相当于抽象特征，比如手。因此，将一个擅长生成手部特征的模型与另一个不擅长的模型进行合并，几乎可以保证它们的“子代”模型将能够生成出色的手部特征。所以现在，既然我们可以随心所欲地合并模型，那么就没有阻止我们将合并模型与另一个合并模型合并，以创建一个用于与另一个模型合并的合并模型了。因此，一个混合物应运而生。在一些最流行的混合物中，它们将包括混合配方，告诉您他们如何合并各种不同的模型以获得能够生成细节的东西，您无法通过微调来实现。还有一些混合物，例如橙色混合物，是最受欢迎的插图混合集之一，您可以尝试。但是接下来就是LoRa，这是在DreamBooth发布后两个月发布的一种新方法。它最初是为了减少大型语言模型的存储和微调时间而制作的，但有些人看到了它的潜力，并将其实现到稳定扩散中，创造出比DreamBooth更令人惊叹的东西。为了让您了解LoRa的工作原理，通常情况下，任何微调或DreamBooth都会直接对7GB模型进行微调。但是，LoRa会在架构中插入新的层，并使用这些少量的层来学习您微调的目标。从功能上讲，它非常类似于文本反演，因此您可以用主题和触发词一起训练AI，使其学会它的外观。然后，LoRa可以比文本反演更准确地重新生成想法或对象，因为它对模型的影响更深。尽管它的大小略大于文本反演，但它仍然比微调DreamBooth模型小得多。LoRa的背后有一些非常聪明的数学支持，可以解释其工作原理。如果您想了解更多信息，请查看koi boy的视频，以便与其他所有方法进行技术上的比较。然而，这里的事情开始变得更加奇怪。一些大脑发达的人不知何故想出了如何将LoRa与合并模型合并在一起的方法，因此您可以将LoRa与一个模型进行合并，然后再将其与另一个LoRa合并，反之亦然。因此，一些非常有风格的艺术作品开始出现，其外观与您通常看到的AI生成的艺术完全不同。由于文字生成艺术中取得的大部分进展都是由动漫迷或色情爱好者完成的，所以我最感到印象深刻和担忧的是现实生活中的文本生成图像。如果您还记得任何关于人类的文本到图像结果，它们都具有奇怪的人工光泽或纹理，您可以立即识别出它是由AI生成的。但是，在这些LoRa混合物的基础上，人们已经找到了完美的组合，使生成的图像看起来极其真实，甚至让我第一次遇到它们时都感到需要再看一次。这些混合物基于一些非常邪恶或不祥的模型，因此我不会链接任何相关内容，因为它违反了YouTube的条款和条件，但是它们的工作成果令人惊叹。唯一可以显示出它是由AI生成的特征就是服装图案或配件。然而，脸部、解剖学、灯光、阴影、反射的表现，这些都看起来非常真实，令人恐惧。人们可能只需要找出一个合并方法来改善这些小细节，比如按钮、手甚至文本，就可以轻松欺骗人们。下一个可能被取代的工作可能是cosplayer和Instagram明星，因为互联网将被充斥着迎合您个人喜好的虚假AI生成的名人。如果结合我在之前视频中提到的ControlNet，您将在使用这些AI生成时获得更多的控制力。您将能够生成的精度将改变数字媒体的格局。完全有可能对这些极端逼真的模型进行微调，以针对特定人物，这种情况下可能会像深度伪装一样具有潜在危险，同时一旦存在他们的模型，生成起来却要容易得多。与制作全新视频所需的时间相比，使用LoRa进行6分钟的训练，任何获得模型的人都将能够无限制地生成带有您面孔的内容。未来对某些人来说将会非常令人担忧和恐惧。非常感谢您的观看。向通过Patreon或YouTube支持我的Andrew Lascellius、Chris Ledoux、Alex Marise和许多其他人致以最大的敬意。如果您还没有关注我的Twitter，请关注，我们下次再见。
- 最新
- 最热
只看作者