揭秘大脑的画卷：人工智能如何将我们的思维转化为视频

相关阅读

视频讲解

🚀🎉欢迎来到科技奇迹的前沿！这期视频，我们将揭秘科技界的最新大事件——人工智能成功“读取”人类大脑，并将大脑活动转化成图像与视频的神奇之处！🧠📹

你是否曾经幻想过，如果你的思绪可以直接转化成视频，那会是怎样的景象？一篇名为《超越大脑的观察》的论文带来了令人惊艳的答案，实现了将大脑信号转换成图像的壮举。而现在，他们更是上升了一个新的水平——心灵视频，即从脑活动中生成高质量的视频重建。😮🎥

我们将深入解析这个引人入胜的技术，也将展示他们实现的一些令人惊叹的成果。例如，看到一段关于人跑步的视频，模型可以仅仅通过阅读你的大脑活动，就能够重建出人在跑步的情景。🏃‍♂️📺

感觉震撼吗？但这只是冰山一角，跟随我们深入了解更多神奇的重建实例，你会发现，这一切仅仅只是开始！💫🎈

相关资料

• 相关论文 https://arxiv.org/pdf/2305.11675.pdf
• 相关网站 https://mind-video.com/
• Github项目地址 https://github.com/jqin4749/MindVideo

图文讲解

这太疯狂了。人工智能现在真的可以读取我们的大脑，可以看到我们正在看什么。几周前，有一篇论文《超越大脑的观察》，每个人都在谈论这篇论文。

在那篇论文中，作者提出了一种将大脑信号转换成图像的方法。

现在，我们都看到了文本到图像的转换器，比如Midjourney，你提供一个文本提示，模型就能把它转换成美丽的图像。

甚至还有文本到视频的转换器。

因此，你只需提供一个文本描述，模型就能从中生成视频。但在这项具体工作中，他们将大脑活动转换为图像。

现在，他们这样做的方式是他们向人们展示视觉刺激或图像，然后用fMRI记录他们的大脑活动。使用这种基于扩散(Diffusion)的模型，他们能够将这些大脑刺激转换为视觉表征，他们能够创建图像，这在当时是非常好的。

我们在几周前还在谈论，但现在他们把它带到了一个新的水平。

现在，在这项新的工作中，他们提出了一种名为”心灵视频”的新方法。

从脑活动中进行电影般的思维景观，从脑活动中进行高质量的视频重建。

正如你可能猜到的那样，在这项工作中，他们能够通过使用fMRI数据观察大脑活动来重建一段视频。所以它的方法是给一个人看一段视频，在看视频的同时，他们的大脑活动被fMRI扫描记录下来。

然后他们使用一个基于扩散的模型，从大脑活动中重建这些框架。现在，你可能会想，如果你能够从大脑活动中重建图像，从大脑活动中重建视频可能会更容易。然而，视频有一个主要问题，那就是重建视频所需的时空信息在非常简单的情况下，视频是简单的帧的组合是静态图像。然而，当前帧与前一帧以及后一帧之间存在着依赖性。当你试图重建视频而不仅仅是单帧时，这就是主要的挑战之一。

现在，为了做到这一点，他们提出了一个双模块管道，旨在弥合图像和视频之间的差距大脑解码。使用他们的方法，他们能够得到最先进的结果，但我们不打算进入大量的技术细节。相反，我想向你展示一些潜在的应用和他们的结果。现在，这里是他们分享的一些结果。

所以，只是为了解释一下，这个GT列是地面实况，然后我们的基本上是模型所重建的东西。所以，想象一下，模型只看到通过fMRI而来的大脑活动。基于大脑活动，它能够重建这些视频。因此，这个人正在观看视频，然后在记录大脑活动的同时，模型使用这些信息来重建视频。例如，第一个，有几个人在跑步，然后仅仅通过阅读你的大脑活动或字面上阅读你的想法，模型就能够重建一个人在跑步。

现在，他们中的一些人真的很好，但在某些情况下，一些情况下，你不能真正弄清楚发生了什么事。例如，这只猫就很好，水流淌的样子很厉害。然后，这里有一个无人机拍摄的城市景观。现在，这里有一段视频，人们确实在说话，重建也显示人们在说话。

现在，其中大部分看起来都很好，但在有些情况下，我认为模型有一些问题。例如，这个人在弹吉他。重建，我不确定那边发生了什么。这真的很难解读。

所以，根据他们的说法，这种方法可以重建各种物体，例如动物、动作和场景，重建的图像质量很高，并且与真实情况一致，我们可以在这里看到。他们还给出了一些其他的例子。我们稍后会看一下，但很棒的一点是，我们在这里看到的样本是在一个RTX 3090上生成的。

这很好，因为这意味着你实际上可以在一台消费级GPU上运行这个模型。由于这款GPU的内存限制，他们能够生成分辨率为256×256的图像，每秒帧数只有3帧。现在，在查看他们提供的Google Drive中的其他一些示例之前，让我们来看一些细节。所以，他们很快将提供数据集和代码。然而，他们用于训练的数据集是可用的，你实际上可以请求获取。

所以，你可以潜在地使用他们的训练或推理代码，一旦它可用，然后重建其中的一些结果，除非你有机会接触到fMRI机器，你想捕获自己的数据。

好吧，让我们看看其他一些例子，因为这是一个非常棒的工作。因此，他们提供了这个谷歌驱动器链接，他们在那里托管了一些其他的视频。

所以，现在有三个不同的对象，我们要看一下他们提供的一些不同的例子。

所以，比如说，这个人在跳舞，对吧，然后你可以看到，这个模型，只是通过观察大脑活动，就能够重建跳舞的动作，尽管有多个人。

但是，所以请记住，这只是模型本身的第一次迭代。现在，在这个特定的案例中，我觉得很难看出重建视频中正在发生什么。

好吧，让我们看看这个主题的其他几个例子。所以，这是另一个例子。这里面有一只猫。重建后的实际显示的是一只狗。

所以，这些都是假阳性，但我仍然认为这是一项相当有意义的工作，因为这将有助于我们了解自己的认知过程。虽然科学已经取得了很大的进步，但我们仍然不了解我们的大脑是如何工作的。而像这样的研究项目将为了解我们自己的认知过程做出巨大贡献。而这可能会产生非常重大的影响，特别是在医疗保健方面。我希望你喜欢这个视频。这和我平时的视频很不一样，但我认为涵盖一些最新的进展和一些令人兴奋的研究项目非常重要，因为它们决定了我们未来的方向。一如既往，感谢您的观看，下期再见。