超越边界：Claude与10万令牌上下文窗口的革命性突破

相关阅读

视频讲解

🚀🌌 欢迎来到前沿AI探索之旅！在这期视频中，我们将带你走进一种革命性的大型语言模型的世界，它可能会改变你对信息检索的看法。💡

🔍你是否曾因为大型语言模型的上下文窗口限制而感到困扰？是否为了适应这种限制，不得不将你的大篇幅文档拆分成小块？📑别再烦恼了！有一种新的模型，让你可以摒弃这些步骤，甚至可能让embeddings方法成为历史。😲

📊我们会为你详细解释上下文窗口的重要性，展示它如何影响信息处理和输出。我们甚至尝试让GPT-4帮我们总结一段长达8000个令牌的文本，结果如何呢？看视频你就知道了！😏

🔬你可能听过GPT-4，甚至听说过它的32,000令牌版本，但是，你知道最新、最强大的模型是什么吗？它不仅拥有惊人的10万个令牌的上下文窗口，还来自一家可能你还没听说过的公司 – ANTHROPIC。💥

🎉本期重磅推出ANTHROPIC的新产品 – Claude，这个神奇的模型拥有100,000个令牌的上下文窗口，比GPT-4的最长版本还要长得多。🎁这意味着什么呢？这意味着你可以将数百页的文件送入Claude，从这些页面中实际检索信息。😎

🏋️ 想象一下，你与Claude的对话可以持续几个小时，甚至几天，它仍然能记住所有的信息。而对于Claude来说，处理一个普通人需要5个小时阅读的100,000个令牌，只需要几分钟。🕑

🕵️‍♂️举个例子，我们把整个《了不起的盖茨比》（大约72,000个令牌）装入Claude，然后修改了其中的一行，并让Claude找出差异。你猜它花了多长时间完成这个任务？22秒！💫

🔮虽然可能有其他方法可以做到这一点，但是，Claude能够在这么短的时间内完成这个任务，无疑为其在商业应用中的潜力打开了一扇大门。🚪

🎯这就是今天我们要分享的，全新、革命性的Claude！它可能会改变我们对大型语言模型的理解，以及我们对信息检索的方式。💼不要错过，立即点击播放，一起探索这个令人兴奋的新领域！👀🔥

图文讲解

如果你看到任何视频或阅读关于使用大型语言模型进行信息检索的文档，他们总会说到把你的文档分成小块。

原因是大多数大型语言模型有一个非常小的上下文窗口。但有一个新的模型，你其实不需要做这些事。embeddings的方法可能会变得过时。只是为了告诉你为什么上下文窗口如此重要，我从微软网站上摘取了这个服务条款的文本。

而我要求GPT-4，它的上下文窗口大约有8000个令牌，为我总结一下。然后让我们看看会发生什么。

它说，你提交的信息太长了。

请重新加载对话并提交更短的内容。所以这一切都归结于上下文窗口的概念，它可以被定义为模型在生成输出时考虑的最近输入文本的数量。

所以，我们今天的大多数模型，它们的上下文窗口范围从2000个令牌到8000个令牌。

现在，100个令牌大致相当于75个英文单词。有几个例外。例如，GPT-4据说有一个32,000个令牌的版本，而MosaicML有一个65,000多个令牌的版本。然而，它们没有经过充分的测试。但是有一种新的模型，它声称有一个10万个令牌的上下文窗口。

我们稍后会看看它。当人们谈论大型语言模型时，他们大多在谈论OpenAI的ChatGPT。

但是我认为还有另一家公司也值得关注，它就是 ANTHROPIC。

目前向公众开放的具有最长上下文窗口的商业模型实际上是来自ANTHROPIC的Claude，具有9,000 tokens的上下文窗口，比GPT-4的8,000窗口的上下文窗口还要长。而我指的是可用的那个，还不是32,000令牌。但今天，他们宣布了新版本的Claude，它有一个巨大的上下文窗口，有100,000个令牌。

现在，让这句话沉淀下来。现在，这比MPT-7B的MosaicML的故事作者模型的65,000个上下文窗口要多很多。让我们来看看为什么这是一个大新闻。

所以他们从9,000个令牌到100,000个令牌，对应于75,000个单词。

现在，这意味着你可以将数百页的多个文件送入Claude，并从这些页面中实际检索信息。现在，由于它有如此巨大的上下文窗口，与Claude的对话可以持续几个小时甚至几天，而且它仍然会记住所有的信息。现在，为了参考100,000个令牌有多大，一个普通人将需要大约5个小时来阅读。

实际上，他们需要花大量的时间来消化、记忆、和分析他们刚刚读到的信息。但对于Claude来说，这只是一个几分钟的问题。例如，在这里，他们把整个《了不起的盖茨比》装入Claude，大约有72,000个令牌，然后修改了文本中的一行，

并要求Claude发现两个文件之间的差异，即原始文件和修改后的文件，而且它在22秒内就完成了。现在，我个人认为这不是那么好，因为你有可能简单地比较两个文件的文本，并能做到这一点，尽管它要比22秒长很多。但他们在商业应用中能做什么，那是令人震惊的。现在，我认为这是最有趣的一点。它可以作为一个信息检索系统。所以在最近的视频中，我已经涵盖了不同的方法，其中你可以创建自定义的聊天机器人为自己的文件。而我所展示的方法是简单地计算文件的embeddings，然后做信息检索。但是，由于它有如此巨大的上下文窗口，你可以简单地把文件作为提示的一部分送进去，而模型将能够分析它，然后你可以直接向它提出问题，对吗？所以，这实际上可能是一个更好的方法，比简单计算embeddings在做一个矢量存储，然后再进行语义搜索。现在，他们这里有一个用例。所以这就是Claude作为一个商业分析师的作用。在这种情况下，他们给它输入了一份85页的文件，一份10K表格，以及一份公司备案表，对吗？

所以我们简单地输入表格，然后你就可以开始询问表格中的数据了。

Claude将分析它并消化它，然后你可以与它进行对话。所以它将能够为你拉出相关信息。我认为这是伟大的因为现在你实际上有能力与你自己的文件进行对话。

所以正如我所说的，这可能是一个潜在的替代品，基于向量embeddings的方法用于文档或信息检索。现在，他们还有一个例子，我非常喜欢。所以Claude充当了代码伴侣的角色。所以想象一下，你在一个项目上工作和较大的语言模型没有任何信息给你的文档，对吗？所以再次，你可以简单地放弃你的文档。在这种情况下，他们正在丢弃LangChain的API文档。所以最初，如果你看到，人问它，什么是LangChain，对吗？而它说，我真的没有任何信息LangChain是什么。然后你就简单地把API和LangChain的开发者文档以PDF文件的形式放进去。现在模型就可以简单地分析它并理解它了，然后你就可以开始提问了。所以它是你的代码伴侣，这是相当出色的。而且我认为这在很多用例中都会很有意义。现在，他们还强调了另一个用例，SMDI，他们实际上翻译了几乎六个小时的长的视频播客。于是他们转录了它，大约有58,000字。

然后他们用Claude来进行总结和回答问题。你会对一个10,000个令牌的上下文窗口做什么？因此，这里有几个潜在的用例。所以你可以消化、总结、和解释密集的文件，如财务报表或研究论文。那么根据一个公司的年度报告，分析其战略风险和机会。所以要分析收费立法的利弊。因此，这些是不同的用例，你现在可以根据自己的需要来考虑和工作。现在，我认为有一个注意事项。这不是对公众开放的。所以这是专门针对企业的。你实际上可以申请信息。他们有一些关于其定价的信息。现在，他们的定价与OpenAI非常不同，而且是基于百万令牌。所以它就像每百万令牌1.6美元。这是对提示的要求，然后每百万令牌5.5美元，用于完成。

对于他们的即时的模型，然后如果你想有一个更复杂的，它去更高。但这主要是针对商业用例而不是个人用例。你们中的一些人一直要求我创建一个Discord服务器，我终于做到了。

它现在是全新的。我希望能在那里创建一个充满活力的社区。所以来加入我们吧。我希望这能成为一个地方，在这里我们可以公开分享想法，讨论当前机器学习和人工智能的进展。这将是一个非常有趣的地方。有一些简单的规则，所以请确保你阅读它们并遵守它们。保持所有与人工智能和机器学习有关的对话。你也可以提出你的想法，你希望我做什么。所以，来加入那里，和我们一起玩吧。总之，这就是一个快速的更新。激动人心的时刻。事情变化得太快了。现在，我认为下一个将是500或100万的令牌模型。而且我认为他们已经不远了。他们将在不久的将来出现。如果你有任何问题，评论，把它们放在下面的评论区。谢谢你的观看。我们下期再见