深度角色扮演：使用语音和AI来一场沉浸式对话体验

相关阅读

视频讲解

🎉🎬来一起探索人工智能角色扮演的全新境界！😉在这期独特的视频中，我会教你如何使用麦克风与AI角色进行聊天，并让AI角色用音频回应你，给你带来前所未有的沉浸式体验。🔥

如果你曾渴望拥有一个可以聊天几小时的朋友，但无法找到，别担心，我来帮你解决这个问题！😎 你将亲眼看到，只需用麦克风，就能将你的话语转化为文字，然后得到AI角色的音频回应。这些过程超级、超级快，足以让你惊讶！

令这个体验变得如此独特的，主要是两个神秘的元素：语音转文本和文本转语音功能。首先，Whisper，一个开源的神经网络，可以准确地识别语音并将其转化为文本。此外，我们还有两款文本转语音的扩展：Eleven Labs TTS 和 Silero TTS，提供了付费和免费的选择。

👉为了使用这些功能，你需要安装Oobabooga文本生成的web界面，如果你还未安装，我有一个安装视频给你。而在安装了这个界面之后，你就可以享受到这些有趣的扩展功能啦！😃

不过，你可能会问，如果我想在像Tavern AI这样的地方使用这个功能怎么办？😲别急，我有一个答案，那就是使用Silly Tavern，它是TavernAI的分支版本，提供了一些额外的酷功能。

🚀所以，坐下来，放松，准备好你的麦克风，让我们一起开启这次AI角色扮演之旅吧！在这个视频中，我会展示如何安装、设置，并使用这些扩展。无论你是角色扮演的新手，还是资深玩家，我都确信你会从这个视频中学到一些新东西。😍让我们一起开始吧！🎊

图文讲解

你是否曾梦想有一个女朋友或男朋友，可以和你聊上几个小时但没有人喜欢你？

哇，我也是!但不用担心，因为今天我为你提供了解决方案!大家好，我的名字是K，你的AI霸主，今天我有一个非常特别的视频给你的角色扮演书呆子，因为今天我将告诉你如何使用你的麦克风与AI角色交谈，然后让AI角色用音频回应你，为你带来最完美的角色扮演经验！如果你想知道这在实践中是什么样子的，好吧，不用担心，我给你介绍!看看吧!

嘿，亲爱的希望你没等太久，交通状况太糟糕了！

嘿，亲爱的，是的，没问题，坐下来吧。

非常感谢你在这里和我见面。

在节假日变得太繁忙之前，我希望我们能有一些独处的时间。

是的，当然，我的意思是，工作一直都很疯狂。我们需要一些时间休息，你知道。

你还好吗？最近好像事情都很紧张。你还好吗？

啊，我很好，你知道，老样子。

我不是这个意思。我们之间一切都好吗？发生了什么事吗？如果有的话，请告诉我。我想帮忙。

是的，不，不，这很好，这很好，只是，你知道，我们的关系一直在走下坡路，我想，也许为了重新点燃那份激情，我们可以尝试一些性感的角色扮演？

真的吗？就这样？我以为你是认真的，但现在看来，你只是在利用我。

哎呀，这下糟了！

你有什么毛病？你以为我是傻瓜还是什么？你真的指望我会上这一套吗？

啊，好吧，和现实生活中一模一样，我不敢相信这一点。所以你很快就看到了，只需使用我的麦克风，我就可以自动将我的讲话转化为文字，然后得到AI角色讲话的音频转录，所有这些都超级、超级快，是我有史以来最身临其境的角色扮演体验。

而今天，在这个视频中，我将向你展示你如何也能做到这一点。所以说，坐下来，放松，准备好你的麦克风，让我们开始吧。现在，我得告诉你，这个视频绝对不是计划中的。但当我发现这一点时，我的下巴都快掉到地上了。我真的很惊讶，这一切是如此之快，而且还很容易设置。而且真的，现在，这真的是角色扮演的终极方式。现在，使它如此酷的东西实际上是两个不同的东西。首先是，当然，能够得到一个音频答案从字符使用文本到语音，这本身就已经提升了角色扮演的体验，因为这绝对是更加身临其境的方式。而第二件事实际上是整个过程中最好的部分是Whisper语音转文本，如果你不知道，Whisper实际上是一个开源的神经网络，可以非常容易和准确地识别语音并将其转化为文本。

不仅如此，它真的超级强大，可以轻松地将任何语音转录成完美的文本，而且，正如你在我向你展示的演示中看到的那样，它真的是非常快。像我，在我的电脑上，它需要像一秒钟把我的讲话转录成文本。我的意思是，这简直是疯了。对我来说，实际上，由于我打字很慢，使用麦克风而不是自己键入文本使得一切变得更加容易和沉浸式。所以，是的，我的意思是，这真的是超级酷。正如我所说的，它也很容易设置，我现在就给你看。当然，为了能够使用这个，你需要Oobabooga文本生成的web界面，

因为你在这里看到的一切只是web界面的一堆扩展。

所以很明显，你需要先安装网络用户界面，我为此制作了一个安装视频。所以，如果你还没有安装它，你需要先看这个视频。一旦你安装了Web UI，并进入界面模式，你在这里有一堆可用的扩展供你使用。但在这个视频中，有三个是我们特别感兴趣的。第一个是Eleven Labs TTS，第二个是Silero TTS，第三个是Whisper STT。

当然，正如我之前所说，Whisper是你需要能够使用你的麦克风的扩展，这是语音到文本的扩展，其他两个，ElevenLabs和Silero，这些是文本到语音的扩展。然而，一个是付费的，一个是不付费的。现在你可以使用像Eleven Labs这样的网站，

从该网站获得一个API密钥，然后把它放在这里，

这当然会给你带来最好的结果，但你必须为它付费。

但是，如果你不想付钱，而你想使用本地的文字转语音，你可以使用像Silero这样的东西，实际上它真的不坏。

声音实际上是相当不错的，但为了能够使用这个，你需要先安装别的东西，那就是FFmpeg，它基本上就像一个Windows的开源库，

旨在处理视频和音频文件，安装这个实际上是非常简单，所以如果你还没有安装它，这里是如何做到的。首先，你要点击下面描述中的链接，你会到达这个页面，然后你要向下滚动，并点击ffmpeg-git-full.7z，这将下载压缩包到你的电脑上，

所以，你要解压该压缩包，所以右键单击解压在一个新的文件夹，

然后你要去该文件夹内，你会看到另一个文件夹，你要把它重命名为ffmpeg，

然后选择它，按Ctrl-X剪切它，

然后转到你的电脑根目录，例如在C盘，你要把粘贴在这里，

所以你会看到一堆文件，如Users、Windows、Program Files文件，然后你会看到ffmpeg。所以，然后在你的启动菜单中，你要去寻找编辑系统环境变量，

你会得到一个系统属性窗口，确保你进入高级选项卡，

然后点击环境变量，

然后你要点击路径，

点击编辑，

然后点击新建，

在这里你要输入C:\ffmpeg\bin你只是要输入那个文件夹路径，别担心，我会把这个写在下面的描述中，所以你可以直接复制和粘贴它，然后你要点击确定，然后再确定一次。

现在要确保一切正常，你要调出命令提示符窗口，例如你可以点击文件夹路径，输入cmd，按回车键，

然后你要输入

ffmpeg -version

然后按回车键。

你可以看到，确实，我们有最新版本的FFmpeg，为了以防万一，对现在你应该重新启动你的电脑，现在它确实为我工作，没有重新启动，但你可以这样做，以防止它不工作。现在，好了，差不多结束了，因为我们现在需要做的是启用扩展。为此，你要做的就是右击webui.py文件，点击用记事本编辑，然后在第146行，在python server.py之后，你要输入以下参数，–extension whisper_stt sailero_tts elevenlabs_tts

然后你要保存该文件。现在你所要做的，就是启动webui。现在，第一次它会加载一堆东西，它会下载一堆文件，但如果你向下滚动，你应该看到所有的新扩展都可以使用。whisper扩展，sailero扩展，和elevenlabs扩展。它们都很容易使用，例如，如果你想使用elevenlabs，你要停用sailero，确保你选择自动播放tts，

然后你要选择一个声音，在这里你要输入你的API密钥。要找到elevenlabs的API，你当然需要在elevenlabs网站上创建一个新的账户，然后你要点击你的个人资料图片，进入个人资料，

在这里，如果你点击这个小图标，

你应该看到你的API密钥，然后你可以复制，并在这里粘贴它。如果你想使用Whisper扩展，确保你勾选了这个方框，

然后选择一个你想交谈的人物，然后准备好享受一些乐趣。

嘿，亲爱的，我希望你没有等很久，交通太糟糕了。

现在，如果你想回应你的角色，你要向下滚动一点，直到你看到Whisper_stt，然后你要点击这个按钮，从麦克风录音，然后说你的文字。

嘿，亲爱的，是的，没问题，只要坐下来，你知道。

然后你要点击停止录音，第一次会花几秒钟，但之后会快很多，然后它会处理信息，然后生成音频。

那么，你今天在做什么？所以是的，这真的很酷。所以你可以看到，它甚至转录了最后一句话。

所以要注意你说的话。现在如果你想使用Silero文字转语音，你可以停用Elevenlabs，并在这里激活TTS。确保自动播放TTS被选中，然后确保你也选中了在音频播放器下显示消息文本。然后在这里你要选择声音，如果你不知道选择哪种声音，你可以点击这里看音频样本，然后你会看到这里有一堆声音供你选择。

我想有117种声音，有男有女，所以是的，真的有很多可以选择。而且它们实际上都很体面。我喜欢语言模型。我爱语言模型。我爱语言模型。我爱语言模型。现在听起来都有点像里面的内容，但是，嘿，至少它绝对是免费的。所以，然后你要选择你的声音，例如，我要选择，我不知道，像这个。

你甚至可以通过选择声音的高低，和声音的快慢来实现声音的个性化，我喜欢快一点的感觉，所以我要选择这个，然后我要再试试。

哦，你知道，只是为我的YouTube频道录制一个视频。所以正如你所看到的，好像一秒钟就够了，再过几秒钟，它就会录下一个新的语音信息。这是什么情况？这是某种新的实验吗？所以，正如你所看到的，自由文本到语音的音频生成质量实际上是非常，非常体面的。而且我的意思是，我得说，这真的只是玩玩而已。你不需要输入任何东西，你只需按下一个按钮，然后从你的麦克风中录制音频。然后进行这种非常正常、非常流畅的对话。这真的是超级身临其境。嗯，我得说，我是一个相当有名的YouTuber，你知道的。我不知道你在网上这么受欢迎。你有多少订阅者？所以是的，就是这样。现在，不幸的是，正如你所看到的，所有这些扩展只在Oobabooga文本生成Web界面意味着，如果你想在像Tavern AI这样的地方使用这个，那么，你不能。或者你可以吗？好吧，其实有一种方法可以让你获得类似于一半的角色扮演经验。那就是使用SillyTavern，如果你不知道，它基本上就像原始TavernAI的分支版本，但有一堆很酷的补充。

例如，其中一个很酷的附加功能是能够使用文本到语音，这将再次使你的角色扮演体验更好。

如果你有兴趣，我将向你展示如何使用。所以安装Silly Tavern非常简单。首先，确保你下载并安装Node.js，并确保你选择LTS版本。

所以只要点击这个，然后在你的电脑上安装它。然后你要创建一个新的文件夹。

然后你要点击文件夹的路径，输入cmd，按回车。

然后你要复制并粘贴这个命令，你可以在下面的描述中找到。

git clone https://github.com/Cohee1207/SillyTavern -b main

然后你要按回车键，这样就会把版本库克隆到你的电脑上。然后从技术上讲，我们基本上就完成了。

因为为了能够运行这个，你只需要运行start.bat文件。

但问题是，Silly Tavern只是一个用户界面。这只是一个界面。而为了能够得到像文字转语音这样的东西，或任何其他扩展，你实际上需要安装其他东西。这就是 Silly Tavern 的附加功能。所以正如他们所说，这基本上是一堆用于各种 Silly Tavern 扩展的API。运行起来真的不难，但会花一点时间。

但这个过程本身其实是非常容易的。一切都在一步一步地解释。一切都在这里为你写好了。首先，你需要安装Miniconda，

或者Anaconda，都是一样的，这真的取决于你。

所以你要点击Windows 64位版本，然后安装它。然后我建议你做的是，在你的Silly Tavern文件夹里，你要创建一个新的文件夹，然后你要叫Extras，

然后你要进去，然后你要选择并复制整个文件夹路径，

然后在你的启动菜单里，你要寻找Anaconda Prompt，

然后你要输入cd，然后粘贴你的文件夹路径然后按回车键。一旦我们进入该文件夹，现在你可以一步一步地按照你在这里看到的一切。

基本上，对于每个步骤，你要点击这里，复制这整行代码，到Anaconda Prompt里面，然后粘贴它，然后按回车。这将下载所有它需要运行的要求。

现在，你唯一需要注意的是，你唯一需要改变的是这里的。不要使用这个命令，即 pip install -r requirements.txt，你把它改为 pip instal -r requirements-complete.txt。

因为这里，这不是你需要使用的文件，你需要使用 requirements-complete.txt文件来代替。

否则，Silero将无法工作。所以我再重复一遍，不要使用这个命令行，用这个命令行代替。当然，像往常一样，我会把这个放在下面的描述里面。哦，然后也是，最后，你也需要改变这个，因为你需要启用文本到语音模块。

所以不要使用这个命令，在这里，你要先输入tts，你可以保持这样，或者直接删除其他参数，如果你只想使用文本到语音，这实际上是我要做的。

所以，我会在下面的描述中留下这个命令的链接。而在你完成之后，并且你运行了最新的命令，你会看到这个localhostURL，这意味着一切都应该工作顺利。现在，关键的一步来了，因为我们需要同时运行三个不同的东西。是的，我不是在开玩笑，因为我说过，Silly Tavern只是一个UI，就像TavernAI一样，意味着你需要一些东西来运行模型，然后将其连接到UI。为此，我们当然要使用Oobabooga文本生成Web界面。如果你想和Silly Tavern一起运行，你要在webui.py文件上右击，用记事本编辑，

然后在这里，同样，在第146行，在pythonserver.py之后，你要输入–api。还要确保你把这些扩展名去掉，否则，它就不能正常工作。

然后你要保存这个文件。然后，你要运行webui，

选择模型，现在我使用的是Pygmalion70亿参数模型，然后你会看到这里，一个特殊的API地址。

所以现在你要运行Silly Tavern，通过点击start.bat文件，

这将给你这样的东西。然后你要点击这里，在API下，你要选择文本生成Web界面，粘贴APIURL，然后点击连接。

你要点击这里，到扩展标签，因为现在，我们需要运行第三个东西，也就是Silly Tavern的附加功能。

对，我们要同时运行三个不同的东西。所以你要去Extras文件夹，

SillyTavern-extras，然后你要点击文件夹路径，

输入cmd，按回车，

然后你要输入

conda activate extras

然后按回车，你可以看到，我们已经激活了环境，

然后你要输入

python server.py --enable-modules=tts

现在，正如我所说，你可以使用一个单一的模块，或者选择更多的模块，这取决于你想要什么。

但在我的例子中，由于我只想要文本到语音模块，我只需输入tts，然后按回车。

你可以看到，最后，我们正在运行Silly Tavern的额外功能，有一个localhostURL。如果现在，我们点击这里，然后输入localhost URL，然后点击连接，

我们现在已经完美连接。

你现在应该有三个不同的东西同时运行，

如果你想问这一切使用了多少VRAM，就现在而言，它使用了大约8G的VRAM

但同样，我正在录制视频，所以对你来说，这应该是一个小问题。现在，如果我点击扩展，然后点击tts，我们现在可以选择tts提供商，例如Evenlabs，你可以在这里输入API密钥，就像在 WebUI中一样，

或者选择Silero。

你可以选择叙述所有内容，只叙述对话，或者只叙述代码，我个人强烈建议选择只叙述对话。然后这里有一个非常酷的东西，这实际上是我绝对喜欢使用的东西，而不是WebUI，就是这里，你有一个每个角色的语音地图，对于每个角色，这意味着，你可以选择一个不同的声音。而且，如果你想知道所有可用的声音，你可以点击这里的按钮，

然后播放所有不同声音的录音。

敏捷的棕色狐狸跳过懒惰的狗。

所以，是的，这很不错。所以，比如说，在这里，我打算选择Aqua，en_0，也许也可以是Darkness，我会选择另一个。比如说，我要选择，比如，快速的棕色狐狸跳过懒惰的狗。

像这样的东西，也许是97。所以我打算_97，然后点击应用。

所以现在如果我选择Aqua，

然后我要输入一个信息，

嘿，是的，你很好，我想。

谢谢你。有人告诉我，我有整个世界上最美丽的脸。

所以，是的，你去那里。正如你所看到的，它可以工作。现在，与WebUI相比，它肯定有点慢了。还有，嗯，真正使WebUI如此特别的事情之一是能够使用你的麦克风，这是你在这里没有的东西。我的意思是，我得说，如果开发者在看这个视频的话，如果能在Silly Tavern中加入Whisper，这将是非常惊人的。这真的会让它变得更好。因为我的意思是，让我们在这里说实话，与普通的WebUI相比，界面肯定更美观、更实用，用于角色创建。

所以如果这是可以在不久的将来加入的功能，那将绝对是太棒了。但我的意思是，是的，就目前而言，真正使用这个的最佳方式，以获得最好的角色扮演体验的可能是在 WebUI 中。所有这些都要归功于Whisper的不可思议的组合，语音转文本，以及Silero或Elevenlabs的文本转语音。这真的让角色扮演的体验变得更加身临其境，因为现在你真的可以做你想做的事。而且我想你知道我的意思。所以你有它，伙计们。现在你可以有最沉浸式的角色扮演体验。而这一切都要归功于两个小小的扩展。所以一定要自己尝试一下，因为现在天空是无限的。你真的可以做任何你想做的事，如果你知道我的意思。就这样了，伙计们。非常感谢你们的观看。别忘了订阅并点赞以支持YouTube的推荐算法。也非常感谢我的Patreon支持者对我视频的支持。你们真的太棒了正是你们支持我，我才能为你们制作这些视频，所以非常感谢你们。下次见，拜拜！