聊天#

Anaconda AI Navigator的聊天功能使用户能够与本地下载的模型进行交互。聊天界面主要是为了提供一个空间,让您评估不同模型如何处理特定任务和场景。如果您使用的模型没有以有用的方式响应您的测试提示,请尝试使用不同的模型。一旦您看到某个特定模型取得了一些成功,您可以将其加载到API服务器中,并针对它测试您自己的应用程序,以查看模型如何处理用户的输入。

加载模型#

将您下载的模型加载到聊天界面中以与其进行交互。要加载模型:

  1. 从左侧导航中选择 聊天

  2. 打开指定模型下拉菜单并选择您的模型。

  3. 打开指定文件下拉菜单并选择您的模型文件。

    注意

    • 如果模型只有一个文件,它会自动加载到聊天界面中。

    • 您可以在聊天过程中随时切换已下载的模型。

开始新的聊天#

所有聊天最初创建为新聊天 <#>,但会根据您对模型的初始提示进行主题重命名。

开始一个新聊天:

  1. 聊天页面,点击 新聊天

  2. 如有必要,将模型加载到聊天界面

  3. 输入提示以与模型聊天。

停止响应#

有时模型可能会开始生成一个冗长且偏离主题的响应。要停止模型生成响应,请在提示字段中点击 停止

重命名聊天#

您可以随时为聊天提供特定的名称。要重命名聊天:

  1. 从聊天页面,打开聊天的操作下拉菜单 并选择 重命名

  2. 为您的聊天输入一个名称。

    注意

    超过27个字符的聊天名称将被截断。

删除聊天#

删除聊天:

  1. 聊天页面,打开聊天的操作下拉菜单 并选择 删除

  2. 点击删除聊天

聊天设置#

聊天设置允许您微调模型在用户交互期间的响应方式。

加载模型后,点击 设置 打开聊天设置。通过调整以下参数来自定义模型的响应:

  • 系统提示 - 在用户输入作为提示之前,设置模型的整体语气和行为。系统提示是一个隐藏的指令,用于建立模型的人格。例如,您可以指示模型充当数据分析师、Python开发人员,或遵循正式的语气。有关更多信息,请参阅制作有效的系统提示

  • 最大响应长度 - 调整模型响应的长度。简短的响应最适合简洁的答案或信息摘要,而较长的响应则更适合详细的指导。

    提示

    选择让模型决定复选框,以允许模型确定何时已充分满足提示请求。

  • 上下文长度 - 定义模型可以回忆多少正在进行的对话。较高的上下文长度允许模型跟踪更多的对话历史,这对于长时间的讨论是有益的。然而,这可能会增加RAM的使用并减慢推理速度,因为模型处理的历史越来越多。较低的上下文长度可以通过考虑较少的历史来提供更快的响应并减少内存使用。

  • 温度 - 控制模型响应中的随机性水平。这可以帮助模型在响应中感觉更具或更少创造性。较低的温度使模型的回复更加确定和一致,而较高的温度引入了变异性,允许模型对相同的提示产生不同的答案。

提示

点击设置面板顶部的重置以返回系统默认设置。