关于问答调优
大模型本身具备“不确定性”，飞书智能伙伴平台为知识问答提供了调优能力，帮助更精准地调整和优化模型的行为。开发者可以观察知识问答的每个执行步骤，并在每个步骤中为模型提供更多的指导和输入，确保得到准确和符合预期的结果。
问答调优的作用：知识问答应用的构建者可以通过使用Aily平台提供的能力去提升应用的上限，让AI能回答更多的知识问题和数据查询、分析问题，更好的为业务使用。
- 运行过程白盒化：运行过程的打开，展示每个阶段的过程和输入输出参数。
- 调参白盒化：全局参数、术语、示例（Fewshots）、多阶段的参数，如检索到的数据、召回阈值与片段数量等。
- 单步调参：每一步可以微调参数，然后重新运行用例。
- 不设上限：已调优用例的输入内容和生成结果将用于大模型理解线上相类似的问题。
关于对话用例库
对话用例库，为在开发后台中持续积累的数据问答的问题和答案对。
已调优用例的输入内容和生成结果将用于大模型理解线上相类似的问题。
平台提供对话用例的可持续积累的功能，支持对于数据资源进行问题的积累和应用使用。
250px|700px|reset
- 对话用例状态
- 已调优，在保存时设置为已调优
- 已调优，是指验证过该用例是一个AI可以正确回答的对话用例。
- 对于已调优的用例，如需要重新调优，要先设置状态为未调优。
- 未调优，在保存时未被设置为已调优
- 线上回流的对话用例的默认状态
- 对于未调优的用例，可以发起去调优
- 对话用例来源
- 在开发后台中调试预览过程中保存
- 在线上运营后台中，应用管理者添加到用例库中
- 对话用例消费：
- 设置为已调优的用例，下一次类似的用户输入出现后，这个“开卷考试的答案”将作为Example，将其中的参数信息传给大模型，以保证能够稳定返回预期的结果。
注意：只有设置为已调优的用例，才会被模型所消费。
问答调优使用说明
调优入口
- 进入平台的知识问答板块，在调试和预览窗口中输入对话，在输出的回答卡片中发起调优
- 卡片回复中，点击「结果调优」后进入结果调试
250px|700px|reset
调优功能介绍
调优台将基于对话用例的用户输入 + 知识问答的思考过程 + 输出定义为一个【用例】，调优的过程围绕用例进行。
250px|700px|reset
调优的核心流程：
- 可以基于已有的用例进行调优，也可以创建一个新用例进行调优。在调试与预览窗口中，发起会话，即可新建一个对话用例，点击结果调优则进入到调优台中。
- 在结果调优中点击运行一次，即可触发该对话用例的重新执行。用例执行过程中，调优台会通过步骤的形式打印出完整思考和执行过程。每个步骤会展示出该步骤的结果和日志，方便排查。
- 如果发现其中某一步骤出现偏差或者错误，可以在步骤的输出中进行相关调优。
- 例如：在SQL生成步骤中我们发现生成的SQL有误，则您可以在SQL Editor中直接修改为正确的SQL，并且运行，查看是否SQL调整正确。
- 调试完成后，可以选择将此保存为一个对话用例，将用例状态置为【已调优】，则该用例类似于一个“开卷考试的答案”。下一次类似的用户输入出现后，这个“开卷考试的答案”将作为Example，将其中的参数信息传给大模型，以保证能够稳定返回预期的结果。
250px|700px|reset
调优逻辑
- 意图识别和召回
- 引用的相似用例：针对此问题，模型检索和参照的相似用例（Example）。仅提供查看，可以看出该问题的回答参考了哪些对话用例。
- 检索到的术语：若意图中包含了大模型无法理解的特定的业务含义、企业内部黑话，可前往术语库添加业务定义、词典、业务规则等内容。可查看该对话用例，使用了哪些术语。调优方式如下：
- 补充或优化现有的术语定义或描述
- 调整术语检索参数
- 意图改写：如开启了多轮开关，则模型会结合上文进行问题意图的改写。可查看该对话用例被模型改写后的意图。调优方式如下：
- 针对复杂的意图，如组合类的问题，包含多个要求的问题，则可以去编排场景
- 如不希望在终端的场景中用户频繁收到上下文干扰效果，则可关闭多轮，但关闭后，模型则只根据当前的用户输入回答问题，无法处理上下文
- 数据检索和处理
- 查询方式：包含数据分析和知识问答两种查询方式，如查询方式不对，则可修改指定查询方式
- 检索到的数据、文档或知识、标准问答对：针对此对话用例，模型检索和召回用于生成答案的数据，调优方式如下：
- 数据分析的调优方式：
- 修改数据描述，让模型更好理解数据，如选择的字段有误，可以修改“字段描述”或“表描述”辅助模型理解
- 配置模糊检索，若文本类型的字段 SQL 中匹配不到数据，可配置“模糊检索规则”
- 若查询结果需基于已有字段的处理才可获取，可对数据进行打标和提取
- 生成的SQL：如需引入统一的 SQL 查询格式或规范要求，可新增 SQL 生成规则
- 知识问答的调优方式：
- 调整知识检索的参数
- 添加知识
- 修改知识片段
- 生成结果
- 生成结果：模型根据用户意图、检索到的数据和处理后，最终输出给用户的结果。调优方式如下：
- 修改全局生成规则，通过全局生成规则干预模型的输出
- 编辑结果：如模型始终无法生成对，则人工修正答案，但人工修正答案只对单个case有效
250px|700px|reset
