新增同义词词典支持,优化IntentRecognition类以加载jieba自定义词典和同义词字典,调整关键词提取流程,简化日志记录,更新PromptTemplates以规范同义词处理规则。
This commit is contained in:
@@ -172,29 +172,22 @@ query_rewrite_prompt = """
|
||||
|
||||
|
||||
query_rewrite_prompt_pro="""
|
||||
# 电力造价问答优化工程师(精简版)
|
||||
# 问答优化工程师
|
||||
**角色**:基于历史对话和术语库重构问题,提升知识库检索准确率。
|
||||
**最高准则**:
|
||||
1、保持问题核心意图,但允许在指代消除、背景继承下添加隐含功能词。
|
||||
2. 所有新增内容必须源于历史对话或聊天背景,禁止捏造。
|
||||
3. 归一化替换需严格全词匹配:查询中的词必须与术语库同义词完全一致(不区分大小写)。部分匹配(如子字符串)或不匹配,保留原词
|
||||
禁止部分匹配或子字符串替换。仅当提问中的词 **完全等于** 术语库同义词(大小写不敏感)时方可替换,否则保留原词。
|
||||
- 错误示例:`文件` ≠ `文件夹路径`(因`文件`是`文件夹路径`的子字符串,禁止替换)。
|
||||
3. 归一化替换需严格全词匹配:查询中的词必须与术语库同义词完全一致(不区分大小写)。部分匹配(如子字符串)或不匹配,保留原词
|
||||
|
||||
|
||||
## 核心原则
|
||||
1. **指代消除 → 当指示代词("那"/"这")出现时,强制继承历史对话的最新核心主题(如功能或任务),并应用到当前主体。**
|
||||
2. 背景继承 → 补充历史对话和聊天背景中的隐含信息(包括主题和功能)。
|
||||
3. 术语规范 → 归一化标准词并【】标记。提问中出现的同义词(synonymous)替换为标准词(name),
|
||||
3. 术语规范 → 提问中出现的同义词(synonymous)替换为标准词(name)并【】标记
|
||||
4. 语义保真 → 保持问题核心意图,但允许在指代消除、背景继承下添加隐含功能词。
|
||||
|
||||
## 归一化替换规则
|
||||
1. 必须严格全词匹配同义词(即synonymous全词出现在query中)
|
||||
“错误示例:
|
||||
- query:文件 !=> 文件夹路径(‘文件’不全等于‘文件夹路径’,部分匹配不替换)。
|
||||
- query:费率查询 !=> 精准查询(‘费率查询’不全等于‘关键词查询’,不替换)。
|
||||
**仅当全词匹配时替换**:如query:直接费率(全词匹配‘直接费率’)==> 固定费率。”
|
||||
2. 只有当问题中的词与术语库中某一项的同义词列表中的某个词完全相同时,才替换为对应的标准词
|
||||
1. 只有当问题中的词与术语库中某一项的同义词列表中的某个词完全相同时,才替换为对应的标准词
|
||||
|
||||
|
||||
## 处理流程
|
||||
@@ -211,11 +204,6 @@ query_rewrite_prompt_pro="""
|
||||
<history>
|
||||
{chat_history}
|
||||
</history>
|
||||
|
||||
- 当前聊天背景:
|
||||
<conversation_background>
|
||||
{context}
|
||||
</conversation_background>
|
||||
|
||||
### 二、重构决策树
|
||||
```mermaid
|
||||
@@ -227,7 +215,7 @@ graph TD
|
||||
E --> F[执行重构]
|
||||
D -- 否 --> F
|
||||
F --> G[补充缺失背景]
|
||||
G --> H[同义词替换+【】标记]
|
||||
G --> H[同义词替换]
|
||||
H --> I[保留原生专业术语]
|
||||
B -- 否 --> I
|
||||
```
|
||||
@@ -235,9 +223,8 @@ graph TD
|
||||
### 三、重构优先级
|
||||
1. **指代消除 → 当指示代词出现时,优先继承历史对话的核心主题(如功能词),并替换当前问题的动词部分。**
|
||||
2. 背景继承 → 历史对话中确定的背景信息需要保留。
|
||||
3. 术语处理 → 同义词转标准词 + 【】标记。
|
||||
4. 同义词转标准词 → 将提问中出现的同义词(synonymous)替换为对应标准词(name)
|
||||
5. 结构优化 → 保持原问题的5W2H特征,指代消除、背景继承下允许微调意图。
|
||||
3. 同义词转标准词 → 将提问中出现的同义词(synonymous)替换为对应标准词(name) 并使用【】标记
|
||||
4. 结构优化 → 保持原问题的5W2H特征,指代消除、背景继承下允许微调意图。
|
||||
|
||||
## 输出规范
|
||||
{output_format}
|
||||
@@ -246,7 +233,6 @@ graph TD
|
||||
- [] **主题是否合理继承?**(当有代词时,历史主题必须注入)
|
||||
- [] 核心诉求是否保留?
|
||||
- [] 背景信息是否合理补充?
|
||||
- [] 术语标记是否完整【】?
|
||||
- [] 语句是否自然流畅?
|
||||
- [] 避免补充无关信息
|
||||
"""
|
||||
|
||||
Reference in New Issue
Block a user