ouyangyouzhang/QueryRewrite
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
111 Commits 1 Branch 0 Tags
8b9ea73b3bdd185aa8d0880b932f66b1ab9339ba
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ouyangyouzhang 8b9ea73b3b refactor(embedding/reranker): 重构模型工具类使用环境变量配置 
更新.gitignore文件，添加新的数据库文件
在.env中添加EMBEDDING_MODEL_NAME和XINFERENCE_URL配置
重构SiliconFlowEmbeddings和XinferenceReRankerModel使用环境变量
优化DifyCompareTest异常处理和输入验证
修改测试文件路径和并发工作数
 2025-08-15 10:34:30 +08:00
ouyangyouzhang 1cde82cc86 工单提问相同时合并工单内容 2025-08-05 11:14:25 +08:00
ouyangyouzhang 142ae00844 先改回使用硅基流动api 2025-08-05 09:29:56 +08:00
ouyangyouzhang c02fe2624a 同步合理数据库字段 2025-08-04 08:43:35 +08:00
ouyangyouzhang 948827d553 在heli_db_to_excel.py中添加SEQUENCE_ID字段到数据处理结果，并新增根据会话ID查询SEQUENCE_ID的方法；在DifyCompareTest.py中优化回答判断逻辑，增加对空回答的处理，调整文件处理的最大并发数。 2025-08-01 13:45:58 +08:00
ouyangyouzhang 9b957665b5 更新.env文件中的API地址和模型名称，修改api_key.txt文件以替换API密钥。 2025-08-01 10:21:02 +08:00
ouyangyouzhang 9185d75e10 更新DifyCompareTest类中的字段名称 2025-07-31 10:25:24 +08:00
ouyangyouzhang 11acc809c8 优化DifyCompareTest类中的回答判断逻辑，恢复旧答案的判断并简化代码；更新PromptTemplates以规范同义词处理规则，调整重构流程和优先级，增强语义保真性。 2025-07-31 09:43:58 +08:00
ouyangyouzhang 6a72233a97 新增同义词词典支持，优化IntentRecognition类以加载jieba自定义词典和同义词字典，调整关键词提取流程，简化日志记录，更新PromptTemplates以规范同义词处理规则。 2025-07-31 09:23:27 +08:00
ouyangyouzhang 728262cc65 优化DifyCompareTest类，添加DifyExporter实例以支持词条检索，更新DifyQueryRetrieval_api.py中的topk参数，增强DifyExporter类以从HTTP服务获取查询类型和点踩原因，简化构造函数，移除不必要的查询日志加载逻辑。 2025-07-30 17:30:24 +08:00
ouyangyouzhang 57369059eb 引入工单后，匹配软件词条辅助性不大且该环节上下文较长，Token消耗较大 2025-07-29 09:22:05 +08:00
ouyangyouzhang ba42107999 优化DifyCompareTest和WorkorderToDify模块，调整日志记录格式，修复API密钥获取方式，增强工单处理流程，添加元数据管理功能，改进并发上传逻辑，更新文档处理方式。 2025-07-28 08:34:17 +08:00
ouyangyouzhang 780f423200 新增数据库支持，初始化数据库并创建查询类型和点踩原因表，优化日志记录，添加多个API以支持点踩原因和查询统计功能。 2025-07-26 12:36:01 +08:00
ouyangyouzhang 3f6f5d038c 调整启动脚本的权限，优化screen会话检查逻辑，修复DifyQueryRetrieval_api.py中的top_k参数，删除IntentRecognition.py中的冗余代码，优化异步处理流程，移除不必要的注释和日志记录。 2025-07-25 13:55:06 +08:00
ouyangyouzhang 2cbdc23fc0 更新.gitignore以忽略临时文件，修改api_key文件，重构合并名词的逻辑，删除不再使用的脚本，优化对话到工单的处理流程，添加会话结果保存为JSON的功能，调整API调用参数，修复部分代码中的错误。 2025-07-25 09:53:47 +08:00
ouyangyouzhang 4d7ef54ae7 更新.gitignore文件以忽略新的数据文件和测试文件，修改对话到工单处理逻辑，添加产品信息解析功能，优化API调用，移除不必要的参数，调整并发处理逻辑。 2025-07-24 13:39:04 +08:00
ouyangyouzhang 6707e5904f 更新APIkey 2025-07-24 09:46:43 +08:00
ouyangyouzhang d0788ac32a 调整接口 2025-07-23 10:28:26 +08:00
ouyangyouzhang 0a2d6c2020 微调意图改写接口 2025-07-22 11:35:05 +08:00
ouyangyouzhang 75c7c19f53 删除多余代码 2025-07-22 08:47:17 +08:00
ouyangyouzhang 1bd0dc3f81 新增多个API密钥。 2025-07-21 10:24:25 +08:00
ouyangyouzhang 17ff99bad1 更新对话到工单的处理逻辑，添加API密钥参数，优化响应内容清理，修复多个解析函数中的API调用，调整并发处理的最大线程数。 2025-07-21 10:11:34 +08:00
ouyangyouzhang 0dda581c8e 优化DifyCompareTest和ModelTool中的API调用逻辑，增加重试机制以提高稳定性，更新模型名称获取方式为使用环境变量。 2025-07-21 09:44:42 +08:00
ouyangyouzhang 6243fedc4e 更换api_key 2025-07-21 08:48:56 +08:00
ouyangyouzhang 6ba3141885 优化代码 2025-07-18 16:50:24 +08:00
ouyangyouzhang 5d5c3c0257 新增多个启动脚本以支持不同服务的后台运行，优化对话到工单的处理逻辑，增加人力信息映射，调整日志记录机制以支持异步处理。 2025-07-18 13:39:57 +08:00
ouyangyouzhang 75c0992526 优化数据处理逻辑，更新工单数据文件路径，增加多个工单数据集的创建与上传功能，同时调整查询参数以提高检索效果。 2025-07-17 14:13:41 +08:00
ouyangyouzhang bd0f86ff61 更新DifyQueryRetrieval类的初始化参数，改为使用环境变量获取API密钥和基础URL；优化意图识别示例中的参数传递；调整问题和回答的格式描述；增加请求超时设置。 2025-07-17 09:05:05 +08:00
ouyangyouzhang 8a58fef1a7 优化DifyQueryRetrieval和ModelTool中的请求超时设置，调整DifyExporter类中的分类逻辑，移除无用字段，更新词条处理逻辑， 2025-07-16 16:26:46 +08:00
ouyangyouzhang a934f2c398 更新环境变量配置，调整模型名称获取方式，新增Dify API相关配置，删除无用的脚本文件，优化意图识别逻辑，添加LLM提取词条逻辑 2025-07-16 14:24:50 +08:00
ouyangyouzhang 5e164882a1 更新对话到工单的默认文件路径，修正日期范围为“2025年1月到6月”，并在DifyExporter类中新增“当前软件”字段 2025-07-15 13:50:58 +08:00
ouyangyouzhang 35acf6de71 调整问题改写提示词，同义词替换遵循严格匹配 2025-07-15 11:30:31 +08:00
ouyangyouzhang 82724d206b 更新日志目录创建逻辑，调整对话到工单的日期参数默认值，新增对话记录分析功能，优化API密钥管理器中的购买余额计算，并添加多个API密钥。同时，新增数据处理和分析模块以支持工单问答数据的上传和处理。 2025-07-15 09:27:44 +08:00
ouyangyouzhang 5b5a2f2b16 重构会话处理逻辑，移除批量处理，改为直接并发处理每个会话，优化临时保存机制。同时，更新DifyExporter类，新增获取节点信息和词条列表的方法，调整导出列以包含备注信息 2025-07-14 18:51:03 +08:00
ouyangyouzhang af1e1a9d9b 优化对话到工单的处理逻辑，新增进度条显示，调整日期参数的默认值，并修复日志目录创建的冗余代码。同时，更新DifyExporter类以支持按日期范围过滤消息，重构查询日志加载逻辑，新增备注提取功能，提升代码可读性和可维护性。 2025-07-14 17:21:21 +08:00
ouyangyouzhang b06a84c059 更新.gitignore以忽略查询日志文件，优化意图识别逻辑，新增锁相关咨询处理方法，并调整后退提示的返回结构以支持固定话术类问题。 2025-07-14 09:46:56 +08:00
ouyangyouzhang a78c1b00d8 优化意图识别逻辑，注释掉槽位填充的条件判断，并更新问题列表的处理方式， 2025-07-12 13:14:20 +08:00
ouyangyouzhang a100a9a106 更新pyproject.toml和uv.lock文件，新增ijson和langfuse依赖，同时在对话到工单的分析流程中添加时间范围过滤功能，优化日志记录，支持按时间范围过滤会话数据。新增获取工作流运行信息的方法，并更新意图识别API以支持使用jieba分词。 2025-07-12 13:05:57 +08:00
ouyangyouzhang fbe11486cb 兼容思考模型 2025-07-10 18:32:34 +08:00
ouyangyouzhang af03df99e3 更新API密钥管理器中的购买余额计算，修复riper-5.mdc配置以禁用自动应用，同时在api_key.txt中添加多个API密钥。 2025-07-10 15:48:38 +08:00
ouyangyouzhang 23f522dde5 优化DifyQueryRetrieval类，新增top_k参数以支持检索结果的数量控制，同时重构相关方法以提升性能和可维护性。更新DifyTool类，新增获取应用会话和消息信息的方法。修复DifyExporter类中的代码格式问题，调整日期参数的默认值。 2025-07-10 08:36:12 +08:00
ouyangyouzhang ec3db656a5 优化DifyExporter类，新增按日期范围过滤消息的功能，支持UTC+8时区的时间转换，并更新导出文件名以包含日期范围信息。同时，重构消息处理逻辑 2025-07-09 16:50:35 +08:00
ouyangyouzhang ffd0d52076 新增AnswerType.py文件，创建FastAPI应用以收集用户提问数据类型，添加健康检查和异步检索API，优化日志记录和错误处理。同时，新增DifyExporter类用于导出Dify系统中的对话和消息数据，支持从查询日志加载数据并保存为Excel文件。 2025-07-09 09:12:06 +08:00
ouyangyouzhang 9636ed3ed2 更新重排序模型的API地址， 2025-07-08 08:55:50 +08:00
ouyangyouzhang 5a8d042360 重构DifyQueryRetrieval_api.py为FastAPI应用，新增异步检索API和健康检查端点，优化错误处理和日志记录，同时更新DifyQueryRetrieval类以支持异步检索功能，提升整体性能和可维护性。 2025-07-08 08:38:14 +08:00
ouyangyouzhang 1f3e97d081 优化意图识别API，移除同步意图识别器，改为使用异步意图识别器，更新相关逻辑以支持异步处理，增强错误处理和日志记录，同时更新请求和响应模型以适应新的API结构。 2025-07-07 17:51:10 +08:00
ouyangyouzhang b9bff7f512 新增FastAPI和Uvicorn依赖，更新pyproject.toml和uv.lock文件，同时在merged_nouns.json中添加“人力运输”条目，更新专业名词索引文件。 2025-07-07 17:49:55 +08:00
ouyangyouzhang f13650a623 更新DifyQueryRetrieval类，启用父子级检索 2025-07-03 17:22:32 +08:00
ouyangyouzhang c52627abeb 新增异步意图识别器和相关功能，优化意图识别和槽位填充逻辑，支持异步处理和多线程检索，改进API调用的错误处理和日志记录，增强文档检索和关键词提取功能。 2025-07-03 15:40:36 +08:00
ouyangyouzhang 68e3677c34 更新riper-5.mdc配置以启用自动应用，优化DifyApi类，新增文档子分段管理功能，包括获取、添加、更新和删除子分段的方法，同时改进OpenAiLLM类的初始化逻辑以支持环境变量配置。 2025-07-03 11:34:31 +08:00
ouyangyouzhang b8ccdcf287 新增DifyApi类以支持与Dify API的交互，包含文档上传、索引状态获取、数据集管理等功能。同时优化DifyCompareTest.py中的缺失槽位判断逻辑， 2025-07-02 15:53:51 +08:00
ouyangyouzhang d835439fea 优化get_retrieve_info方法，调整outputs参数类型为list[dict]，增加segmentid_to_title字典以提升内容标题获取逻辑的准确性。 2025-07-02 13:34:06 +08:00
ouyangyouzhang d811ae411f 移除DifyComparisonTester类中的析构函数，优化问题处理逻辑，增强错误处理和日志记录，调整返回结果结构以包含更多信息。 2025-07-02 11:02:01 +08:00
ouyangyouzhang f76f44640a 优化Dify工具逻辑，调整知识提取和重排序流程，增强API调用的重试机制，更新意图识别API以支持更好的错误处理和日志记录，改进多线程检索功能 2025-07-01 18:56:10 +08:00
ouyangyouzhang 603c8122d4 删除不再使用的脚本文件，更新数据库连接配置为环境变量，优化Dify对比测试逻辑，增强日志记录. 2025-07-01 11:43:56 +08:00
ouyangyouzhang 500c8c166c 优化意图识别API，增加参数以支持分词和查询扩展功能 2025-07-01 11:42:49 +08:00
ouyangyouzhang 20207fdd1b 更新API密钥，优化意图识别示例，调整文档相关性判断逻辑，增强Excel数据验证功能，改进日志记录， 2025-06-27 18:12:51 +08:00
ouyangyouzhang 66efa57a2a 更新API密钥，修改riper-5.mdc配置以禁用自动应用，优化Excel数据验证逻辑，调整检索内容描述，更新多个二进制索引文件。 2025-06-25 15:41:25 +08:00
ouyangyouzhang ac8cf7693e 更新API密钥 2025-06-25 14:04:25 +08:00
ouyangyouzhang f9174fdbc9 更新意图识别示例，修改文档相关性判断逻辑以支持多个相关文档，增强结果处理和临时保存功能 2025-06-25 10:07:46 +08:00
ouyangyouzhang 33bc91f0fe 优化意图识别示例，更新文档相关性判断逻辑，增强Excel数据验证功能，改进日志记录，调整参数以提升代码可读性和灵活性。 2025-06-25 09:10:28 +08:00
ouyangyouzhang 7142c7c43e 更新API密钥管理，优化意图识别和Excel数据验证功能，增强日志记录，改进错误处理机制，支持文档检索功能，提升代码可读性和灵活性。 2025-06-24 17:12:09 +08:00
ouyangyouzhang 4386cfac41 优化意图识别模块，新增文档相关性判断功能，更新DifyQueryRetrieval类以支持多线程检索，增强数据模型，改进日志记录，调整Excel数据验证逻辑，更新多个提示词模板以提升用户体验。 2025-06-24 15:03:01 +08:00
ouyangyouzhang d957b4374e 更新API密钥管理逻辑，优化意图识别示例，增强Excel数据验证功能，移除冗余名词条目，更新多个二进制索引文件 2025-06-24 09:47:09 +08:00
ouyangyouzhang 4fab8874a5 新增DifyCompareTest.py文件以实现Dify新旧流程对比测试功能，并更新.gitignore以忽略新测试文件。 2025-06-23 18:08:39 +08:00
ouyangyouzhang eaf39e7bae 更新多个模块，优化API密钥管理，增强意图识别和Excel数据验证功能，添加置信度评分，改进日志记录和错误处理机制，支持调试模式，提升代码可读性和灵活性。 2025-06-23 16:17:06 +08:00
ouyangyouzhang a1739cb703 更新索引文件 2025-06-23 14:44:57 +08:00
ouyangyouzhang c28fe97dcc 更改项目名称为"rag2_0"，更新相关依赖项名称，增强PgSql类的线程安全性，添加锁机制以确保数据库连接的安全关闭，同时优化DifyTool类的资源管理，确保在对象销毁时自动关闭数据库连接。 2025-06-20 16:32:51 +08:00
ouyangyouzhang 644b745ab2 优化OpenAiLLM类中的API调用，使用with语句确保资源正确释放，并增强错误处理机制，添加重试次数提示。 2025-06-20 14:28:57 +08:00
ouyangyouzhang cfda8443ae 在pyproject.toml中新增阿里云源配置，设置优先级为1，以优化依赖项管理。 2025-06-20 12:42:24 +08:00
ouyangyouzhang 7f2abcace9 新增Python版本文件，更新api_key.txt以移除冗余API密钥，删除poetry.lock文件并更新pyproject.toml以调整依赖项和项目名称，新增uv.lock文件以管理依赖版本。 2025-06-20 12:32:55 +08:00
ouyangyouzhang 450a632ad2 更新.gitignore文件以忽略日志文件，新增api_key.txt文件以管理API密钥，并在对话转工单和查询完整性判断模块中添加日志记录和堆栈跟踪功能，提升错误处理和调试能力。 2025-06-20 09:43:37 +08:00
ouyangyouzhang e0e893eb09 更新riper-5.mdc文件，将alwaysApply设置为true，以确保规则始终应用。同时，在dialogue_to_workorder.py中将openpyxl替换为httpx，并增加超时设置，提升API调用的稳定性和性能。 2025-06-19 17:29:50 +08:00
ouyangyouzhang 86510d5c0e 更新意图识别模块，优化软件锁类的描述信息，增强代码可读性。同时，调整分类信息示例，新增后缀名咨询的示例，提升用户体验。更新多个二进制索引文件以反映最新变化。 2025-06-19 14:43:22 +08:00
ouyangyouzhang 9fe4094f5b 上传 2025-06-18 19:54:55 +08:00
ouyangyouzhang 139d0cffef 优化意图识别示例，新增命令行参数解析功能，支持输入输出文件路径和调试模式，增强代码可读性和灵活性。同时更新Dify工具，调整检索信息获取逻辑，确保重排得分信息的正确传递。 2025-06-18 14:53:24 +08:00
ouyangyouzhang 08a7a5812a 更新APIKeyManager.py，删除多个冗余API密钥并新增多个密钥，以优化密钥管理和安全性。 2025-06-18 08:45:42 +08:00
ouyangyouzhang 22d48c951f 优化对话转工单功能，添加重试机制以提高稳定性，限制处理会话数量为前2000个，更新示例查询和文件路径，增强代码可读性和维护性。同时新增数据库客户端功能，支持批量处理会话数据并导出至Excel。 2025-06-17 19:46:04 +08:00
ouyangyouzhang a5c1548240 更新.gitignore文件，新增对ProfessionalTermAnalyzer.py和mariadb_client.log的忽略规则，以优化项目文件管理。 2025-06-16 15:50:34 +08:00
ouyangyouzhang ef6a771f32 新增多个测试用例以验证重排模型的效果，涵盖简单问题、技术问题、医疗问题及长文本查询，增强了代码的可读性和可维护性。 2025-06-16 15:49:40 +08:00
ouyangyouzhang 503c7ff0bc 更新专业术语索引文件，优化意图识别逻辑，添加后缀项更新功能，调整重排序参数以提高相关性，同时修正文档中的描述信息。 2025-06-16 15:18:04 +08:00
ouyangyouzhang f1b3f7e158 更新词库，删除冗余同义词条目，优化意图识别逻辑，增强代码可读性和维护性，同时添加去重功能以处理同义词。更新相关文档以反映最新变化。 2025-06-13 17:07:31 +08:00
ouyangyouzhang d5433204e7 更新词库，删除冗余条目“博微储能计价通C1”，并在“博微储能计价通C1软件”的同义词中添加“博微储能计价通C1”。同时，更新二进制索引文件以反映最新变化。 2025-06-13 09:16:36 +08:00
ouyangyouzhang d155565ef6 1、删除不再使用的.cursorrules文件 
2、更新poetry.lock以反映Poetry版本的变化，添加jieba依赖，
3、重构意图识别逻辑以支持多轮对话，优化槽位填充和意图分类功能，增强代码可读性和维护性。
 2025-06-13 09:14:58 +08:00
ouyangyouzhang b412019c17 docs(DataModels): 修正软件别名映射中的标点格式 
统一软件别名描述中的标点使用，移除多余的空格使格式更规范
 2025-06-11 14:02:59 +08:00
ouyangyouzhang 8aec1f3f6f 优化Dify对比测试器，新增命令行参数解析功能，支持选择测试模式（仅新流程或新老流程对比），重构问题处理逻辑以提高可读性和维护性，更新输出文件命名规则，确保结果保存至指定路径。 2025-06-11 09:32:44 +08:00
ouyangyouzhang 2e91063ad1 新增对话处理功能，优化意图识别逻辑，添加结果保存至Excel的功能，更新依赖项以支持新的数据库驱动和ORM，重构代码以提高可读性和维护性，删除冗余文件以简化项目结构。 2025-06-10 17:00:40 +08:00
ouyangyouzhang ea705756fa 更新词库，删除冗余条目，优化意图识别提示模板，提升知识库检索准确率。 2025-06-06 14:29:34 +08:00
ouyangyouzhang bdb190d9a1 更新词库，添加同义词和描述，删除冗余条目，优化意图识别逻辑，调整向量检索参数. 2025-06-06 13:54:01 +08:00
ouyangyouzhang d4d891e5bb 优化词库 2025-06-06 09:32:04 +08:00
ouyangyouzhang f089909cf8 优化词库内容 2025-06-05 15:47:41 +08:00
ouyangyouzhang c715fca5ef 更新环境配置，添加gevent和gunicorn依赖；新增chat_dify_by_workorder.py文件以处理工单对话逻辑；优化PgSql类中的异常处理，确保连接失败时抛出异常；改进意图识别API，使用单例模式管理意图识别器实例，增强线程安全性；新增workflow_chat.py文件以支持新工作流对话功能。 2025-06-05 10:52:31 +08:00
ouyangyouzhang 01dc1c3c91 更新对话转工单处理逻辑，优化用户问题和解决方案提取功能，调整LLM参数，增强错误处理机制，改进多线程处理效率，更新测试用例以支持新功能，提升代码可读性和结构。 2025-06-04 17:37:47 +08:00
ouyangyouzhang 0e396e8b67 删除广东省20KV及以下配电网工程建设预算编制与计算规定实施细则相关条目，更新相关JSON文件；更新专业名词索引的二进制文件。 2025-06-04 15:12:49 +08:00
ouyangyouzhang b519f92087 修复意图识别中的同义词处理逻辑，确保同义词字符串正确分割为列表；更新提示模板，明确输出要求，避免对关键词的误解和修改。 2025-06-03 17:45:32 +08:00
ouyangyouzhang 74938607a7 增强意图识别API，添加槽位填充状态的返回信息，更新数据模型以提供软件名称的可选值提示 2025-06-03 14:38:28 +08:00
ouyangyouzhang 38b6f66925 更新对话转工单处理逻辑，增强用户问题和解决方案提取功能，添加槽位填充支持，调整最大工作线程数为10，优化意图识别API，重排序匹配术语，改进数据模型以支持软件名称枚举，提升代码结构和可读性。 2025-06-03 10:35:25 +08:00
ouyangyouzhang d4ff7b6fad 优化对话转工单处理逻辑，调整LLM参数，增强用户问题和解决方案的提取功能，添加槽位填充支持，提升代码结构和可读性。 2025-05-30 11:10:24 +08:00
ouyangyouzhang 05caedc4fa 添加硅流重排模型类，更新APIKeyManager导入路径，优化文档重排序逻辑，增强代码结构和可读性。 2025-05-29 17:19:27 +08:00
ouyangyouzhang 4d11c94228 添加新旧流程信息获取功能，优化问题处理逻辑，使用多线程并发提高效率，增强代码结构和可读性。 2025-05-29 15:05:22 +08:00