优化对话转工单功能，添加重试机制以提高稳定性，限制处理会话数量为前2000个，更新示例查询和文件路径，增强代码可读性和维护性。同时新增数据库客户端功能，支持批量处理会话数据并导出至Excel。
This commit is contained in:
@@ -23,16 +23,6 @@ API_KEY_LIST=[
|
||||
"sk-kzhxlqvqcxlnbdgnpalqnzumkmspepkttkgbophnkqanainw",
|
||||
"sk-bzttugqtlskrvguvhckwamdssvgmgnrqpsialpdbskfsyyak",
|
||||
"sk-tovmogiablsoeabwgqyvevpcfichyjpuzqdymmvksspdrtqt",
|
||||
"sk-wqdpapdkisovziexgcyxvumpwzbjnhqbxvcqcspzctjhyhjk",
|
||||
"sk-bbntrnifrtdzhhgrtlrhvwbnaysuszviemshdakxonnnymnb",
|
||||
"sk-vmpnwjxersrwybmfhfxgsvbmhsmpjldxseiyxovnysrlbuzi",
|
||||
"sk-nscsxwfqigkfpfqfzebkmaickxjzbhtfwywdppmmobrrbfnw",
|
||||
"sk-irbxuakhntsrusrympiubkkjbkabbfbdgpstqnxbztzdtxdq",
|
||||
"sk-hcfojzczbgwgcuhzxkicxqrhadurtakwbawiesyxyvksmcoz",
|
||||
"sk-wiyosqgyutjypgzibveiwkgqwfkfsnonrmvjfbvrbkoicciv",
|
||||
"sk-ocglenyvxkkvzupzumoypnyndjpjqhivyqpedusunboglspz",
|
||||
"sk-dtbawdwajkhdctrukundbkqwswzfzihqbebfuvqnfnounbuc",
|
||||
"sk-zqiyiqtbwqgyeenkvppymfbkspriolwbnxnjakugzxyvcuql",
|
||||
"sk-wtnjpejveiobtvzsmnuaefqkocsafbfyrtqkkyqardndtxcs",
|
||||
"sk-gqdvtrwvzxewnagwsfakrvajtzwgcknatpflkesyqhzjrlal",
|
||||
"sk-plivglrkxahodgtgjlaqdjusdoerxspjbcbizaybicarfyuk",
|
||||
@@ -96,6 +86,26 @@ API_KEY_LIST=[
|
||||
"sk-jrdzerhmvrtvzawkksowbgkggkubwfquplmrxbdhespqgtis",
|
||||
"sk-jjbpnkbeupsxyclcivbhizcfpfjrppddunbqynyjkqhtmpwu",
|
||||
"sk-oqehupcveovkjqqtxypqyifidcdissuyehwrkdwgruoyjkpq",
|
||||
"sk-jnnmltwtqwuoyagoogzzeraczmyfxhoairiddgayksqdfnbr",
|
||||
"sk-eghuepxnbcollzrjwbzqvbnhiiwagkejaclyhvaodeqgwrog",
|
||||
"sk-poszkbjdmamimconjustnrxxqusuzlryxkrzkpronlenrmen",
|
||||
"sk-zolvcegarsrwqhwgvwzgtqupodsdmckjiocyvoyldbkusbzc",
|
||||
"sk-ywfafulcniaqdgdcsnbtqquaqeuiqlkcnknkaflwxyuemcow",
|
||||
"sk-hhedmocgtfpywbbpwamgfkygrahiqsuurntlbqqbmjwfipmm",
|
||||
"sk-gzdqfoyvulrqscdpjlwlufdecrsyjpmwpkknuhnjsvtyftox",
|
||||
"sk-bkcufidsebujopqqwexwxwpmevrpelmvxzdymncvllcyojce",
|
||||
"sk-olabhscekudzkyudypkcjvehwqunagubwdmtppugrjmcptwv",
|
||||
"sk-zpdqyocliebhqpkuwvebpgcnfjdkvavdltimllmgkthwnwph",
|
||||
"sk-gvhchlfelocjniuydusyhhwacnomxnvucjonzkhtqoplnbcr",
|
||||
"sk-lzneagvdxhisodndnxnpkntghpkimjmjsebiqdzaoqzuhbla",
|
||||
"sk-xotcfdkigykevngedupitbcatjqppxmcibjtcebyoglykuxz",
|
||||
"sk-ufydqsdqnwsegaqwtappzwdyzqnoblyunfvslomnnmykedgk",
|
||||
"sk-jwasykftbkyjzdqlwcxuicrwzxsbhttilxfefbrozrznpwlv",
|
||||
"sk-xngteojwkxmftyaabjdwwgyoadspsowmcpcqobteutdcfmnr",
|
||||
"sk-akzkgniebruqrtuqskvlibkpcxjuazhcatysptkfyqivldfn",
|
||||
"sk-vpqkxtmcgkggllexchzysuewyfaoexzasoumxngdplzgwksw",
|
||||
"sk-fvcsqdbqmdlwxzjyofrilusqcypbfyczogaqwqrjrwvojmer",
|
||||
"sk-htjprscvfgskjtjzpxxxjhyymshagogykpawxekrrfbgftyx",
|
||||
]
|
||||
|
||||
class APIKeyManager:
|
||||
|
||||
+13
-48
@@ -100,10 +100,10 @@ class XinferenceReRankerModel:
|
||||
Returns:
|
||||
List[dict]: 重排序后的文档列表，每个元素包含document内容、相关性分数和原始索引
|
||||
"""
|
||||
url = "http://10.1.16.39:9995/v1/rerank"
|
||||
url = "http://172.20.0.145:9995/v1/rerank"
|
||||
|
||||
|
||||
params = {"documents": documents, "query": query, "top_n": top_k, "return_documents": True, "model": os.getenv("RERANKER_MODEL_NAME")}
|
||||
params = {"documents": documents, "query": query, "top_n": top_k, "return_documents": True, "model": "bge-reranker-v2-m3"}
|
||||
headers = {
|
||||
"Authorization": "Bearer <token>", # 这里需要替换为实际的token
|
||||
"Content-Type": "application/json"
|
||||
@@ -140,8 +140,7 @@ class OpenAiLLM:
|
||||
|
||||
def invoke(self, user_prompt="你是谁？", need_retry=True):
|
||||
# 初始化 OpenAI 客户端
|
||||
api_key = APIKeyManager.get_api_key()
|
||||
client = OpenAI(api_key=api_key, base_url=self._url)
|
||||
|
||||
|
||||
max_retries = 3
|
||||
retry_count = 0
|
||||
@@ -149,6 +148,8 @@ class OpenAiLLM:
|
||||
if need_retry:
|
||||
while retry_count < max_retries:
|
||||
try:
|
||||
api_key = APIKeyManager.get_api_key()
|
||||
client = OpenAI(api_key=api_key, base_url=self._url)
|
||||
# 创建 Completion 请求. 超时120s
|
||||
completion = client.chat.completions.create(
|
||||
model=self._model,
|
||||
@@ -162,11 +163,13 @@ class OpenAiLLM:
|
||||
retry_count += 1
|
||||
if retry_count == max_retries:
|
||||
logging.error(f"LLM 重试{max_retries}次后仍然失败: {e}")
|
||||
return ""
|
||||
raise e
|
||||
else:
|
||||
time.sleep(5*retry_count) # 重试前等待1秒
|
||||
else:
|
||||
# 创建 Completion 请求. 超时120s
|
||||
api_key = APIKeyManager.get_api_key()
|
||||
client = OpenAI(api_key=api_key, base_url=self._url)
|
||||
completion = client.chat.completions.create(
|
||||
model=self._model,
|
||||
messages=[{'role': 'user', 'content': user_prompt}],
|
||||
@@ -180,53 +183,15 @@ if __name__ == "__main__":
|
||||
reranker = SiliconFlowReRankerModel()
|
||||
|
||||
# 测试用例1：简单问题
|
||||
query = "他想做什么"
|
||||
documents = ["她想去公园跑步", "她想换一个新手机", "明天她想出去旅游"]
|
||||
query = "如何通过【电力经济评价软件】的【打开】功能加载工程文件?"
|
||||
documents = ["\n# (电力建设计价通软件) （概预算工程）工程备份管理\n## 操作步骤\n**方法一：** \n\n1、查找工程：输入工程文件名称的关键字，点击“查找”按钮，可以快速定位需查找的工程；\n\n\n\n2、根据时间点找备份工程：选中对应工程文件，在右侧选中“备份时间”的备份记录，点击“还原工程”或者“另存为工程”；\n\n **还原工程：** 将工程还原保存在原路径下；\n\n **另存为工程：** 另存为一个新工程，可选择保存路径，保存后，可点击文件——打开，浏览到另存的新工程打开。\n\n注：不确定备份是否是需要时，优先建议另存为工程。\n\n\n\n **方法二：** \n\n1、点击桌面软件快捷图标，右键属性—打开文件位置，直接定位软件安装根目录。 \n\n\n\n2、在软件安装根目录，点击“数据备份”文件夹，进入到文件夹内，根据修改日期找到对应工程，右键复制粘贴至桌面。\n\n\n\n\n\n3、定位桌面复制粘贴出来的数据工程，右键\"重命名\"，将bak修改成相应的文件后缀（概预算工程及施工图预算工程后缀为zwzj，招标工程及投标工程后缀为zwqd），然后点击“确定”，再通过软件的“文件”——“打开”按钮去浏览工程打开。\n",
|
||||
"\n# （配网计价通D3）插件管理/全国版和专版切换\n## 使用场景\n1.打开软件提示“当前工程文件为全国版文件，请使用全国版软件打开！”，该如何打开这个工程呢？\n\n\n\n2.打开软件提示“当前工程文件为辽宁版文件，请确认是否要在全国版软件中打开？”，这是什么意思？点击“确定”又可以打开工程？\n\n\n## 知识原理\n\n## 费用去向\n\n",
|
||||
"\n(电力建设计价通软件) 云造价--停用\n# 工程文件管理\n\n## 【主页】中点击“云端工程管理”，进入博微服务大厅；\n\n## 工程文件管理界面中显示云端备份的工程列表，可支持\n\n## 高级设置：可对历史版本数量进行设置，默认数量为10，可设置（5-15）；\n\n## 历史版本：勾选单个工程，点击“历史版本”可查看该工程保存的不同时间节点的历史工程；\n\n## 在线查阅：可查看工程数据，仅为只读模式不支持任何编辑；\n\n## 下载；选择需要的工程点击“下载”，可下载软件版本工程；\n\n",
|
||||
"\n（配网D3软件）打开工程\n\n# （配网D3软件）打开工程\n\n## 功能入口\n各界面点击“文件”按钮——“打开”按钮 \n\n\n## 操作步骤\n**打开工程：** \n\n点击“打开”按钮，浏览到工程存放位置，选中工程文件，点击“打开”即可。"]
|
||||
results = reranker.rerank(query, documents)
|
||||
print(f"测试用例1 - 查询:{query}")
|
||||
for idx, item in enumerate(results):
|
||||
print(f"{idx+1}. 文档: {item['document']}, 分数: {item['score']}")
|
||||
print("-" * 50)
|
||||
|
||||
# 测试用例2：技术问题
|
||||
query = "Python如何处理JSON数据"
|
||||
documents = [
|
||||
"Python中可以使用json模块来处理JSON数据，例如json.loads()将JSON字符串转换为字典",
|
||||
"Java提供了多种处理JSON的库，比如Jackson和Gson",
|
||||
"在Python中，可以使用pandas库来分析CSV数据",
|
||||
"JavaScript可以使用JSON.parse()方法解析JSON字符串"
|
||||
]
|
||||
results = reranker.rerank(query, documents)
|
||||
print(f"测试用例2 - 查询:{query}")
|
||||
for idx, item in enumerate(results):
|
||||
print(f"{idx+1}. 文档: {item['document']}, 分数: {item['score']}")
|
||||
print("-" * 50)
|
||||
|
||||
# 测试用例3：医疗问题
|
||||
query = "高血压的症状有哪些"
|
||||
documents = [
|
||||
"高血压的常见症状包括头痛、头晕、耳鸣和视力模糊",
|
||||
"糖尿病的症状包括多饮、多尿和体重减轻",
|
||||
"心脏病的症状通常包括胸痛、呼吸急促和疲劳",
|
||||
"高血压患者应该定期监测血压，保持健康的生活方式"
|
||||
]
|
||||
results = reranker.rerank(query, documents)
|
||||
print(f"测试用例3 - 查询:{query}")
|
||||
for idx, item in enumerate(results):
|
||||
print(f"{idx+1}. 文档: {item['document']}, 分数: {item['score']}")
|
||||
print("-" * 50)
|
||||
|
||||
# 测试用例4：长文本查询和文档
|
||||
query = "人工智能在医疗领域的应用及其伦理问题"
|
||||
documents = [
|
||||
"人工智能在医疗诊断中的应用已经显示出良好的效果，例如通过分析医学影像来检测疾病。然而，这也引发了关于医生角色和责任的伦理问题。",
|
||||
"在教育领域，人工智能可以提供个性化学习体验，适应不同学生的学习进度和风格。",
|
||||
"医疗伦理问题主要包括患者隐私保护、知情同意和医疗资源分配等方面。",
|
||||
"人工智能技术在金融领域的应用主要集中在风险评估、欺诈检测和算法交易等方面。"
|
||||
]
|
||||
results = reranker.rerank(query, documents)
|
||||
print(f"测试用例4 - 查询:{query}")
|
||||
for idx, item in enumerate(results):
|
||||
print(f"{idx+1}. 文档: {item['document']}, 分数: {item['score']}")
|
||||
print("-" * 50)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user