mirror of
https://github.com/zhenxun-org/zhenxun_bot.git
synced 2025-12-14 21:52:56 +08:00
* ✨ feat(llm): 全面重构LLM服务模块,增强多模态与工具支持 🚀 核心功能增强 - 多模型链式调用:新增 `pipeline_chat` 支持复杂任务流处理 - 扩展提供商支持:新增 ARK(火山方舟)、SiliconFlow(硅基流动) 适配器 - 多模态处理增强:支持URL媒体文件下载转换,提升输入灵活性 - 历史对话支持:AI.analyze 方法支持历史消息上下文和可选 UniMessage 参数 - 文本嵌入功能:新增 `embed`、`analyze_multimodal`、`search_multimodal` 等API - 模型能力系统:新增 `ModelCapabilities` 统一管理模型特性(多模态、工具调用等) 🔧 架构重构与优化 - MCP工具系统重构:配置独立化至 `data/llm/mcp_tools.json`,预置常用工具 - API调用逻辑统一:提取通用 `_perform_api_call` 方法,消除代码重复 - 跨平台兼容:Windows平台MCP工具npx命令自动包装处理 - HTTP客户端增强:兼容不同版本httpx代理配置(0.28+版本适配) 🛠️ API与配置完善 - 统一返回类型:`AI.analyze` 统一返回 `LLMResponse` 类型 - 消息转换工具:新增 `message_to_unimessage` 转换函数 - Gemini适配器增强:URL图片下载编码、动态安全阈值配置 - 缓存管理:新增模型实例缓存和管理功能 - 配置预设:扩展 CommonOverrides 预设配置选项 - 历史管理优化:支持多模态内容占位符替换,提升效率 📚 文档与开发体验 - README全面重写:新增完整使用指南、API参考和架构概览 - 文档内容扩充:补充嵌入模型、缓存管理、工具注册等功能说明 - 日志记录增强:支持详细调试信息输出 - API简化:移除冗余函数,优化接口设计 * 🎨 feat(llm): 统一LLM服务函数文档格式 * ✨ feat(llm): 添加新模型并简化提供者配置加载 * 🚨 auto fix by pre-commit hooks --------- Co-authored-by: webjoin111 <455457521@qq.com> Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
173 lines
5.6 KiB
Python
173 lines
5.6 KiB
Python
"""
|
||
LLM 预设配置
|
||
|
||
提供常用的配置预设,特别是针对 Gemini 的高级功能。
|
||
"""
|
||
|
||
from typing import Any
|
||
|
||
from .generation import LLMGenerationConfig
|
||
|
||
|
||
class CommonOverrides:
|
||
"""常用的配置覆盖预设"""
|
||
|
||
@staticmethod
|
||
def creative() -> LLMGenerationConfig:
|
||
"""创意模式:高温度,鼓励创新"""
|
||
return LLMGenerationConfig(temperature=0.9, top_p=0.95, frequency_penalty=0.1)
|
||
|
||
@staticmethod
|
||
def precise() -> LLMGenerationConfig:
|
||
"""精确模式:低温度,确定性输出"""
|
||
return LLMGenerationConfig(temperature=0.1, top_p=0.9, frequency_penalty=0.0)
|
||
|
||
@staticmethod
|
||
def balanced() -> LLMGenerationConfig:
|
||
"""平衡模式:中等温度"""
|
||
return LLMGenerationConfig(temperature=0.5, top_p=0.9, frequency_penalty=0.0)
|
||
|
||
@staticmethod
|
||
def concise(max_tokens: int = 100) -> LLMGenerationConfig:
|
||
"""简洁模式:限制输出长度"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.3,
|
||
max_tokens=max_tokens,
|
||
stop=["\n\n", "。", "!", "?"],
|
||
)
|
||
|
||
@staticmethod
|
||
def detailed(max_tokens: int = 2000) -> LLMGenerationConfig:
|
||
"""详细模式:鼓励详细输出"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.7, max_tokens=max_tokens, frequency_penalty=-0.1
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_json() -> LLMGenerationConfig:
|
||
"""Gemini JSON模式:强制JSON输出"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.3, response_mime_type="application/json"
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_thinking(budget: float = 0.8) -> LLMGenerationConfig:
|
||
"""Gemini 思考模式:使用思考预算"""
|
||
return LLMGenerationConfig(temperature=0.7, thinking_budget=budget)
|
||
|
||
@staticmethod
|
||
def gemini_creative() -> LLMGenerationConfig:
|
||
"""Gemini 创意模式:高温度创意输出"""
|
||
return LLMGenerationConfig(temperature=0.9, top_p=0.95)
|
||
|
||
@staticmethod
|
||
def gemini_structured(schema: dict[str, Any]) -> LLMGenerationConfig:
|
||
"""Gemini 结构化输出:自定义JSON模式"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.3,
|
||
response_mime_type="application/json",
|
||
response_schema=schema,
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_safe() -> LLMGenerationConfig:
|
||
"""Gemini 安全模式:使用配置的安全设置"""
|
||
from .providers import get_gemini_safety_threshold
|
||
|
||
threshold = get_gemini_safety_threshold()
|
||
return LLMGenerationConfig(
|
||
temperature=0.5,
|
||
safety_settings={
|
||
"HARM_CATEGORY_HARASSMENT": threshold,
|
||
"HARM_CATEGORY_HATE_SPEECH": threshold,
|
||
"HARM_CATEGORY_SEXUALLY_EXPLICIT": threshold,
|
||
"HARM_CATEGORY_DANGEROUS_CONTENT": threshold,
|
||
},
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_multimodal() -> LLMGenerationConfig:
|
||
"""Gemini 多模态模式:优化多模态处理"""
|
||
return LLMGenerationConfig(temperature=0.6, max_tokens=2048, top_p=0.8)
|
||
|
||
@staticmethod
|
||
def gemini_code_execution() -> LLMGenerationConfig:
|
||
"""Gemini 代码执行模式:启用代码执行功能"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.3,
|
||
max_tokens=4096,
|
||
enable_code_execution=True,
|
||
custom_params={"code_execution_timeout": 30},
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_grounding() -> LLMGenerationConfig:
|
||
"""Gemini 信息来源关联模式:启用Google搜索"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.5,
|
||
max_tokens=4096,
|
||
enable_grounding=True,
|
||
custom_params={
|
||
"grounding_config": {"dynamicRetrievalConfig": {"mode": "MODE_DYNAMIC"}}
|
||
},
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_cached() -> LLMGenerationConfig:
|
||
"""Gemini 缓存模式:启用响应缓存"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.3,
|
||
max_tokens=2048,
|
||
enable_caching=True,
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_advanced() -> LLMGenerationConfig:
|
||
"""Gemini 高级模式:启用所有高级功能"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.5,
|
||
max_tokens=4096,
|
||
enable_code_execution=True,
|
||
enable_grounding=True,
|
||
enable_caching=True,
|
||
custom_params={
|
||
"code_execution_timeout": 30,
|
||
"grounding_config": {
|
||
"dynamicRetrievalConfig": {"mode": "MODE_DYNAMIC"}
|
||
},
|
||
},
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_research() -> LLMGenerationConfig:
|
||
"""Gemini 研究模式:思考+搜索+结构化输出"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.6,
|
||
max_tokens=4096,
|
||
thinking_budget=0.8,
|
||
enable_grounding=True,
|
||
response_mime_type="application/json",
|
||
custom_params={
|
||
"grounding_config": {"dynamicRetrievalConfig": {"mode": "MODE_DYNAMIC"}}
|
||
},
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_analysis() -> LLMGenerationConfig:
|
||
"""Gemini 分析模式:深度思考+详细输出"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.4,
|
||
max_tokens=6000,
|
||
thinking_budget=0.9,
|
||
top_p=0.8,
|
||
)
|
||
|
||
@staticmethod
|
||
def gemini_fast_response() -> LLMGenerationConfig:
|
||
"""Gemini 快速响应模式:低延迟+简洁输出"""
|
||
return LLMGenerationConfig(
|
||
temperature=0.3,
|
||
max_tokens=512,
|
||
top_p=0.8,
|
||
)
|