服务端 - AI算法后端服务,LLM大模型后端架构,服务端架构;
2025-05-29 13:59:03 10 举报
NLP,LLM,算法大模型的抽象和后端服务搭建,服务端架构图; 对接多模态模型应用,后端接口支持并发,异步任务,数据token统计,对接数据仓库,前端请求等
作者其他创作
大纲/内容
BaiChuan
LLM_Abstract
BaiDu: 千帆模型
ZiJie:各类模型
路演/预期解读
call/stream
record_wrap
...
核心痛点:1.原平台,调用文档复杂,数据结构不一致。2.原平台的交互方式,交互效率无法控制。3.设计通用的交互应用,满足异步效率,并发高效,流式处理。4.设计自动处理超时日志,AI交互日志,缓存,权限校验。
class MessageObject(BaseModel): \"\"\" [{\"role\": \"system\
模型查询API:curl http://127.0.0.1:8087/llm_general/models模型请求API:curl -X 'POST' \\ 'http://127.0.0.1:8087/llm_general/general?platform=ali' \\ -H 'accept: application/json' \\ -H 'Content-Type: application/json' \\ -d '{ \"messages\": [ { \"role\": \"user\
云雀Skylark
auth_wrap
ERNIE-3.5-8K
架构: 主流大模型
项目/应用
ALi: 通义千问模型
知识库搭建
赋能
BaiDuLLM
资金分析
阿里百炼
query_token
字节
百度千帆
架构图图例
摇奖ERNIE4.0
llm_meta
cache_wrap
通义万相AIGC
平台
研报分析
kylark-pro-public
Doubao-pro-32k
llm_model
ERNIE-4.0-8K
公告解读
Doubao-lite-32k
因子回答
OpenAI
kylark-lite-public
timer_wrap
query_access
qwen-plus
openai
接口/方法
ERNIE-3.5
OpenAI平台通用
qwen-turbo
ZiJieLLM
LLM AbstractClass
qwen-max
豆包Doubao
LLM_Factory
数据
ALiYunLLM
DZH: 本地大模型
大智慧大模型平台
通义千问 LLM
0 条评论
下一页