服务端 - AI算法后端服务，LLM大模型后端架构，服务端架构;

vue

LLM_Abstract

BaiDu: 千帆模型

ZiJie：各类模型

http

customer

公告解读

call/stream

record_wrap

模型查询API：curl http://127.0.0.1:8087/llm_general/models模型请求API：curl -X 'POST' \\  'http://127.0.0.1:8087/llm_general/general?platform=ali' \\  -H 'accept: application/json' \\  -H 'Content-Type: application/json' \\  -d '{  \"messages\": [    {      \"role\": \"user\

请求校验

云雀Skylark

msg

项目/应用

ALi: 通义千问模型

tcp

知识库搭建

BaiDuLLM

阿里百炼

query_token

...

消息服务

backen service

developer

字节

字段校验

百度千帆

                              Nginx

通义万相AIGC

平台

熔断机制

Doubao-pro-32k

llm_model

ERNIE-4.0-8K

datahouse

Requests

spiders

timer_wrap

qwen-plus

openai

qwen-turbo

ZiJieLLM

缓存机制

架构： 后端工程

qwen-max

豆包Doubao

ALiYunLLM

DZH: 本地大模型

大智慧大模型平台

通义千问 LLM

BaiChuan

rsp

因子回答

核心痛点：1.原平台，调用文档复杂，数据结构不一致。2.原平台的交互方式，交互效率无法控制。3.设计通用的交互应用，满足异步效率，并发高效，流式处理。4.设计自动处理超时日志，AI交互日志，缓存，权限校验。

class MessageObject(BaseModel):    \"\"\"    [{\"role\": \"system\

auth_wrap

ERNIE-3.5-8K

架构： 主流大模型

application

赋能

路演/业绩解读

Internet

架构图图例

摇奖ERNIE4.0

llm_meta

异步任务

cache_wrap

点评总结

kylark-pro-public

研报解读

Doubao-lite-32k

行情问答

接口响应

OpenAI

kylark-lite-public

队列服务

website

query_access

接口/方法

ERNIE-3.5

OpenAI平台通用

LLM_Factory

数据