讯飞端侧模型调用流程图
2024-12-10 15:50:16 1 举报
讯飞端侧模型调用流程图
作者其他创作
大纲/内容
异步调用模型,注册LLM Client通讯监听事件LLM->registCbs(new MyCbs());
LLMManager::init({\"appid\
开始
init初始化参数说明:appID:创建应用后,生成的应用ID apiKey:创建应用后,生成的唯一应用标识 apiSecret:创建应用后,生成的唯一应用秘钥edge.cfg:模型调用参数: model_param.max_kvcache_len: kvcache长度model_param.max_seq_len: 序列最长长度model_param.model_path:模型本地路model.ability.prompt:模型调用prompt model.ability.prompt_template:模型调用prompt模板
LLMManager::create(\"1_3B\
创建上下文:ContextInst* inst = LLM->createContext(\"chat\");
收藏
收藏
0 条评论
下一页