视频方案流程
2021-02-25 17:45:11 0 举报
aa
作者其他创作
大纲/内容
用户
构建spark on k8s 环境
企业账号审批
订阅
平台账号审批
单独服务器1
授权
第三方
授权服务暴露在网关
对象存储S3
服务授权整个过程
评估资源，是一台还是多台独立服务器
license
能否容器化？
AI平台
6、访问
第三方服务器FTP
上架申请单
实时任务kafka概念图
容器安装spark读取信息
A容器
nginx
pod
FTP
第三方语音提供方A
Ingress
鉴权信息集群信息节点信息
3、①若返回结果第三方语音提供方A接收到结果，则不存队列②若返回结果，A未接收返回结果则B会发送三次请求结果给A，均失败，则会把异步调用结果写入到队列。
②拉取语音文件(建议是bytes[])
请求
模型文件
部署
推理服务
MQ队列
主机3
ruqin.domain.com
数据存储在hadoop(hive/hdfs)
admin
Y
B容器
B厂家
通知
物理机
结果文件：/20201207/xxx-15.csv
直接部署到平台进行服务认证
大数据类型数据源
spark
存储卷持久化
语音算法镜像
N
表字段信息表名数据集标识
hadoop
空间
3、返回
创建
model
dataNode
克隆部署实例调整生产资源池部署
独立服务器
视频打框
工程文件
返回校验服务结果
2、算法镜像从MQ中取出请求
截帧调用能力算法
打通网络校验
看后续生产需求，看可抽取N台CPU服务器(抽离出K8S集群)
返回DataNodes(包括主机/端口)
语音数据地址
若认证服务、授权服务不能容器化：1、先单独拎出一台CPU服务器，可先预算下第三方算法的认证服务，授权服务资源，看一台机子是否合理。
缓存redis
选择大数据类型数据源
hadoop配置文件hive配置文件hosts文件Kerberos鉴权文件
随着容器启动注入
10合
能力部署发布至算法商城流程图
1、请求认证服务的发起方，应该是平台镜像发起请求认证服务，且虚化的虚拟机IP地址要固定，或者高可用，转发地址要固定2、认证服务请求周期(24小时)
2、确定保存通过鉴权接口访问大数据平台，
定时调度框架
原子能力
ES
开始
MySQL
视觉显示
读取
数据集内容
定时调用
疑问：1、针对第2步，callback返回结果，需逆向打通第三方语音提供方A的网络(算法会飘移，不好打通)，怎么打通？成本比较高，是否让语音提供方直接去MQ队列去获取结果？
生产者
10离
某app应用
1、nginx端口映射外网端口2、域名与对应ip在hosts映射(部署nginx的主机)
renlian-service
/20201207/xxx-15.csv
FTP数据源
关联
认证服务
审核通过
启动容器进行测试
原子能力可定义环境变量模板以及部署所需的资源
能力
chepai-service
算法商城
node3
K8S
发送
转成流
读取数据
部署上架
授权服务
SDK调用
csv文件数据集标识文件路径文件标识
左侧选择能力
算法能力镜像
启动
1、把包含语音文件bytes数组方法的请求存入MQ
部署方案
AI对接大数据平台
选择能力以及版本创建部署
通过？
paas平台申请组件/外部服务器/虚拟机
订阅服务
spark driver
启动部署
截帧
讯飞B
格式化保存图片
图片上传
返回处理后的数据帧
hdfs
消费者
离线推理流程
主机2
测试部署
若认证服务、服务授权不能容器化：1、先单独拎出一台CPU服务器，可先预算下第三方算法的认证服务，DB存储，缓存等的资源，看一台机子是否合理。2、若不合理，则拎出2台CPU服务器，一个做认证服务，一个做DB存储与缓存；
截帧过滤
无法部署至AI平台使用
SDK
数据集
加速落盘/20201207/xxx-15.csv
校验授权实际请求地址http://ip:port/url_A
node1
如何存？
推理调度框架
1、上传
图片集数据集标识图片路径图片标识
原子能力1
renlian.domain.com
存的是云盘空间id以及路径从而获取数据集内容
4、若需要获取异步调用返回结果则需与队列建立联系，通过标识获取访问结果
notebook实例获取云盘配置文件信息
③转译后callback返回结果到第三方服务器
网关
公共云盘
5、容器启动时配置文件挂载到notebook
模型
校验授权
返回结果(结构化数据)
2、通过算法调用处理返回相应的调用结果
内置环境变量1
外部独立服务器(N台)
spark运行在k8s集群
csv存的是容器云盘空间id以及路径？
内置环境变量2
创建Pod
podexecutor
ruqin-service
功能体验
语音数据地址http地址
定时任务
离线任务
启用
配置到
选择算法
在线部署发布
kafka
是否可在paas层申请redis/mysql组件？
新增
单独服务器2
是否有独立服务器？
1、可发送bytes数组，callback方法为参数的请求
申请QPS以及备注信息内容
输出结果
数据源管理
云盘
nameNode
可发布超市
server { listen 80; server_name nginx_service.domain.com;location /renlian { proxy_pass http://renlian.domain.com; index index.html index.htm; }location /chepai { proxy_pass http://chepai.domain.com; index index.html index.htm;}
存放数据集
1、创建数据源，给用户授权该数据源2、用户订阅推理服务3、用户创建离线任务(选择输入数据集、输出结果、资源、调度周期等)4、数据源中的数据集存放在哪里？ 比如FTP、对象存储S3、存放的可能csv文件，该文件存的是云 盘空间id以及所在路径，从而获得数据集内容；5、启动定时调用流程，若生效且到达触发定时任务的时间点，则读入数据集内容，读取用户订阅信息(运行资源信息)以及推理服务。6、请求推理调度框架，启动该任务并等待返回结果集。
4、这5个文件存放到云盘并在库表记录其路径与名称
A厂家
创建8个副本
数据源
模型版本
大数据平台
ZK协调hive集群
离线语音转写异步调用
算法人员
生产部署
结束
①请求通知
redis组件
基于模型创建
主机1
能力版本
离线(ES/S3/FTP/HIVE等)、实时所需的模块离线：数据源、数据集、推理服务、离线任务、定时调用框架各个模块之间关系是如何的？1、平台上创建数据源，如：ES、S3、FTP、HIVE等2、数据源有多个数据集，数据集类型可有多种 FTP/S3：非结构化数据集 ES/HIVE：结构化数据集 数据集需要从云盘中挂载过来3、数据集可为【图片/视频/语音/文本/库表】4、数据源需要授权给用户，可通过综资同步到AI平台5、用户订阅推理服务6、用户创建定时任务7、定时任务调用推理调度框架，接收到请求后，启动推理服务，然后执行任务，执行完毕后，释放资源8、输出推理结果
综资同步数据源时，会把数据源连接信息以及文件路径信息记录到库表
MySQL组件
视频入口
服务器规划
服务地址code：env_Avalue：${service_url_A}
http://ip:port/url_Ahttp://ip:port/url_B
企业账号
存储
输出Topic
1、表达式定义2、kafka
个人用户
发布到平台？
使用CPU服务器可创建虚拟机进行虚化做认证服务与授权服务
version
时代云英算法
高可用
已创建
提供
user.keytab文件
上传本地文件
node2
notebook任务
解码适配
校验授权实际请求地址http://ip:port/url_B
k8s集群
1、运维人员在AI平台部署一个网关，暴露ip与port2、A厂家把校验服务的地址url_A部署到网关，B厂家也是3、把AB厂家的服务地址配到字典， service_url_A：http://ip:port/url_A service_url_B：http://ip:port/url_B4、原子能力中配置环境变量，如服务地址： code：env_A value：${service_url_A}5、准备上述内容后，若在原子能力上的环境变量配置好key与value，后端可以把字典值对应的value值，可以写入到通配符里边6、此时容器启动时，请求校验服务，若原子能力的服务地址在网关上已注册，则返回结果，允许通过，启动容器成功；
直连数据库获取库表
调用
输入Topic
chepai.domain.com
这些域名要在hosts文件与主机做映射
原子能力2
收藏
收藏
0 条评论
回复 删除
下一页
