SCM
2023-12-11 18:02:00 1 举报AI智能生成
scm
作者其他创作
大纲/内容
SCM
快速部署
安装前部署
服务名 说明 是否必选
ZooKeeper 提供选举及分布式锁服务 是
内容管理服务 提供内容管理核心功能，负责文件、批次和目录的增删查改，后台任务的创建与执行 是
配置服务 提供配置管理功能，负责管理 SequoiaCM 的业务配置和节点配置 是
调度服务 提供调度管理功能，负责调度文件的内容迁移和清理 否
注册中心 提供服务治理功能，负责 SequoiaCM 集群中各微服务间的治理 是
网关服务 提供路由和负载均衡功能，负责对驱动的请求进行路由和分发 是
认证服务 提供认证和权限控制功能 是
监控服务 提供监控功能，负责业务统计和集群状态监控的功能 否
消息队列服务 提供集群内消息队列功能 否
全文检索服务 提供文件的全文检索功能，具体说明如下： 否
● 使用该服务前，用户需提前部署与 SCM 版本匹配的 Elasticsearch，并安装 IK 中文分词器
● 如果需要全文检索图片文件，用户还需安装 Tessract 图片识别引擎
OM 管理服务 提供 SequoiaCM 集群的可视化管理功能 否
S3 服务 提供 S3 协议处理能力 否
链路追踪服务 提供分布式链路追踪能力 否
ZooKeeper 提供选举及分布式锁服务 是
内容管理服务 提供内容管理核心功能，负责文件、批次和目录的增删查改，后台任务的创建与执行 是
配置服务 提供配置管理功能，负责管理 SequoiaCM 的业务配置和节点配置 是
调度服务 提供调度管理功能，负责调度文件的内容迁移和清理 否
注册中心 提供服务治理功能，负责 SequoiaCM 集群中各微服务间的治理 是
网关服务 提供路由和负载均衡功能，负责对驱动的请求进行路由和分发 是
认证服务 提供认证和权限控制功能 是
监控服务 提供监控功能，负责业务统计和集群状态监控的功能 否
消息队列服务 提供集群内消息队列功能 否
全文检索服务 提供文件的全文检索功能，具体说明如下： 否
● 使用该服务前，用户需提前部署与 SCM 版本匹配的 Elasticsearch，并安装 IK 中文分词器
● 如果需要全文检索图片文件，用户还需安装 Tessract 图片识别引擎
OM 管理服务 提供 SequoiaCM 集群的可视化管理功能 否
S3 服务 提供 S3 协议处理能力 否
链路追踪服务 提供分布式链路追踪能力 否
上传压缩包并解压
tar -zxvf sequoiacm-3.2.0-release.tar.gz -C /opt/data/
配置文件
vi /opt/sequoiacm/sequoiacm-deploy/conf
子主题
./scm.pycluster --deploy--conf sequoiacm-deploy/conf/deploy.cfg
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
子主题
SCM
功能介绍
站点( Site )
1、Content Server 可以划分为若干站点 ，至少需要划分一个主站点。相同的文件可以同时存储在所有不同的站点, 也可以存储在一个或多个站点上。
2、不同的站点之间独立管理自己的数据存储 ，用于管理和存储文件内容。 数据存储之间互相独立，互不干扰。
3、站点按照功能分为以下两类：
主站点：存储系统元数据和数据。对外提供完整的 SequoiaCM 业务功能。同时为其它 分站点提供元数据服务。一个最简的 SequoiaCM 系统仅需要一个主站点 即可，不需要其它 分站点。
分站点： 仅用于存储数据。必须依赖主站点的元数据存储服务才能对外提供正常的业务功能。
2、不同的站点之间独立管理自己的数据存储 ，用于管理和存储文件内容。 数据存储之间互相独立，互不干扰。
3、站点按照功能分为以下两类：
主站点：存储系统元数据和数据。对外提供完整的 SequoiaCM 业务功能。同时为其它 分站点提供元数据服务。一个最简的 SequoiaCM 系统仅需要一个主站点 即可，不需要其它 分站点。
分站点： 仅用于存储数据。必须依赖主站点的元数据存储服务才能对外提供正常的业务功能。
内容服务（Content Server）
Content Server 负责 SequoiaCM 系统的主要业务逻辑。支持如下功能：
• 文件的读、写、删功能
• 文件跨站点缓存功能
• 文件的迁移功能
• 文件的清理功能
• 单文件缓存功能
一个Content Server 只能归属于一个站点。一个站点下可以有若干个 Content Server ，Content Server 之间互相独立，互相不依赖。Content Server 作为独立进程运行在服务器上，用户通过驱动连接 Content Server ，并使用 SequoiaCM 的功能。
• 文件的读、写、删功能
• 文件跨站点缓存功能
• 文件的迁移功能
• 文件的清理功能
• 单文件缓存功能
一个Content Server 只能归属于一个站点。一个站点下可以有若干个 Content Server ，Content Server 之间互相独立，互相不依赖。Content Server 作为独立进程运行在服务器上，用户通过驱动连接 Content Server ，并使用 SequoiaCM 的功能。
工作区
工作区用于承载具体业务的逻辑单元，可以存储业务相关性较大的文件等元素。工作区一般跟用户业务一一对应。
工作区的元数据存储在主站点中，数据可以存储在多个分站点中，根据具体业务需求指定。
工作区的元数据存储在主站点中，数据可以存储在多个分站点中，根据具体业务需求指定。
W1 元数据在主站点上，数据可以落在主站点、 分站点1、分站点2 上。
W2 元数据在主站点上，数据可以落在主站点、 分站点1、分站点2、分站点3上。
W2 元数据在主站点上，数据可以落在主站点、 分站点1、分站点2、分站点3上。
文件
文件是工作区的一个最基本的存储单元，用于存储文件数据。
文件的元数据和数据的分布继承于其对应的工作区，可以分布于不同的站点中。
文件上传：
1、客户端通过驱动连接站点分站点的 Content Server进行文件上传
2、文件数据通过 Content Server写入到分站点的数据库中
3、文件的元数据信息通过 Content Server写入到主站点中
文件下载（本地站点）：
客户端通过驱动连接站点分站点的 Content Server进行文件下载
1、Content Server 从主站点中获取到文件的元数据
2、Content Server从本地站点的数据库中读取文件数据
3、Content Server返回数据给客户端
文件下载（异地站点）：
客户端通过驱动连接站点 分站点的 Content Server进行文件下载。
1、Content Server从 主站点中获取到文件的元数据，文件数据存储在异步站点分站点中；
2、Content Server从本地站点的数据库中读取文件数据；
3、Content Server返回数据给主站点的 Content Server；
4、主站点的 Content Server 将数据返回给 分站点的Content Server；
5、分站点Content Server将数据返回给客户端。
文件的元数据和数据的分布继承于其对应的工作区，可以分布于不同的站点中。
文件上传：
1、客户端通过驱动连接站点分站点的 Content Server进行文件上传
2、文件数据通过 Content Server写入到分站点的数据库中
3、文件的元数据信息通过 Content Server写入到主站点中
文件下载（本地站点）：
客户端通过驱动连接站点分站点的 Content Server进行文件下载
1、Content Server 从主站点中获取到文件的元数据
2、Content Server从本地站点的数据库中读取文件数据
3、Content Server返回数据给客户端
文件下载（异地站点）：
客户端通过驱动连接站点 分站点的 Content Server进行文件下载。
1、Content Server从 主站点中获取到文件的元数据，文件数据存储在异步站点分站点中；
2、Content Server从本地站点的数据库中读取文件数据；
3、Content Server返回数据给主站点的 Content Server；
4、主站点的 Content Server 将数据返回给 分站点的Content Server；
5、分站点Content Server将数据返回给客户端。
管理工具
系统管理工具
scmadmin 工具提供了管理 SequoiaCM 业务配置的功能。如用户、站点、工作区和Content
子命令 描述
createsite 创建站点
listsite 查看站点
createws 创建工作区
alterws 修改工作区
listws 查看工作区
createuser 创建SequoiaCM用户
createnode 创建节点
createsite 创建站点
listsite 查看站点
createws 创建工作区
alterws 修改工作区
listws 查看工作区
createuser 创建SequoiaCM用户
createnode 创建节点
节点管理工具
scmctl 工具提供节点管理相关的功能
子命令 描述
start 启动节点
stop 停止节点
list list节点
reloadbizconf 刷新节点业务配置
start 启动节点
stop 停止节点
list list节点
reloadbizconf 刷新节点业务配置
Lob残留检查工具
scminspect 工具提供检查指定工作区在某个站点下 LOB 的残留情况。
流程描述
分中心上传流程
1、 业务系统调用信雅达内容管理服务客户端，客户端调用分中心信雅达缓存内容管理（DM）写服务；
2、 信雅达缓存内容管理（DM）写服务调用分中心巨杉文件写服务；
3、 分中心巨杉文件写服务将文件上传到分中心SDB集群中；
4、 文件上传成功后，分中心DM通过总中心DM服务调用SDB API更新数据库缓存索引信息（含文件批次号）；
2、 信雅达缓存内容管理（DM）写服务调用分中心巨杉文件写服务；
3、 分中心巨杉文件写服务将文件上传到分中心SDB集群中；
4、 文件上传成功后，分中心DM通过总中心DM服务调用SDB API更新数据库缓存索引信息（含文件批次号）；
总中心上传流程
1 业务系统调用信雅达内容管理服务客户端，客户端调用总中心信雅达缓存内容管理（DM）写服务；
2 信雅达缓存内容管理（DM）写服务调用总中心巨杉文件写服务；
3 总中心巨杉文件写服务将文件上传到总中心SDB集群中；
4 文件上传成功后，总中心DM通过总中心DM服务调用SDB API更新数据库缓存索引信息（含文件批次号）；
2 信雅达缓存内容管理（DM）写服务调用总中心巨杉文件写服务；
3 总中心巨杉文件写服务将文件上传到总中心SDB集群中；
4 文件上传成功后，总中心DM通过总中心DM服务调用SDB API更新数据库缓存索引信息（含文件批次号）；
分中心数据查询
假设影像文件在分中心
1 业务系统调用信雅达内容管理服务客户端，客户端调用分中心信雅达缓存内容管理（DM）读服务；
2 分中心信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 分中心信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用分中心信雅达缓存内容管理（DM）读服务请求访问影像文件；
5 信雅达缓存内容管理（DM）读服务调用分中心巨杉文件读服务；
6 分中心巨杉文件读服务从分中心SDB集群中读取影像文件；
7 文件读取成功后，分中心巨杉文件读服务将文件返回给分中心信雅达缓存内容管理（DM）读服务，最后通过客户端返回给业务系统；
2 分中心信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 分中心信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用分中心信雅达缓存内容管理（DM）读服务请求访问影像文件；
5 信雅达缓存内容管理（DM）读服务调用分中心巨杉文件读服务；
6 分中心巨杉文件读服务从分中心SDB集群中读取影像文件；
7 文件读取成功后，分中心巨杉文件读服务将文件返回给分中心信雅达缓存内容管理（DM）读服务，最后通过客户端返回给业务系统；
总中心数据查询
假设影像文件在总中心
1 业务系统调用信雅达内容管理服务客户端，客户端调用总中心信雅达缓存内容管理（DM）读服务；
2 总中心信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 总中心信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用总中心信雅达缓存内容管理（DM）读服务请求访问影像文件；
5 信雅达缓存内容管理（DM）读服务调用总中心巨杉文件读服务；
6 总中心巨杉文件读服务从总中心SDB集群中读取影像文件；
7 文件读取成功后，总中心巨杉文件读服务将文件返回给总中心信雅达缓存内容管理（DM）读服务，最后通过客户端返回给业务系统；
2 总中心信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 总中心信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用总中心信雅达缓存内容管理（DM）读服务请求访问影像文件；
5 信雅达缓存内容管理（DM）读服务调用总中心巨杉文件读服务；
6 总中心巨杉文件读服务从总中心SDB集群中读取影像文件；
7 文件读取成功后，总中心巨杉文件读服务将文件返回给总中心信雅达缓存内容管理（DM）读服务，最后通过客户端返回给业务系统；
跨中心数据查询
影像文件在分中心B，客户端从分中心A进行访问
1 业务系统调用信雅达内容管理服务客户端，客户端调用分中心A信雅达缓存内容管理（DM）读服务；
2 分中心A信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 分中心A信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用总中心信雅达缓存内容管理（DM）读服务请求访问影像文件；
5 信雅达缓存内容管理（DM）读服务调用分中心A巨杉文件读服务；
6 分中心A巨杉文件读服务从分中心B的SDB集群读取影像文件上传到总中心SDB集群中；
7 分中心A巨杉文件读服务从总中心的SDB集群读取影像文件上传到分中心A的SDB集群中；
8 分中心A巨杉文件读服务从分中心A的SDB集群中读取影像文件；
9 文件读取成功后，分中心A巨杉文件读服务将文件返回给分中心A信雅达缓存内容管理（DM）读服务，最后通过客户端返回给业务系统；
2 分中心A信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 分中心A信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用总中心信雅达缓存内容管理（DM）读服务请求访问影像文件；
5 信雅达缓存内容管理（DM）读服务调用分中心A巨杉文件读服务；
6 分中心A巨杉文件读服务从分中心B的SDB集群读取影像文件上传到总中心SDB集群中；
7 分中心A巨杉文件读服务从总中心的SDB集群读取影像文件上传到分中心A的SDB集群中；
8 分中心A巨杉文件读服务从分中心A的SDB集群中读取影像文件；
9 文件读取成功后，分中心A巨杉文件读服务将文件返回给分中心A信雅达缓存内容管理（DM）读服务，最后通过客户端返回给业务系统；
跨中心数据修改
假设新批次数据在分中心B上传了3张影像文件到分中心SDB集群中，客户端从分中心A进行数据修改，追加了2张影像文件
1 业务系统调用信雅达内容管理服务客户端，客户端调用分中心A信雅达缓存内容管理（DM）读服务；
2 分中心A信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 分中心A信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用总中心信雅达缓存内容管理（DM）读服务请求访问影像文件（可能访问分中心B中的部分影像文件，此时只有部分影像文件会下载到分中心A中）；
5 信雅达缓存内容管理（DM）读服务调用分中心A巨杉文件读服务；
6 分中心A巨杉文件读服务从分中心B的SDB集群读取影像文件上传到总中心SDB集群中；
7 分中心A巨杉文件读服务从总中心的SDB集群读取影像文件上传到分中心A的SDB集群中；
8 分中心A巨杉文件读服务从分中心A的SDB集群中读取影像文件；
9 文件读取成功后，分中心A信雅达缓存内容管理（DM）更新服务调用巨杉文件写服务将更新批次中新增加的文件写入到分中心A的SDB集群中；
10 文件上传成功后，分中心DM通过总中心DM服务调用SDB API更新数据库缓存索引信息（含文件批次号）；
2 分中心A信雅达缓存内容管理（DM）读服务调用SDB API向总中心SDB集群获取元数据报文；
3 分中心A信雅达缓存内容管理（DM）读服务返回数据索引报文；
4 客户端根据URL调用总中心信雅达缓存内容管理（DM）读服务请求访问影像文件（可能访问分中心B中的部分影像文件，此时只有部分影像文件会下载到分中心A中）；
5 信雅达缓存内容管理（DM）读服务调用分中心A巨杉文件读服务；
6 分中心A巨杉文件读服务从分中心B的SDB集群读取影像文件上传到总中心SDB集群中；
7 分中心A巨杉文件读服务从总中心的SDB集群读取影像文件上传到分中心A的SDB集群中；
8 分中心A巨杉文件读服务从分中心A的SDB集群中读取影像文件；
9 文件读取成功后，分中心A信雅达缓存内容管理（DM）更新服务调用巨杉文件写服务将更新批次中新增加的文件写入到分中心A的SDB集群中；
10 文件上传成功后，分中心DM通过总中心DM服务调用SDB API更新数据库缓存索引信息（含文件批次号）；
数据迁移
数据迁移服务
迁移服务提供的接口：
1 开始迁移服务接口，该接口在发出后会返回源集合空间源集合下是否还有未迁移数据(1_0：服务正常调用无未迁移影像文件，1_1：服务正常调用有未迁移影像文件，2_0：服务重复调用无未迁移影像文件，2_1：服务重复调用有未迁移影像文件) 其中未到时间的应该返回为1_1（这种情况有可能当前的lob表还有影像文件写入），用于之后调度执行时不再调用该表的迁移任务；
2 结束迁移服务接口，该接口返回是否已停止(1:已停止 0:停止失败)；
3 问询迁移过程接口，该接口会问询是否还有未迁移数据(1：有未迁移数据 0：无未迁移数据)其中未到时间的应该返回为0，主要用于在调用开始迁移服务接口后定时调用进行问询，如果发现开始的集合已完成迁移，则发起开始同一业务的下一个集合（同一个业务系统的lob文件可能会按月进行存储）。
接口描述：
1 开始迁移服务接口：源集合空间，源集合，多少天之前的数据，目标集合空间，目标集合；
2 结束迁移服务接口：源集合空间，源集合；
3 问询迁移过程接口：源集合空间，源集合；
1 开始迁移服务接口，该接口在发出后会返回源集合空间源集合下是否还有未迁移数据(1_0：服务正常调用无未迁移影像文件，1_1：服务正常调用有未迁移影像文件，2_0：服务重复调用无未迁移影像文件，2_1：服务重复调用有未迁移影像文件) 其中未到时间的应该返回为1_1（这种情况有可能当前的lob表还有影像文件写入），用于之后调度执行时不再调用该表的迁移任务；
2 结束迁移服务接口，该接口返回是否已停止(1:已停止 0:停止失败)；
3 问询迁移过程接口，该接口会问询是否还有未迁移数据(1：有未迁移数据 0：无未迁移数据)其中未到时间的应该返回为0，主要用于在调用开始迁移服务接口后定时调用进行问询，如果发现开始的集合已完成迁移，则发起开始同一业务的下一个集合（同一个业务系统的lob文件可能会按月进行存储）。
接口描述：
1 开始迁移服务接口：源集合空间，源集合，多少天之前的数据，目标集合空间，目标集合；
2 结束迁移服务接口：源集合空间，源集合；
3 问询迁移过程接口：源集合空间，源集合；
数据清理服务
迁移清理服务提供的接口：
1 开始清理服务接口，该接口再发出后会返回源集合空间源集合下是否还有未清理数据(1_0：服务正常调用无未清理影像文件，1_1：服务正常调用有未清理影像文件，2_0：服务重复调用无未清理影像文件，2_1：服务重复调用有未清理影像文件) 其中未到时间的应该返回为1_1（这种情况有可能当前的lob表还有影像文件写入），用于之后调度执行时不再调用该表的清理任务；
2 结束清理服务接口，该接口返回是否已停止(1:已停止 0:停止失败)；
3 问询清理过程接口，该接口会问询是否还有未清理影像文件(0：无未清理影像文件，1：有未清理影像文件)其中未到时间的应该返回为0，主要用于在调用开始清理服务接口后定时调用进行问询，如果发现开始的集合已完成清理，则发起开始同一业务的下一个集合（同一个业务系统的lob文件可能会按月进行存储）；
接口描述：
1 开始清理服务接口：源集合空间，源集合，多少天之前的数据；
2 结束清理服务接口：源集合空间，源集合；
3 问询清理过程接口：源集合空间，源集合；
1 开始清理服务接口，该接口再发出后会返回源集合空间源集合下是否还有未清理数据(1_0：服务正常调用无未清理影像文件，1_1：服务正常调用有未清理影像文件，2_0：服务重复调用无未清理影像文件，2_1：服务重复调用有未清理影像文件) 其中未到时间的应该返回为1_1（这种情况有可能当前的lob表还有影像文件写入），用于之后调度执行时不再调用该表的清理任务；
2 结束清理服务接口，该接口返回是否已停止(1:已停止 0:停止失败)；
3 问询清理过程接口，该接口会问询是否还有未清理影像文件(0：无未清理影像文件，1：有未清理影像文件)其中未到时间的应该返回为0，主要用于在调用开始清理服务接口后定时调用进行问询，如果发现开始的集合已完成清理，则发起开始同一业务的下一个集合（同一个业务系统的lob文件可能会按月进行存储）；
接口描述：
1 开始清理服务接口：源集合空间，源集合，多少天之前的数据；
2 结束清理服务接口：源集合空间，源集合；
3 问询清理过程接口：源集合空间，源集合；
子主题
0 条评论
下一页
