香港海关项目-服务器配置和存储预估-场景流程图描述
2023-10-31 12:02:46 3 举报
香港海关项目-服务器配置和存储预估-场景流程图描述
作者其他创作
大纲/内容
服务器需要一台主服务器和6台爬虫服务器和一台存储服务器,主服务器配置在8核32G,200G的SSD存储和20M固定带宽或走流量模式,爬虫服务器的配置在4核8G,200G的SSD存储和20M的固定带宽或走流量模式。另外需要一台文件存储服务器,根据需要并发的目标物品数量进行核算,一个目标物品关键词存储1000条结果,1TB大概可以同时存储500个目标物品数,以这个为标准进行核算。
进行识别,判断该图片是什么,有什么特征标签
通过AI识别算法得到关键词和相应的标签后,开始进行各大目标站点的每日检索,检索的目标站点有(旋转拍卖:https://tw.carousell.com/,FaceBook:www.facebook.com)进行关键词和标签的检索,检索半个月内的结果,每天进行增量更新,检索到昨日零点的结果停止,并把结果进行数据库保存。理论上是这样,但是现实中,目标站点通常没有以时间顺序进行商品筛选排序,而是通过平台的综合排序算法进行排序,但是内容和商品都有ID标签,通过ID标签进行过滤之前已经保存的信息,进行增量信息的更新,每天的刷新量可能不会差异太多,但是可以对保存的量进行增量更新
一个图片大概在300KB-4M之间
服务器配置的预估
进行比对时,通过图片链接进行下载目标图片,进行图片的相似度比对,匹配到是近似一个物品时,进行标记,方便后续人工进行确认
场景流程描述
已有目标图片
通过AI是被对比结果和人工对比确认两张图片是一致的物品后,将目标图片和网址进行有司法授权的API存证,防止由于被删除而失去证据线索材料
0 条评论
下一页