淘宝后台分类抓取方案
2016-02-18 18:24:13 2 举报
淘宝后台分类抓取方案是一种自动化技术，旨在从淘宝网站中提取商品信息并按照特定的分类标准进行整理。该方案利用网络爬虫技术，通过模拟用户浏览行为，自动访问淘宝网站的各个页面，获取商品的名称、价格、图片、描述等信息。然后，根据预先设定的分类规则，将商品信息按照不同的类别进行归类和整理。最后，将整理好的商品信息存储到数据库中，以便于后续的数据分析和处理。这种方案可以大大提高数据收集的效率和准确性，为商家提供更准确的市场情报和竞争分析。
作者其他创作
大纲/内容
海量遥感图片服务
start_date、end_date ??
Jda数据
针对于 北京物美 只配置了3家门店 \"1171\
周六01:00前 准备好AO要用的数据
12
促销陈列下发到门店
图纸数据同步
客户端
o
组级在线商品清单
货架组真实陈列
组级商品库
HBASE
HBase
允许导入其它货架组下的商品
ShelvesTemplate
将perkins这家店的数据放在多点ftp上
爬虫服务
7
10.248.224.4 后端在这台机器上部署.
？？？
11
图纸上商品清单和状态. data1
l
4
Max
HDFS
2
value
联想桥、洋桥店非特陈图纸(如何判断没有特陈)->子时根本就没有在这上面做图
维护 陈列 需要的商品. OS
计算品牌分组
5
否
只能导入本货架组下的商品
周五晚上11:00 准备好门店和货架相关数据
门店人员
0
上传图片
9
8
JDA数据
DF商品系统
6
10
导入商品
MySql
查询数据库最新版的 ShelvesTemplate
将jda的陈列数据转换成系统ShelvesTemplate结构
商品系统
实际 10V1
维护 陈列 需要的商品.
数据入商品系统
RDB
OS图纸t_display表
s
绑定价签
1
计算属性分组
查询数据表: display.t_ware_category
用户访问
调在图商品清单服务
采销平台 周六 9:00 才会来同步我们的数据
h
是
程序下发 陈列货架规划信息 到陈列可视化
上传DXF图片
??
调用
生效时间: 周六
handleShop 逻辑依赖.1、商品系统接口: 查询单个门店基础信息 StoreBaseInfo storeInfo = queryStoreBaseInfoById2、商品系统接口: 通过条码查询门店商品（新接口）sapWareSkuClient.getWareInfoByWareCodesAndShopId
name
非可视化
数据库当前最新的模板t_shelves_template
商品清单导入
3
货架真实陈列
查询数据表: display.t_vender_config And ThenhiveService.listVenderWareCategoryInfo(venderId)
t_display_diffrence
调整反馈
同步Jda上一天的图纸数据.
< 20M?
将属性导入自动陈列
获取图纸商品范围
spaceman
后端
ZooKeeper
根据状态计算商品清单服务
定时任务触发
情景图纸
t_shelves_template 和 t_pos_plan.=> 这是最新的 货架图纸数据
陈列图发布任务
ptr
后台管理服务
商家:DF-验证-商家
根据日期
首次做图: 只有必上.微调时: 即有必上、也有无变化.
platform-biz/dmall-display.git新Git项目:platform-biz/dmall-display-df.git
陈列系统
OS 业务
陈列计划
API
查询 t_shelves_template newest_flag 得到最新版的 货架图纸数据.t_shelves_template 和 t_pos_plan.
实际 10V2
对比
DF同步货架规划信息. 什么时候同步?
陈列可视化 向 DF Demo演示
前端
货架完成调整
????
new
注: 比对逻辑一样.上架、下架
使用图片
任务系统需要的数据
数据转化
对外暴露API
取定时任务每天跑了一份商品状态为1/2/3/5的数据
同步商品分类: gaeaHiveWareCategorySynService.synWareCategoryInfo();
4\\6h 如何
货架模板
Hadoop
门店执行调整
定时任务: com.dmall.shop.display.service.task.WareCategorySynTask.
OS系统
前端基础服务
转化为 ShelvesTemplate
t_notice_task
11.15号
大卖场UG6货架组(HUG6-B66)
实时计算商品状态
t_display_recheck
陈列经理
SDK
判断是否是第一次做图
关联: 门店比如: 联想桥店
来客APP
O2O订单
Rest API
企划/陈列
周步
SKU: 101355797
JDA图纸hive
陈列可视化
图片上传
capacity
kayak-project/shelvesbuild.git新Git项目:kayak-project/shelvesbuild-df.git
图纸数据下发到门店
index
在图商品清单
自动陈列
前置仓(实际陈列) t_shop_pos
len
e
结束
1\\2\\3\\5
需要牛奶公司的人员处理
s1
可视化
查询展示图片
dubbo
AI服务
JDA数据 Hive
old
AO
sku 与 商品属性的关系 Map
实际 10V3
JDA
职业：暂无
0 条评论
回复 删除
下一页
