爬虫技术线路图

定期更新

1.商机爬虫爬取服务span style=\"font-size:inherit;\

商机爬虫派单服务

业务层（90%）

标讯接口服务（100%）

反推已有商机系统

标讯工单系统工程师A日常接单

1.爬虫派单系统-标讯网址归类：100%，网址共计1084+，当前已经完成网址归类以及需求等级划分，根据优先级进行分派任务，优先爬取覆盖率高的网址2.爬虫派单系统-爬虫任务派单:100%，已完成派单体系建立，相关工程师会接收到爬虫需求3.爬虫python-工程师接单：100%，爬虫python框架体系已经搭建完成，各工程师可以根据框架规范进行爬取数据4.爬虫派单系统-span style=\"font-size:inherit;\

爬虫运维监控

爬虫派单系统标讯网址归类

数据层（100%）

爬虫python工程师B接单

标讯工单系统个性化业务A

微信群支撑

日志记录

付费接口

定期回访

400客服

数据验证

标讯工单系统模型辅助过滤

爬虫派单系统爬虫任务派单

商机爬虫爬取服务

客户感知层

爬虫python工程师D系接单

产品迭代

商机大数据平台架构图

标讯工单系统管理员派单

标讯爬取（50%）

达仁标讯库

1.反推已有商机系统span style=\

1.标讯工单系统-标讯服务报告：完成，常态服务2.标讯工单系统-个性化业务A-弃标报备流程：完成，进入迭代期3.产品迭代：未开始，修改架构增加地区属性形成中立产品，支持多个模型

标讯工单系统市场人员审核

爬虫python工程师A接单

1.标讯工单系统-模型辅助过滤：100%，仅作参考辅助，仍需人工核验保障精准2.标讯工单系统-管理员派单：完成，已实现管理员通过系统每日派单3.标讯工单系统-工程师日常接单：完成，进入迭代优化使用期，工程师每日日常进行处理标讯，拆解工作量，因模型无法百分百代替人工，故后续需要人工辅助4.数据清洗：100%，外采数据数据完整性全（外采数据团队完成了数据补录后进行出售），达仁爬取数据完整性需要拆解工作量到人工接单，对比外采，成本被量化到人工成本5.标讯工单系统-市场人员审核：100%，市场人员对整体工单进行审核校准反馈误差原因后为客户提供报告服务，使用细节持续迭代中

商机多模型

爬虫派单系统标讯接口能力

输出接口能力API

商机大数据平台（85%）

数据清洗

商机工单业务服务

标讯工单系统标讯服务报告

爬虫python工程师C接单

标讯工单系统个性化业务B

1.数据验证：100%，对自主爬取数据量和商用数据量进行周期性比对，避免漏标风险