数据采集
2022-03-02 11:16:10 0 举报AI智能生成
数据采集包括开放数据源、爬虫抓取、传感器、日志采集方式
作者其他创作
大纲/内容
开放数据源
单位
政府
企业
高校
行业
交通
金融
能源
其他
爬虫抓取
网站
Requests访问
XPath解析
Pandas 保存
Selenium
PhantomJS
Puppteteer
APP
传感器
测位置或距离
接近开关
光电开关
接触式位置开关
编码器
激光测距仪
超声波测距传感器
测介质
各种形式的流量计
压力传感器
液位计
料位计
电流互感器
电压互感器
测振仪
测气体含量
浓度的传感器
测温度
热电阻
各种形式的热电偶
测重量
称重传感器
日志采集
web服务器
自带日志记录功能
httpd
Nginx
Tomcat
自有海量数据采集工具
Hadoop 的 Chukwa
Cloudera的Flume
Facebook的Scribe
用户行为
JavaScript 代码监听用户的行为
AJAX 异步请求后台记录日志
0 条评论
下一页
