数据库设计

根据主键hash进行分表存储

title1

title0

中间件

mysql_slave2

主从复制

水平切分

。。。

mycat

写

读

content0

mysql_slave1

垂直切分

content1

分表设计，切分方案：垂直切分，把爬取内容分为“列表”、“内容”、“附件”...字段进行多表垂直切分，附件表可以使用全局表不进行切分；水平切分，对表进行水平切分，采用二叉树方式进行分表分配，方便横向扩展；(例如：20个网站分16张表，使用1-8台物理机进行数据存储，通过uuid的hash取模进行物理机->表的选择。如场景：4台物理机16张表<0-15>，255%4=3选择3号机，255%16选择表15)中间件：基于mycat实现数据库读写分离、分库分表

file1

mysql_master

file0

数据库

分表策略