关于小米内部使用的数据库你知道多少？

创新互联建站主要从事网站建设、网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务剑川,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18982081108

• 虽然Sqoop支持增量同步但还属于粗粒度的离线同步，无法满足实时性的需求
• 每次同步Sqoop以sql的方式向Mysql发出数据请求也在一定程度上对Mysql带来一定的压力
• 同时Hive对数据更新的支持也相对较弱

1. master（主库）在每次准备提交事务完成数据更新前，将改变记录到二进制日志(binary log)中
2. slave（从库）发起连接，连接到master，请求获取指定位置的binlog文件
3. master创建dump线程，推送binlog的slave
4. slave启动一个I/O线程来读取主库上binary log中的事件，并记录到slave自己的中继日志(relay log)中
5. slave还会起动一个SQL线程，该线程从relay log中读取事件并在备库执行，完成数据同步
6. slave记录自己的binlog   

1. BinlogSyncJob：每一个mysql库都会对应这样一个Job，将binlog日志完整地写入到服务创建的Talos topic中
2. MysqlSyncJob：同步历史数据，消费binlog数据，过滤特定库表数据实时同步至用户配置的topic中

1. Worker节点通过在Zookeeper上注册告知自己可以被调度
2. 通过在Zookeeper上抢占EPHEMERAL临时节点实现Master的HA
3. 用户在融合云（Web）上注册BinlogSource同步任务
4. Master周期性从配置服务读取Binlog同步作业配置
5. Master更新Zookeeper中的调度信息
6. Worker节点 根据Zookeeper上的调度信息启动新分配任务，停止配置失效任务；作业启动后完成数据实时同步并周期性将同步进度记录在kudu中
7. 服务上报监控信息到Falcon平台，作业异常退出发送报警邮件

1. 服务会记录作业同步的offset，重启后从上次commit的offset继续消费   
2. Binlog数据的顺序性保证了即便数据被重复消费（未commit的数据），也能对同一条记录的操作以相同的顺序执行
3. 下游存储系统kudu，Es ，redis基于主键的操作能够保证binlog重复回放后数据的最终一致性

解决办法：当statement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部份数据，直到所有数据处理完毕。优化后历史数据同步稳定运行，对mysql端的压力也很小            

总结

MySQL以Binlog日志的方式记录数据变化，基于流式数据的Change Data Caputre (CDC)机制实现了LCSBinlog服务，