本篇教程探讨了大数据技术 低延迟的分布式数据库同步系统--databus，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

 
　　Databus是LinkedIn开源的一款低延迟的分布式数据库同步系统（a source-agnostic distributed change data capture system），它提供可靠的数据捕获、流转和数据处理功能。
 
应用场景：
 　  主要应用场景：跨部门之间或者跨机房之间进行数据库的数据订阅。同类产品有阿里的canal。支持Oracle和Mysql数据库。
      Databus和canal一样，数据都是基于数据库日志挖掘来做的。我之前的文章也提到了，当今的数据处理大致可以分为两类：联机事务处理OLTP(OnLine Transaction Processing)和联机分析处理OLAP(OnLine Analytical Processing)。
　　OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。但是平常所说的OLTP是集成到SQL Server中的数据库引擎组件，因为微软有个白皮书《SQL Server In-Memory OLTP Internals Overview》。但是OLTP实际上可以称之为：面向交易的实时处理系统。性能指标是TPS。
　　OLAP是快速响应多维分析的一种解决方案。面向的数据源是数据仓库。支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
　　再回来说Databus，Databus最重要的特点是其无限回溯功能。当消费者完整数据拷贝，或者消费者的已有数据和主OLTP数据库相差很大时能够低延时的进行同步。
　　
核心组件：
　　Databus的核心组件是Databus Relay。主要负责两个工作：
　　1>从Databus源数据库中读取变化行，并序列化为事件流保存至内存中。
　　2>接受客户端的请求，并将数据变化事件流返回给客户端。
 
实现原理：
　　databus使用了open-replocator作为获取数据库变更事件的组件。功能是实时获取mysql的binlog日志，并封装成Event对象，然后调用已注册的listener进行处理。
 
技术架构：

Event Producer:用来读取数据库的变化事件，转化为AVRO类型并存储至内存中。

　　下面说说AVRO. Apache Avro是一个独立于编程语言的数据序列化系统，该项目由Hadoop之父牵头创建。它可以提供：丰富的数据结构类型，快速可压缩的二进制数据形式，存储持久数据的文件容器，远程过程调用，同动态语言的简单集成。读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现。

Circular Buffer:Relay有一个或多个环形的缓冲池用来保存按递增的系统变化号(SCN)为顺序的变化事件。

　　细心的读者会发现每个中间件都有自己比较独特的缓冲策略，这种缓冲策略很大成熟决定了此中间件的好坏。

SCN Writer/Reader:用来读取和吸入SCN号至硬盘。
RESTFUL interface:它暴露一个restful接口，用来推送数据变化事件至客户端。

   

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！