作为世界上使用最广泛的微博客服务,Twitter 月活跃用户如今已经达到了 2.183 亿人,每天大约有 5 亿条推文被发送,几乎每秒钟就产生了超过 6000 条推文。
在最初 Twitter 还没有这么大数据量的时候,该公司主要使用一些主流的技术来处理这些数据,比如开源数据库 MySQL 和 Cassandra 等,但随着用户量的飞速扩增,这些技术逐渐显示出了一些瓶颈,已经达不到 Twitter 实时、低延迟的需求,Twitter 工程师也需要花费大量的时间来扩展这些产品。因此,基于目前需求及长远考虑,Twitter 开发了自己的分布式数据库系统——Manhattan。
Twitter 表示,未来该系统可能会开源,该公司还在在官方博客中介绍了该系统的详细信息。下面就来看看。
Twitter 目前对于数据库产品的需求:
Twitter 在设计 Manhattan 时主要遵循的原则:
下面来看看 Manhattan 的主要特性。Manhattan 共分为如下 4 层:
更多信息:Manhattan, our real-time, multi-tenant distributed database for Twitter scale