Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同?_JAVA_编程开发_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 编程开发 > JAVA > Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同?

Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同?

 2013/11/4 6:35:35  yangshangchuan  程序员俱乐部  我要评论(0)
  • 摘要:1.HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据分布在整个集群中并拥有多个副本。注意:集中式元数据存储使HDFS存在单点故障和扩展性问题,因此规模越大就性能越低,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNodeHA和HDFSFederation解决了这两个问题。2.Swift在设计时考虑到了多租户架构,而HDFS没有多租户架构这个概念。3.HDFS针对大文件作了优化(HDFS关注吞吐量,常用于批量数据处理)
  • 标签:文件 hadoop

1. HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据分布在整个集群中并拥有多个副本。注意:集中式元数据存储使HDFS存在单点故障扩展性问题,因此规模越大就性能越低,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNode HAHDFS Federation解决了这两个问题。
2. Swift在设计时考虑到了多租户架构,而HDFS没有多租户架构这个概念。
3. HDFS针对大文件作了优化(HDFS关注吞吐量,常用于批量数据处理),而Swift被设计成可以存储任意大小的文件
4. 在HDFS中,文件只能写入一次(部分版本可以使用Append操作在文件的末尾添加数据,但不支持在文件的任意位置进行修改),而在Swift中,文件可以写入多次
5. HDFS用Java来编写,而Swift用Python来编写。

上一篇: J2EE架构模型 下一篇: 没有下一篇了!
发表评论
用户名: 匿名