hadoop_Tag标签_程序员俱乐部

· 对Hadoop目前使用情况的调查和采访发布时间：2013-12-20

英文原文：ASurveyandInterviewonHowHadoopIsUsedToday我们正生活在“大数据”的时代。在当今这个技术驱动的世界，计算能力、电子设备和Internet的可达性正在日益增长，同时比以往任何时候更多的数据正在被传输和收集。组织正在以惊人的速度产生数据。仅Facebook自己每天就会收集250TB的数据。ThompsonReutersNewsAnalytics显示，现在数字数据的产生量比2009年接近1ZB（1ZB等同于一百万PB... 查看全文

· Hadoop源码解读-JobTracker处理HeartBeat发布时间：2013-12-09

JobTracker会接受TaskTracker的心跳，并处理。不多说，直接上源码publicsynchronizedHeartbeatResponseheartbeat(TaskTrackerStatusstatus,booleanrestarted,booleaninitialContact,booleanacceptNewTasks,shortresponseId)1首先检查heartbeat是否来自自己的host列表，否则抛出异常。如果不再Host列表或者在排除Host列表中... 查看全文

· Hadoop源码解读-Job初始化过程发布时间：2013-12-06

首先看看Hadoopssh脚本elif["$COMMAND"="jar"];thenCLASS=org.apache.hadoop.util.RunJar任务递交。WordCount里面有一句话：System.exit(job.waitForCompletion(true)?0:1);1.job.waitForCompletion：一般情况下我们提交一个job都是通过job.waitForCompletion方法提交，该方法内部会调用job.submit(... 查看全文

· Hadoop实战-初级部分之 HDFS API发布时间：2013-12-03

私塾在线《深入浅出学Hadoop-初级部分》——系列精品教程视频课程地址》》》http://sishuok.com/product/481整体课程概览第一部分：开始云计算之旅第二部分：初识Hadoop第三部分：Hadoop环境安装部署第四部分：HadoopShell基本操作介绍第五部分：Hadoop分布式文件系统1第五部分：Hadoop分布式文件系统2第五部分：Hadoop分布式文件系统3第六部分：MapReduce开发1第六部分：MapReduce开发2第七部分... 查看全文

· Intel数据中心软件部首席架构师陈奇：IntelHadoop助推大数据社会发布时间：2013-11-13

Intel数据中心软件部首席架构师陈奇“IntelHadoop是一个开源技术，Intel利用自己的力量改进了版本，这些改进会放到开源的社区，希望相互的开放式的结构不光是为程序员作贡献，为整个社会也作贡献，数据社会就需要交互，不是封闭的。”陈奇现场讲话实录：大家对英特尔很熟悉。首先讲到英特尔，他们肯定会想到CPU，它主要是开放架构的。听了我的讲座，你可能就会记住IntelHadoop。英特尔不光会做CPU，不光会做硬件，特别是在大数据这个领域... 查看全文

· 快速安装hadoop-quick hadoop发布时间：2013-11-13

[暂记录，详细介绍使用后待续]http://www.contactsshare.com/开发工具插件:http://blog.csdn.net/u010866487/article/details/11879371... 查看全文

· hadoop源码分析（转）发布时间：2013-11-05

http://caibinbupt.iteye.com/blog/monthblog/2008-11... 查看全文

· Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？发布时间：2013-11-04

1.HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据，而在Swift中，元数据分布在整个集群中并拥有多个副本。注意：集中式元数据存储使HDFS存在单点故障和扩展性问题，因此规模越大就性能越低，就越难扩展甚至不能扩展，所幸的是HDFS2使用NameNodeHA和HDFSFederation解决了这两个问题。2.Swift在设计时考虑到了多租户架构，而HDFS没有多租户架构这个概念。3.HDFS针对大文件作了优化(HDFS关注吞吐量，常用于批量数据处理)... 查看全文

· hadoop mapreduce 中java用gson类库解析json发布时间：2013-10-28

废话不说，代码如下：importjava.io.IOException;importjava.lang.reflect.Type;importjava.util.Iterator;/*importjava.util.ArrayList;importjava.util.List;importjava.util.regex.Matcher;importjava.util.regex.Pattern;*/importorg.apache.hadoop.io.LongWritable... 查看全文

· Hadoop v2 时代正式到来发布时间：2013-10-21

Apache基金会近日正式发布了Hadoop2.2版本，该版本是Hadoop2.x分支中的首个稳定版本（2.0.x为alpha版本，2.1.x为beta版本），标志着Hadoop2时代的正式到来。Apache建议用户升级至最新版本，因为这个版本更加稳定，并保持与之前版本API和相关协议条款的兼容。与Hadoop1.x相比，Hadoop2的主要亮点如下：新的HadoopMapReduce框架YARNHDFS高可用性HDFSFederation（HDFS联盟）：使得HDFS支持多个命名空间... 查看全文

· 在CentOS下，Hadoop单机搭建发布时间：2013-09-29

JAVA_HOME=/usr/local/java/jdk1.7.0.40hadoop=/opt/hadoop/hadoop-1.2.1去这个网址配http://www.linuxidc.com/Linux/2011-07/37992.htm... 查看全文

· eclipse下hadoop开发发布时间：2013-09-07

eclipse下hadoop开发javaprojecteclipse设置runconfiguration1.javaApplication2.右键new一个新的application3.main-project:picjavamainclass:选择当前java文件4.programargument:/usr/local/***.**hdfs://liuying005:9000/***.**5.在hdfs服务器上建个目录。给这个目录授权... 查看全文

· eclipse下hadoop开发发布时间：2013-09-07

eclipse下hadoop开发javaprojecteclipse设置runconfiguration1.javaApplication2.右键new一个新的application3.main-project:picjavamainclass:选择当前java文件4.programargument:/usr/local/***.**hdfs://liuying005:9000/***.**5.在hdfs服务器上建个目录。给这个目录授权... 查看全文

· 图解Hadoop分布式文件系统工作原理发布时间：2013-09-04

微博上看到的一张关于HDFS的图片，形象生动的解释的HDFS的工作原理，再确切一点是写操作的的基本过程：1一个集群中只有一个NameNode，可以有多个DataNodes2namenode承担数据的位置存储信息，并将存储位置信息告诉client端!3得到位置信息后，client端开始写数据4写数据的时候是将数据分块，并存储为多份(一般为3份)，放在不同的datanode节点!5client先将数据写到第一个节点，在第一个节点接收数据的同时，又将它所接收的数据推送到第二个，第二个推送到第三个节点... 查看全文

· 深入浅出Hadoop实战开发视频教程发布时间：2013-08-19

robby老师讲了套hadoop视频，讲的比的深入浅出，内容很丰富：QQ:309629263大小:108.2KB查看图片附件... 查看全文

· Hadoop下遇到OOM：unable to create new native thread发布时间：2013-08-14

在hadoop下执行任务出现了这个异常：Exceptioninthread"main"org.apache.hadoop.ipc.RemoteException:java.io.IOException:java.lang.OutOfMemoryError:unabletocreatenewnativethreadatjava.lang.Thread.start0(NativeMethod)atjava.lang.Thread.start(Thread.java:640)atorg.apache... 查看全文

· hadoop0.20.1在centos5.5上的安装与运行发布时间：2012-07-09

前言：想学习hadoop，google了许久，找到两本资料《hadoop权威指南》清华大学出版社出版的，另外一本是《hadoopinaction》，均是中文版。个人觉得前者适合理论学习和查阅，后者可以当做实践练习（具体过程中由于hadoop版本问题以及其他种种原因，书上的例子运行起来会让菜鸟很蛋疼，至少我是这样，哎。。），网上关于安装hadoop的教程已经很多，可是本人很负责任地告诉正在阅读此文的读者（你就暗爽吧，少走许多冤枉路）：大多数都是坑爹！十分的坑爹！尤其是对于使用centos的同学... 查看全文

· hadoop入门_002 - Hadoop下载和安装发布时间：2012-06-11

之前我们用虚拟机安装了linux，很多书和资料上都提出了可以用伪分布以及采用在windows下用cygwin的方式去搭建hadoop环境。首先伪分布的方式，我觉得完全没有必要去搭建，因为在实际的项目中也不可能用这种方式，另外它也不利于我们的学习。第二cygwin的方式，我强烈建议大家不要用这种方式安装。很多人觉得一开始用虚拟机会比较麻烦，不愿意安装虚拟机。如果你采用cygwin的方式的话，会遇到很多很多莫名其妙的错误。而且有些根本没法解决... 查看全文

· hadoop在window中的安装配置和使用发布时间：2012-04-18

搞了几天hadoop，网上虽然有好多资料，但还是遇到好多问题，在这里写写自己遇到的问题，希望能作为后车之鉴。安装wygwin：1，首先就是要下载cygwin（http://www.cygwin.com/setup.exe）然后运行，后面的步骤网上有好多资料，大家照着做就行，我当时也是跟着一路下来，但可能是我网速慢，过程中，提示setup.ini没有找到，我就没有留意，后来也装上了。但运行的时候怎么一直提示C:\cygwin\usr\bin下的一个文件没找到，我打开那个目录... 查看全文

· Centos5下安装hadoop-伪分布式模式发布时间：2012-02-10

hadoop安装测试环境centos5.6sunjava1.6.0_26-安装java官方文档写最好是sunjdk如果是opengdk的请注意。#chmodu+xjdk-6u26-linux-i586-rpm.bin#./jdk-6u26-linux-i586-rpm.bin#java-version(查看安装信息)-创建用户请不要使用root用户直接执行。否者将出现Unrecognizedoption:-jvmCouldnotcreatetheJavavirtualmachine... 查看全文

hadoop_Tag标签_程序员俱乐部

非技术区

移动开发

DB2

开发

数据库

互联网

系统

资讯

创业

最新文章

今日热点

推荐文章