hadoop-1.0.1在Linux环境下的安装
1、下载hadoop-1.0.1并将其上传至Linux服务器
下载链接如下:http://archive.apache.org/dist/hadoop/core/hadoop-1.0.1/hadoop-1.0.1.tar.gz
此处设定上传目录为/var/ftp/pub,并使用命令tar -xzvf hadoop-1.0.1.tar.gz进行解压,将解压文件移动到home目录下
2、hadoop配置
进入解压目录的conf里面:
设定JDK的安装位置:
修改hadoop-env.sh,在其中加入如下语句:
export JAVA_HOME=/usr/lib/jvm/jdk安装位置
设定Hadoop的核心文件core-site.xml,即配置HDFS的地址与端口号:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
由于此处的Hadoop是单机版,我们将默认的备份方式修改成1,即修改hdfs-site.xml如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
我们继续配置MapReduce,修改mapred-site.xml如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
配置完成,在启动Hadoop之前 ,我们格式化Hadoop的文件系统HDFS。进入Hadoop的安装目录,输入命令:
bin/hadoop namenode -format
格式化完成后,我们来启动Hadoop。
输入命令,启动所有进程:
bin/start-all.sh
最后我们来验证Hadoop是否安装完成:
打开浏览器,输入网址:
http://localhost:50030(如果是Linux上的浏览器) http://Linux服务器IP地址:50030(如果是在Windows上安装的虚拟机,而打开的是Windows的浏览器) 这里打开的是MapReduce的Web页面 (方法同上) http://localhost:50070 http://Linux服务器IP地址:50070 这里打开的是HDFS的Web页面
如果此处能够打开,则说明安装成功。
相关推荐
hadoop-1.0.1.tar.gz
hadoop-1.0.1官方版本,也是hadoop较老的一个版本,希望学习分布式系统架构的朋友们可以下载~
eclipse3.7用的hadoop1.0.1插件
学习hadoop必经版本,老的版本对于学习很有帮助。hadoop-1.0.1.tar.gz
hadoop-eclipse-plugin-1.0.1
joda-stopwatch.zip,Joda时间库的简单秒表对象Joda时间库的简单秒表对象
hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1放置于Eclipse\plugins目录下,然后重启eclipse,将hadoop-1.2.1.tar.gz放到D:\...
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
大数据 hadoop-3.1.3 linux 安装包
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/ 1.3 cp hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar /usr/local/hadoop-1.0.2/...
hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了,都可以用。
必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包版本都不同,需要一个个调整 - `hadoop2x-eclipse-plugin-master/ivy/library.properties` - `hadoop2x-eclipse-plugin-...
hadoop-eclipse-plugin-3.1.3,eclipse版本为eclipse-jee-2020-03
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...