Hadoop安装配置入门手册

资 源 简 介

Hadoop安装配置入门手册

详 情 说 明

Hadoop作为主流的大数据分布式处理框架，其安装配置是每个大数据工程师的入门必修课。本文将梳理Hadoop单机及伪分布式模式的核心配置步骤，帮助初学者快速搭建实验环境。

环境准备 需要确保操作系统（推荐Linux）已配置Java环境，Hadoop对JDK版本有严格要求（通常需要JDK8或JDK11）。SSH免密登录是伪分布式模式的关键依赖，需提前生成密钥对并完成本地授权。

安装包处理 从Apache官网下载二进制包时需注意选择稳定版本。解压后需设置`HADOOP_HOME`环境变量，并将`bin`和`sbin`目录加入PATH，这是后续命令调用的基础。

核心文件配置 修改`etc/hadoop`目录下的四个关键文件： core-site.xml：定义NameNode地址（如hdfs://localhost:9000）和临时目录 hdfs-site.xml：设置副本数（伪分布式需改为1）和数据存储路径 mapred-site.xml：指定使用YARN作为资源管理器 yarn-site.xml：配置NodeManager的辅助服务和资源调度策略

初始化与启动 执行格式化命令初始化HDFS时，需特别注意该操作会清空原有数据。通过`start-dfs.sh`和`start-yarn.sh`分别启动HDFS和YARN服务后，可通过jps命令验证进程是否包含NameNode、DataNode等关键组件。

验证与排错 访问Web界面（如50070端口）查看HDFS状态，运行示例WordCount程序测试MapReduce功能。常见问题包括端口冲突、权限不足等，需检查日志文件定位具体原因。

伪分布式模式虽简化了集群部署，但仍完整保留了Hadoop的核心机制，适合作为生产环境配置前的学习过渡。后续可尝试修改配置参数观察性能变化，逐步深入理解各组件协同原理。