54.HDFS分布式文件系统
发布时间：2024-03-20 点击：100
建站服务器
hdfs分布式文件系统
hdfs系统借助于一款hadoop工具进行部署，文件系统的主要优势是主要是提高客户端的读取效率，假如一块1tb的磁盘数据需要读取，读取速度为100mb/s，如果将1块磁盘中的数据分别存储到100块磁盘上，那么当用户读取时，它们并行运行，那么用户读取操作就可以瞬间完成。
一个hdfs群集由一个运行于master上的namenode和多个运行于slave上的datanode组成。
namenode负责管理文件系统的命名空间和客户端对文件系统的访问操作。
datanode负责管理存储的数据。
文件以块形式进行在datanode中存储，假设一个块20mb，块的副本数为3，设置块的副本数来达到冗余效果，防止单个datanode磁盘故障后数据丢失。将相同的副本块存储到不同的datanode中实现冗余，大文件将被切成小块存储。
dhfs文件系统搭建步骤：
master和slave服务器的先决环境：
v关闭防火墙等基本操作
# iptables -f
# setenforce 0
# ifconfig
v配置hosts解析
# vim /etc/hosts
修改内容：
192.168.0.133 master
192.168.0.134 slave1
192.168.0.135 slave2
v修改主机名
# vim /etc/sysconfig/network
修改内容：
networking=yes
hostname=master
# hostname master
master服务器上：
v创建hadoop运行用户和密码
# useradd hadoop
# passwd hadoop
v部署java环境
# tar xzvf jdk-7u65-linux-x64.gz
# mv jdk1.7.0_65/ /usr/local/java
v安装hadoop软件
# tar xzvf hadoop-2.4.0.tar.gz
# mv hadoop-2.4.0 /usr/local/hadoop
# chown -r hadoop.hadoop /usr/local/hadoop
v设置环境变量
# vim /etc/profile
添加内容：
java_home=/usr/local/java
hadoop_home=/usr/local/hadoop
path=$path:$java_home/bin:$hadoop_home/bin:$hadoop_home/sbin
# source /etc/profile
v修改hadoop配置文件
# vim /usr/local/hadoop/etc/hadoop/hadoop-env.shhadoop的环境文件
添加内容：
java_home=/usr/local/java
# vim /usr/local/hadoop/etc/hadoop/core-site.xml核心配置文件
添加内容：
<configuration>
<property>
<name>fs.defaultfs</name>
<value>hdfs://master:9000</value> <!–namenode的ip：端口–>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value> <!–hadoop临时缓存目录–>
<description>hadoop</description>
</property>
</configuration>
# cp/usr/local/hadoop/etc/hadoop/mapred-site.xml.template/usr/local/hadoop/etc/hadoop/mapred-site.xml
# vim /usr/local/hadoop/etc/hadoop/mapred-site.xmlhadoop的进程配置文件
添加内容：
<configuration>
<property>
<name>mapred.job.tracker</name><!–服务器进程的配置项–>
<value>master:9001</value><!–指定为master端口号为9001–>
</property>
<property>
<name>mapred.local.dir</name><!–可以配置多块磁盘，逗号分隔–>
<value>/usr/local/hadoop/var</value><!–本地计算临时数据存放位置–>
</property>
</configuration>
# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xmlnamenode和datanode配置文件
添加内容：
<configuration>
<property>
<name>dfs.namenode.name.dir</name><!–配置namenode工作目录–>
<value>file:/usr/local/hadoop/name</value>
</property>
<property>
<name>dfs.datanade.data.dir</name><!–配置datanode工作目录–>
<value>file:/usr/local/hadoop/data</value><!–存放块数据文件目录–>
</property>
<property>
<name>dfs.replication</name><!–配置文件块副本数根据slave的数量为单位–>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enable</name><!–启用web访问的hdfs–>
<value>true</value>
</property>
</configuration>
注：
namenode负责管理文件系统的命名空间和客户端对文件系统的访问操作。
datanode负责管理存储的数据。
# vim /usr/local/hadoop/etc/hadoop/masters
添加内容：
master
# vim /usr/local/hadoop/etc/hadoop/slaves
添加内容：
slave1
slave2
v部署ssh，配置免验证开启hadoop
# su hadoop
$ ssh-keygen
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave2
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
v通过ssh将java,hadoop配置文件同步到slave服务器
# scp -r /usr/local/hadoopslave1:/usr/local/
# scp -r /usr/local/java slave1:/usr/local/
# scp -r /etc/profile slave1:/etc/
# scp -r /usr/local/hadoopslave2:/usr/local/
# scp -r
福建华为服务器维修调试云主机多少钱
网站地址申请方法是怎样的？网址选择要考虑什么
自助建站系统平台怎么选择？建站需要考虑什么问题
如何建立电商平台加快自身发展
云主机如何远程连接
一元注册域名是什么意思 域名注册申请注意事项有哪些
注册edu域名有哪些流程？
企业网站建设选择域名有哪些讲究？
hdfs分布式文件系统
hdfs系统借助于一款hadoop工具进行部署，文件系统的主要优势是主要是提高客户端的读取效率，假如一块1tb的磁盘数据需要读取，读取速度为100mb/s，如果将1块磁盘中的数据分别存储到100块磁盘上，那么当用户读取时，它们并行运行，那么用户读取操作就可以瞬间完成。
一个hdfs群集由一个运行于master上的namenode和多个运行于slave上的datanode组成。
namenode负责管理文件系统的命名空间和客户端对文件系统的访问操作。
datanode负责管理存储的数据。
文件以块形式进行在datanode中存储，假设一个块20mb，块的副本数为3，设置块的副本数来达到冗余效果，防止单个datanode磁盘故障后数据丢失。将相同的副本块存储到不同的datanode中实现冗余，大文件将被切成小块存储。
dhfs文件系统搭建步骤：
master和slave服务器的先决环境：
v关闭防火墙等基本操作
# iptables -f
# setenforce 0
# ifconfig
v配置hosts解析
# vim /etc/hosts
修改内容：
192.168.0.133 master
192.168.0.134 slave1
192.168.0.135 slave2
v修改主机名
# vim /etc/sysconfig/network
修改内容：
networking=yes
hostname=master
# hostname master
master服务器上：
v创建hadoop运行用户和密码
# useradd hadoop
# passwd hadoop
v部署java环境
# tar xzvf jdk-7u65-linux-x64.gz
# mv jdk1.7.0_65/ /usr/local/java
v安装hadoop软件
# tar xzvf hadoop-2.4.0.tar.gz
# mv hadoop-2.4.0 /usr/local/hadoop
# chown -r hadoop.hadoop /usr/local/hadoop
v设置环境变量
# vim /etc/profile
添加内容：
java_home=/usr/local/java
hadoop_home=/usr/local/hadoop
path=$path:$java_home/bin:$hadoop_home/bin:$hadoop_home/sbin
# source /etc/profile
v修改hadoop配置文件
# vim /usr/local/hadoop/etc/hadoop/hadoop-env.shhadoop的环境文件
添加内容：
java_home=/usr/local/java
# vim /usr/local/hadoop/etc/hadoop/core-site.xml核心配置文件
添加内容：
<configuration>
<property>
<name>fs.defaultfs</name>
<value>hdfs://master:9000</value> <!–namenode的ip：端口–>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value> <!–hadoop临时缓存目录–>
<description>hadoop</description>
</property>
</configuration>
# cp/usr/local/hadoop/etc/hadoop/mapred-site.xml.template/usr/local/hadoop/etc/hadoop/mapred-site.xml
# vim /usr/local/hadoop/etc/hadoop/mapred-site.xmlhadoop的进程配置文件
添加内容：
<configuration>
<property>
<name>mapred.job.tracker</name><!–服务器进程的配置项–>
<value>master:9001</value><!–指定为master端口号为9001–>
</property>
<property>
<name>mapred.local.dir</name><!–可以配置多块磁盘，逗号分隔–>
<value>/usr/local/hadoop/var</value><!–本地计算临时数据存放位置–>
</property>
</configuration>
# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xmlnamenode和datanode配置文件
添加内容：
<configuration>
<property>
<name>dfs.namenode.name.dir</name><!–配置namenode工作目录–>
<value>file:/usr/local/hadoop/name</value>
</property>
<property>
<name>dfs.datanade.data.dir</name><!–配置datanode工作目录–>
<value>file:/usr/local/hadoop/data</value><!–存放块数据文件目录–>
</property>
<property>
<name>dfs.replication</name><!–配置文件块副本数根据slave的数量为单位–>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enable</name><!–启用web访问的hdfs–>
<value>true</value>
</property>
</configuration>
注：
namenode负责管理文件系统的命名空间和客户端对文件系统的访问操作。
datanode负责管理存储的数据。
# vim /usr/local/hadoop/etc/hadoop/masters
添加内容：
master
# vim /usr/local/hadoop/etc/hadoop/slaves
添加内容：
slave1
slave2
v部署ssh，配置免验证开启hadoop
# su hadoop
$ ssh-keygen
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave2
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
v通过ssh将java,hadoop配置文件同步到slave服务器
# scp -r /usr/local/hadoopslave1:/usr/local/
# scp -r /usr/local/java slave1:/usr/local/
# scp -r /etc/profile slave1:/etc/
# scp -r /usr/local/hadoopslave2:/usr/local/
# scp -r
福建华为服务器维修调试云主机多少钱
网站地址申请方法是怎样的？网址选择要考虑什么
自助建站系统平台怎么选择？建站需要考虑什么问题
如何建立电商平台加快自身发展
云主机如何远程连接
一元注册域名是什么意思 域名注册申请注意事项有哪些
注册edu域名有哪些流程？
企业网站建设选择域名有哪些讲究？