hbase依靠什么存储底层数据

发布时间:2025-02-05 点击:29
hbase依靠“hdfs”存储底层数据。hbase利用hadoop hdfs作为其文件存储系统,为hbase提供高可靠性的底层存储支持;hdfs有着高容错性的特点,并且设计用来部署在低廉的硬件上。
hbase – hadoop database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用hbase技术可在廉价pc server上搭建起大规模结构化存储集群。
hbase依靠“hdfs”存储底层数据。
hbase是google bigtable的开源实现,类似google bigtable利用gfs作为其文件存储系统,hbase利用hadoop hdfs作为其文件存储系统;google运行mapreduce来处理bigtable中的海量数据,hbase同样利用hadoop mapreduce来处理hbase中的海量数据;google bigtable利用 chubby作为协同服务,hbase利用zookeeper作为对应。
上图描述hadoop ecosystem中的各层系统。其中,hbase位于结构化存储层,hadoop hdfs为hbase提供了高可靠性的底层存储支持,hadoop mapreduce为hbase提供了高性能的计算能力,zookeeper为hbase提供了稳定服务和failover机制。
hdfs
hadoop分布式文件系统(hdfs)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(distributed file system)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。hdfs是一个高度容错性的系统,适合部署在廉价的机器上。hdfs能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。hdfs放宽了一部分posix约束,来实现流式读取文件系统数据的目的。hdfs在最开始是作为apache nutch搜索引擎项目的基础架构而开发的。hdfs是apache hadoop core项目的一部分。
hdfs有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。hdfs放宽了(relax)posix的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。
hdfs采用了主从(master/slave)结构模型,一个hdfs集群是由一个namenode和若干个datanode组成的。其中namenode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的datanode管理存储的数据。

云服务器租赁排行
电脑发热容易死机是什么原因 电脑过热就死机的解决教程
电脑提示C盘空间不足怎么办?360C盘搬家解决C盘空间不足的方法
Google Cloud现已提供Workspot Cloud PC
云服务器运行ui交互型挂机脚本
租云服务器步骤图
租用阿里云mqtt服务器
【涨知识】教你用网站流量来看出SEO网站推广的效果