HBase性能调整:架构设计

2018-09-25 15:01 更新

列族数

请参见HBase列族数量

键和属性长度

请参阅:尽量减少行和列的大小

表RegionSize

在某些表需要不同区域大小而不是配置的默认区域大小的情况下,可以通过在每个表的基础上,通过HTableDescriptor的setFileSize来设置区域大小。

Bloom过滤器

Bloom过滤器是以其创建者Burton Howard Bloom的名字命名的,它是一种数据结构,用于预测给定元素是否属于一组数据。Bloom过滤器的肯定结果并不总是准确的,但否定结果是准确的。Bloom过滤器被设计成对于数据集来说“足够准确”,这些数据集非常大以至于传统的哈希机制是不切实际的。有关Bloom过滤器的更多信息,请参阅http://en.wikipedia.org/wiki/Bloom_filter。

就HBase而言,Bloom过滤器提供了一个轻量级的内存结构,可以将给定Get操作(Bloom过滤器不能与Scans一起使用)的磁盘读取次数减少到仅包含所需行的StoreFiles。潜在的性能增益随着并行读取的数量而增加。

Bloom过滤器本身存储在每个HFile的元数据中,并且永远不需要更新。当因为区域部署到RegionServer而打开HFile时,Bloom过滤器将加载到内存中。

HBase包括一些调整机制,用于折叠Bloom过滤器以减小大小并将误报率保持在一个理想的范围内。

Bloom过滤器在HBASE-1200中引入。从HBase 0.96开始,默认情况下启用基于行的Bloom过滤器。(HBASE-8450

何时使用Bloom过滤器

从HBase 0.96开始,默认情况下启用基于行的Bloom过滤器。您可以选择禁用它们或更改某些表以使用行+列Bloom过滤器,具体取决于数据的特征以及如何将其加载到HBase中。

要确定Bloom过滤器是否会产生积极影响,请检查RegionServer度量标准中的blockCacheHitRatio值。如果启用了Bloom过滤器,则值blockCacheHitRatio应该增加,因为Bloom过滤器正在过滤掉绝对不需要的块。

您可以选择为行,或行+列组合来启用Bloom过滤器。如果您通常扫描整行,则行+列组合不会提供任何好处。基于行的Bloom过滤器可以对行+列进行Get操作,但不能使用其他方法。但是,如果您有大量的列级别的Puts,以便每个StoreFile中可能存在一行,则基于行的过滤器将始终返回正结果并且不会带来任何好处。除非每行有一列,否则行+列Bloom过滤器需要更多空间,以便存储更多密钥。当每个数据条目的大小至少为几千字节时,Bloom过滤器效果最佳。

当您的数据存储在几个较大的StoreFiles中时,开销将减少,以避免在低级扫描期间额外的磁盘IO找到特定的行。

Bloom过滤器需要在删除时重建,因此可能不适合具有大量删除的环境。

启用Bloom过滤器

在列族上启用Bloom过滤器。您可以使用HColumnDescriptor的setBloomFilterType方法或使用HBase API来完成此操作。有效值是NONE,ROW(默认值),或ROWCOL。

以下示例创建一个表,并在colfam1列族上启用ROWCOL Bloom过滤器。

hbase> create 'mytable',{NAME => 'colfam1', BLOOMFILTER => 'ROWCOL'}

配置Bloom过滤器的服务器范围行为

您可以在hbase-site.xml中配置以下设置。

参数默认值描述

io.storefile.bloom.enabled

yes

如果出现问题,设置为no以杀死服务器范围内的Bloom过滤器

io.storefile.bloom.error.rate

.01

Bloom过滤器的平均误报率。折叠用于维持误报率。表示为百分比的十进制表示形式。

io.storefile.bloom.max.fold

7

保证最大折叠率。不需要更改此设置,不建议这样做。

io.storefile.bloom.max.keys

1.28

对于默认(单个块)Bloom过滤器,这指定了最大键数。

io.storefile.delete.family.bloom.enabled

true

主开关启用Delete Family Bloom过滤器并将其存储在StoreFile中。

io.storefile.bloom.block.size

131072

目标Bloom块大小。大约这个大小的Bloom过滤器块与数据块交织。

hfile.block.bloom.cacheonwrite

false

为复合Bloom过滤器的内联块启用写入高速缓存。

ColumnFamily BlockSize

可以为表中的每个ColumnFamily配置块大小,默认为64k。较大的单元值需要较大的块大小。块大小和生成的StoreFile索引之间存在反比关系(即,如果blocksize加倍,则结果索引应该大致减半)。

内存ColumnFamilies

ColumnFamilies可以选择定义为内存中。数据仍然保留在磁盘上,就像任何其他ColumnFamily一样。内存块在块缓存中具有最高优先级,但不保证整个表将在内存中。

压缩

生产系统应使用其ColumnFamily定义进行压缩。

注意

压缩会缩小磁盘上的数据。当它在内存中(例如,在MemStore中)或在线上(例如,在RegionServer和Client之间传输)时,它会膨胀。因此,虽然使用ColumnFamily压缩是最佳做法,但它不会完全消除过大的Keys,过大的ColumnFamily名称或过大的列名称的影响。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号