我们在计算机系统中存储数据的主要目的是减少数据占用的内存空间量。HP vertica 使用编码和压缩技术来优化数据的存储并提高查询性能。
编码:
编码是将数据转换成某种标准格式的过程,这种编码后的数据可以由 vertica 直接处理。
vertica 中最常用的编码技术是:
- 行程编码 (RLE)
- Delta 值编码。
压缩 :
压缩是压缩数据的方法,这不能被vertica直接理解。首先必须对数据进行解压缩,vertica 只能理解解压缩后的数据。最常用的压缩技术是:
- LZO(基于 Lempel-Ziv-Oberhumer)压缩
行程编码(RLE):
RLE 用于压缩按列中很少有不同值排序的数据。
Deltaval 编码:
在 deltaval 编码中,数据可以是已排序或未排序的,并且值不是很明显。找出数据之间的差异,以其中一个数据为基础。
LZO 压缩:
当数据未排序时使用 LZO 压缩,数据非常不同。LZO 压缩删除字符之间的空格并对它们进行编码,就像在我们发送电子邮件之前压缩文档一样。