📌  相关文章
📜  ETL测试–数据完整性

📅  最后修改于: 2020-12-06 09:25:37             🧑  作者: Mango

完成数据完整性检查以验证目标系统中的数据在加载后是否符合预期。

可以为此执行的常见测试如下-

  • 检查集合函数(总，最大，最小，计数)，

  • 在不进行转换或仅进行简单转换的情况下，检查和验证列的源和目标之间的计数和实际数据。

计数验证

比较源表和目标表中的记录数。可以通过编写以下查询来完成-

SELECT count (1) FROM employee; 
SELECT count (1) FROM emp_dim;

数据资料验证

它涉及检查源表和目标表(事实或维度)中的汇总函数，例如计数，总和和最大值。

列数据配置文件验证

它涉及比较不同值和每个不同值的行数。

SELECT city, count(*) FROM employee GROUP BY city; 
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;

重复数据验证

它涉及验证根据业务需求应该唯一的一列或两列组合中的主键和唯一键。您可以使用以下查询执行重复数据验证-

SELECT first_name, last_name, date_of_joining, count (1) FROM employee
GROUP BY first_name, last_name HAVING count(1)>1;