📜  ETL测试–数据转换

📅  最后修改于: 2020-12-06 09:25:04             🧑  作者: Mango


执行数据转换有点复杂,因为无法通过编写单个SQL查询然后将输出与目标进行比较来实现。对于ETL测试数据转换,您可能必须为每行编写多个SQL查询以验证转换规则。

首先,请确保源数据足以测试所有转换规则。对数据转换执行成功的ETL测试的关键是从源系统中选择正确且足够的样本数据以应用转换规则。

下面列出了ETL测试数据转换的关键步骤-

  • 第一步是创建输入数据和预期结果的场景列表,并与商业客户进行验证。这是在设计过程中收集需求的好方法,也可以用作测试的一部分。

  • 下一步是创建包含所有方案的测试数据。利用ETL开发人员来自动完成用方案电子表格填充数据集的整个过程,以使方案具有通用性和可移动性,因为方案可能会发生变化。

  • 接下来,利用数据分析结果来比较目标数据和源数据之间每个字段中值的范围和提交。

  • 验证ETL生成的字段(例如代理键)的准确处理。

  • 验证仓库中的数据类型与在数据模型或设计中指定的相同。

  • 在测试参照完整性的表之间创建数据方案。

  • 验证数据中的父子关系。

  • 最后一步是执行查找转换。查找查询应该是直接的,没有任何聚合,并且期望每个源表仅返回一个值。您可以像之前的测试一样直接在源限定符中加入查找表。如果不是这种情况,请编写一个查询,将查询表与源中的主表连接起来,并比较目标中相应列中的数据。