📅  最后修改于: 2020-12-06 09:25:21        🧑  作者: Mango

在ETL测试期间检查数据质量涉及对目标系统中加载的数据执行质量检查。它包括以下测试-号码检查在整个目标系统上，数字格式应相同。例如，在源系统中，对列进行编号的格式为x.30，但是如果目标仅为30，则必须加载不带前缀x的代码。在目标列号中。日期检查日期格式在源系统和目标系统中都应保持一致。例如，所有记录的记录应该相同。标准格式为：yyyy-mm-dd。精度检查精度值应在目标表中按预期显示。例如，在源...

📅  最后修改于: 2020-12-06 09:25:37        🧑  作者: Mango

完成数据完整性检查以验证目标系统中的数据在加载后是否符合预期。可以为此执行的常见测试如下-检查集合函数(总，最大，最小，计数)，在不进行转换或仅进行简单转换的情况下，检查和验证列的源和目标之间的计数和实际数据。计数验证比较源表和目标表中的记录数。可以通过编写以下查询来完成-数据资料验证它涉及检查源表和目标表(事实或维度)中的汇总函数，例如计数，总和和最大值。列数据配置文件验证它涉及比较不同值和每个...

📅  最后修改于: 2020-12-06 09:25:51        🧑  作者: Mango

计划对系统进行备份恢复，以确保从故障中尽快恢复系统，并在不丢失任何重要数据的情况下尽早恢复操作。ETL备份恢复测试用于确保数据仓库系统从硬件，软件或网络故障(丢失任何数据)中成功恢复。必须准备适当的备份计划以确保最大的系统可用性。备份系统应该能够轻松还原，并且可以接管发生故障的系统而不会丢失任何数据。ETL测试备份恢复涉及将应用程序或DW系统暴露在极端条件下，以防任何硬件组件，软件崩溃等。下一步是...

📅  最后修改于: 2020-12-06 09:26:11        🧑  作者: Mango

ETL测试主要使用SQL脚本并在电子表格中收集数据来完成。这种执行ETL测试的方法非常缓慢且耗时，容易出错，并且是对样本数据执行的。手动ETL测试中的技术挑战您的ETL测试团队编写SQL查询来测试仓库系统中的数据，他们需要使用SQL编辑器手动执行它们，然后将数据放入Excel电子表格中并进行手动比较。该过程耗时，资源密集并且效率低下。市场上有各种工具可以使这一过程自动化。最常见的ETL测试工具是Q...

📅  最后修改于: 2020-12-06 09:26:33        🧑  作者: Mango

要测试数据仓库系统或BI应用程序，需要采用以数据为中心的方法。 ETL测试最佳实践有助于最大程度地减少执行测试的成本和时间。它提高了要加载到目标系统的数据的质量，该系统生成了高质量的仪表板和最终用户报告。我们在这里列出了一些可用于ETL测试的最佳实践-分析数据为了建立正确的数据模型，分析数据以了解需求非常重要。花时间了解需求并为目标系统建立正确的数据模型可以减少ETL的挑战。研究源系统，数据质量并...

📅  最后修改于: 2020-12-06 09:29:29        🧑  作者: Mango

您对ETL有什么了解?ETL代表提取，转换和加载。它是数据仓库系统中的重要概念。提取代表从不同数据源(例如事务系统或应用程序)中提取数据。转换代表将转换规则应用于数据，从而使其适合于分析报告。加载过程涉及将数据移至目标系统，通常是数据仓库。解释ETL周期的3层体系结构。ETL周期涉及的三层是-暂存层-暂存层用于存储从不同源数据系统提取的数据。数据集成层-集成层将数据从登台层进行转换，并将其移动到数...

📅  最后修改于: 2020-12-06 09:29:49        🧑  作者: Mango

以下资源包含有关ETL测试的其他信息。请使用它们来获得有关该主题的更深入的知识。ETL测试的有用链接ETL Wiki–ETL维基百科参考。有关ETL测试的有用书籍要在此页面上注册您的网站，请发送电子邮件至...

📅  最后修改于: 2020-12-06 09:30:03        🧑  作者: Mango

ETL工具从所有这些异构数据源中提取数据，转换数据(例如应用计算，联接字段，键，删除不正确的数据字段等)，然后将其加载到数据仓库中。这是一个入门教程，解释了ETL测试的所有基础知识。...