📅  最后修改于: 2020-12-06 09:20:17        🧑  作者: Mango

ETL工具从所有这些异构数据源中提取数据，转换数据(例如应用计算，联接字段，键，删除不正确的数据字段等)，然后将其加载到数据仓库中。这是一个入门教程，解释了ETL测试的所有基础知识。本教程是为所有想要学习ETL测试基础知识的读者设计的。对于所有需要执行数据分析以从数据库中提取相关信息的软件测试专业人员而言，它将特别有用。先决条件我们假定本教程的读者具有使用SQL查询处理数据库的动手经验。此外，如果...

📅  最后修改于: 2020-12-06 09:20:52        🧑  作者: Mango

数据仓库系统中的数据已通过ETL(提取，转换，加载)工具加载。顾名思义，它执行以下三个操作-从事务系统中提取数据，该事务系统可以是Oracle，Microsoft或任何其他关系数据库，通过执行数据清理操作来转换数据，然后将数据加载到OLAP数据仓库中。您还可以使用ETL工具从电子表格和CSV文件等平面文件中提取数据，并将其加载到OLAP数据仓库中以进行数据分析和报告。让我们以一个例子来更好地理解它...

📅  最后修改于: 2020-12-06 09:21:07        🧑  作者: Mango

在将数据移入生产数据仓库系统之前，已完成ETL测试。有时也称为表平衡或生产对帐。它的范围和完成此操作要采取的步骤与数据库测试不同。ETL测试的主要目标是识别和减轻在处理数据以进行分析报告之前发生的数据缺陷和一般错误。ETL测试–要执行的任务这是ETL测试中涉及的常见任务的列表-了解用于报告的数据查看数据模型源到目标的映射对源数据进行数据检查包和架构验证目标系统中的数据验证验证数据转换计算和聚合规则...

📅  最后修改于: 2020-12-06 09:21:27        🧑  作者: Mango

ETL测试和数据库测试都涉及数据验证，但是它们并不相同。 ETL测试通常在数据仓库系统中的数据上执行，而数据库测试通常在事务系统上执行，在事务系统上，数据来自不同的应用程序到事务数据库中。在这里，我们重点介绍了ETL测试和数据库测试之间的主要区别。ETL测试ETL测试涉及以下操作-验证从源到目标系统的数据移动。验证源系统和目标系统中的数据计数。根据要求和期望验证数据提取，转换。验证表关系-连接和键...

📅  最后修改于: 2020-12-06 09:21:48        🧑  作者: Mango

ETL测试分类是基于测试和报告的目标进行的。测试类别根据组织标准而有所不同，并且还取决于客户的要求。通常，ETL测试基于以下几点进行分类-源到目标计数测试-它涉及源和目标系统中记录计数的匹配。源到目标数据测试-它涉及源和目标系统之间的数据验证。它还涉及目标系统中的数据集成和阈值检查以及重复数据检查。数据映射或转换测试-确认源系统和目标系统中对象的映射。它还涉及检查目标系统中数据的功能。最终用户测试...

📅  最后修改于: 2020-12-06 09:22:04        🧑  作者: Mango

ETL测试不同于数据库测试或任何其他常规测试。在执行ETL测试时，可能不得不面对不同类型的挑战。在这里，我们列出了一些常见的挑战-ETL过程中的数据丢失。数据不正确，不完整或重复。DW系统包含历史数据，因此数据量太大且极其复杂，无法在目标系统中执行ETL测试。通常不向ETL测试人员提供在ETL工具中查看工作计划的权限。他们几乎无法访问BI报表工具来查看报表和报表内部数据的最终布局。由于数据量太大和...

📅  最后修改于: 2020-12-06 09:22:22        🧑  作者: Mango

ETL测试人员主要负责验证数据源，提取数据，应用转换逻辑以及将数据加载到目标表中。下面列出了ETL测试人员的主要职责。验证源系统中的表它涉及以下操作-计数检查使记录与源数据一致数据类型检查确保没有垃圾邮件数据加载删除重复数据检查所有按键是否到位应用转换逻辑在加载数据之前应用转换逻辑。它涉及以下操作-数据阈值验证检查，例如，年龄值不应超过100。在应用转换逻辑之前和之后，记录计数检查。从登台区域到中...

📅  最后修改于: 2020-12-06 09:22:55        🧑  作者: Mango

在开始测试过程之前，定义正确的ETL测试技术很重要。您应该获得所有利益相关者的接受，并确保选择了正确的技术来进行ETL测试。该技术应为测试团队所熟知，并且他们应该了解测试过程中涉及的步骤。可以使用各种类型的测试技术。在本章中，我们将简要讨论测试技术。生产验证测试要执行分析报告和分析，您生产中的数据应该正确。该测试是对移至生产系统的数据进行的。它涉及生产系统中的数据验证，并将其与源数据进行比较。源到...

📅  最后修改于: 2020-12-06 09:23:10        🧑  作者: Mango

ETL测试涵盖了ETL生命周期中涉及的所有步骤。首先要了解业务需求，直到生成摘要报告。下面列出了ETL测试生命周期下的常见步骤-了解业务需求。验证业务需求。测试估计用于提供运行测试用例和完成摘要报告的估计时间。测试计划包括根据业务需求基于输入来找到测试技术。创建测试方案和测试用例。一旦测试用例准备就绪并获得批准，下一步就是执行执行前检查。执行所有测试用例。最后一步是生成完整的摘要报告并提交关闭过程...

📅  最后修改于: 2020-12-06 09:23:30        🧑  作者: Mango

ETL测试方案用于验证ETL测试过程。下表说明了ETL测试人员使用的一些最常见的方案和测试用例。Test ScenariosTest-CasesStructure ValidationIt involves validating the source and the target table structure as per the mapping document.Data type shoul...

📅  最后修改于: 2020-12-06 09:23:47        🧑  作者: Mango

ETL性能调整用于确保ETL系统是否可以处理多个用户和事务的预期负载。性能调优通常涉及ETL系统上的服务器端工作负载。它用于测试多用户环境中的服务器响应并查找瓶颈。这些可以在源系统和目标系统，系统映射，会话管理属性等配置中找到。如何执行ETL测试性能调整?请按照以下步骤执行ETL测试性能调整-步骤1-查找正在生产中转换的负载。步骤2-创建相同负载的新数据或从生产数据移至本地性能服务器。步骤3-禁用...

📅  最后修改于: 2020-12-06 09:24:01        🧑  作者: Mango

ETL测试的目标是获得可靠的数据。通过使测试周期更有效，可以获得数据可信度。全面的测试策略是建立有效的测试周期。每当数据移动时，测试策略应涵盖ETL流程每个阶段的测试计划，并阐明每个利益相关者的责任，例如业务分析师，基础架构团队，QA团队，DBA，开发人员和业务用户。为了确保各个方面的测试准备就绪，测试策略应重点关注的关键领域是-测试范围-描述要使用的测试技术和类型。设置测试环境。测试数据的可用性...

📅  最后修改于: 2020-12-06 09:24:18        🧑  作者: Mango

在ETL测试中，数据准确性用于确保是否按照预期将数据正确加载到目标系统。执行数据准确性的关键步骤如下-价值比较价值比较涉及比较源系统和目标系统中的数据，而无需进行最少的转换或不进行任何转换。可以使用各种ETL测试工具完成此操作，例如，Informatica中的Source Qualifier Transformation。某些表达式转换也可以在数据准确性测试中执行。 SQL语句中可以使用各种集合运...

📅  最后修改于: 2020-12-06 09:24:39        🧑  作者: Mango

检查元数据涉及在映射文档中验证源和目标表结构。映射文档包含有关源列和目标列，数据转换规则和数据类型以及定义源系统和目标系统中表结构的所有字段的详细信息。数据长度检查目标列数据类型的长度应等于或大于源列数据类型的长度。让我们举个例子。假设您在源表中有名字和姓氏，并且每个名字的数据长度定义为50个字符。然后，目标系统中全名列的目标数据长度应至少为100或更大。数据类型检查数据类型检查涉及验证源和目标数...

📅  最后修改于: 2020-12-06 09:25:04        🧑  作者: Mango

执行数据转换有点复杂，因为无法通过编写单个SQL查询然后将输出与目标进行比较来实现。对于ETL测试数据转换，您可能必须为每行编写多个SQL查询以验证转换规则。首先，请确保源数据足以测试所有转换规则。对数据转换执行成功的ETL测试的关键是从源系统中选择正确且足够的样本数据以应用转换规则。下面列出了ETL测试数据转换的关键步骤-第一步是创建输入数据和预期结果的场景列表，并与商业客户进行验证。这是在设计...