Microsoft Azure – Azure 数据工厂简介

Azure Data Factory（ADF）是一个云服务，它提供了一种用于创建，安排和管道数据移动和转换的方法。ADF 可以便捷地从各种不同的数据存储中获取数据，然后将这些数据转换和传输到我们指定的另一个数据存储中。

ADF 的主要功能

• 数据提取（Extracting Data）：可从各种数据存储中提取数据，无论是基于云的还是本地的。支持多种方法，例如自定义库，复制和数据移动服务、Hadoop 和其他大数据存储。
• 数据转换（Transforming Data）：包括各种数据转换扩展和开箱即用的内置数据转换。
• 数据加载（Loading Data）：集成大量数据加载器来操作数据存储，例如 Azure Blob 存储，Azure SQL 数据库或其他第三方数据存储。
• 运行管道（Running Pipelines）：在规定的过程中通过自动扩展集群来开发和执行复杂的管道调度。

ADF 的优点

• 大规模数据处理：可以处理超过以往想象的大规模数据，而且，无论是半结构化、非结构化抑或结构化数据，ADF 都有解决方案。
• 灵活性：基于云计算，随需分配和释放资源来应对数据处理的瞬时增长和需求变化。ADF 相关功能可借助 Azure 门户管理，也可使用 REST API 或 .NET SDK 完成。
• 多数据源整合：可整合各式各样的数据、文件和其他内容，例如 Azure 数据湖、SQL 数据库、Oracle、MySQL 或其他大数据框架。
• 增强数据操作性：可基于各种数据存储位置和不同数据格式，来创建灵活的管道和适用于各种数据源的集成。如此，数据就能够以比较容易的方式在不同数据源之间传输、转换和集成。
• 可视化数据管道：ADF 设计界面直观，可用于创建制定数据流和转换过程的设计器。如果配置良好，数据流将根据预定的周期和溢出量自动运行，因而极大地提高了可靠性和性能。

总结

Azure Data Factory 是专门用于数据管道的设计与管理的云服务。它可以方便地抓取多种大数据源，并且基于 Azure 的灵活弹性可满足企业数据处理上升和需求变化的变幻莫测。如果您需要一种新的灵活、高效、强大的数据集成方式，那么，ADF 就是一个不错的选择。

参考资料

1. Introduction to Azure Data Factory
2. What is Azure Data Factory?