在计算机和互联网开始的时代，使用的数据还没有今天那么多，然后所有的用户和企业都可以在一台计算机上轻松存储和管理数据，因为数据永远不会超过19 艾字节的范围，但现在在这个时代，数据每天增加约 2.5 千亿。
大部分数据来自 Facebook、Instagram、Twitter 等社交媒体网站，其他来源可以是电子商务、电子商务交易、医院、学校、银行数据等。这些数据无法通过管理传统的数据存储技术。因此，大数据应运而生，用于处理庞大且不纯的数据。
大数据是企业从社交媒体、GPS、传感器等各种来源收集大数据集，并对其进行系统分析，并使用一些工具和技术提取有用模式的领域。在分析和确定数据之前，必须由架构师设计数据架构。
数据架构设计和数据管理：
数据架构设计是一组标准，由特定的策略、规则、模型和标准组成，用于管理、收集什么类型的数据、从哪里收集数据、收集数据的排列、存储数据、利用和保护数据进入系统和数据仓库进行进一步分析。
数据是企业架构的重要支柱之一，通过它它可以成功地执行业务战略。
数据架构设计对于创建数据系统之间发生的交互的愿景很重要，例如如果数据架构师想要实现数据集成，那么它需要两个系统之间的交互，并通过使用数据架构在过程中实现数据交互的愿景模型可以实现。
数据架构还描述了用于管理数据的数据结构类型，它为数据预处理提供了一种简单的方法。数据架构是通过划分为三个基本模型然后组合而成的：
- 概念模型 –
它是一种业务模型，它使用实体关系 (ER) 模型来处理实体及其属性之间的关系。 - 逻辑模型——
它是一种模型，其中问题以逻辑形式表示，例如数据的行和列、类、xml 标记和其他 DBMS 技术。 - 物理模型——
物理模型包含数据库设计，例如哪种类型的数据库技术适合架构。
数据架构师负责数据架构的所有设计、创建、管理和部署，并定义如何存储和检索数据，其他决策由内部机构做出。
影响数据架构的因素：
业务策略、业务需求、使用的技术、经济和数据处理需求很少会对数据架构产生影响。
- 业务需求 –
这些因素包括业务扩展、系统访问性能、数据管理、事务管理、将原始数据转换为图像文件和记录，然后存储在数据仓库中来加以利用。数据仓库是业务中存储交易的主要方面。 - 商业政策——
策略是用于描述数据处理方式的规则。这些政策由内部组织机构和其他政府机构制定。 - 使用中的技术——
这包括使用以前完成的数据架构设计的示例，以及使用现有的许可软件购买、数据库技术。 - 商业经济学——
业务增长和亏损、利率、贷款、市场状况和总体成本等经济因素也会对设计架构产生影响。 - 数据处理需求——
其中包括数据挖掘、大型连续事务、数据库管理和其他数据预处理需求等因素。
数据管理 ：
- 数据管理是管理任务的过程，例如提取数据、存储数据、传输数据、处理数据，然后以低成本消耗保护数据。
- 数据管理的主要目的是以最佳方式管理和保护人员和组织的数据，以便他们可以轻松地创建、访问、删除和更新数据。
- 因为数据管理是每个企业成长中必不可少的过程，没有它就无法制定业务发展的政策和决策。数据管理越好，业务生产力就越高。
- 像大数据这样的海量数据在传统上比较难管理，所以必须使用Hadoop、Scala、Tableau、AWS等数据管理的最佳技术和工具。这些技术和工具可以进一步用于大数据分析以实现改进模式。
- 数据管理可以通过对员工的必要培训和DBA、数据分析师和数据架构师的维护来实现。