📜  大数据带来的大挑战

📅  最后修改于: 2021-10-21 05:43:45             🧑  作者: Mango

大数据中的挑战是真正的实施障碍。这些需要立即注意并需要处理,因为如果不处理,则可能会发生技术故障,这也可能导致一些令人不快的结果。大数据挑战包括存储、分析超大且快速增长的数据。

一些大数据挑战是:

  1. 共享和访问数据:
    • 也许大数据工作中最常见的挑战是无法访问来自外部来源的数据集。
    • 共享数据可能会带来重大挑战。
    • 它包括对机构间和机构内法律文件的需求。
    • 从公共存储库访问数据会导致多种困难。
    • 必须以准确、完整和及时的方式提供数据,因为如果要使用公司信息系统中的数据及时做出准确的决策,那么以这种方式提供数据就变得必要。
  2. 隐私和安全:
    • 这是大数据的另一个最重要的挑战。这一挑战包括敏感、概念、技术和法律意义。
    • 由于大量数据生成,大多数组织无法保持定期检查。但是,应该有必要实时进行安全检查和观察,因为它是最有益的。
    • 有一些人的信息,当与外部大数据结合时,可能会导致一个人的一些秘密,他可能不希望所有者知道有关该人的这些信息。
    • 一些组织收集人员的信息以增加其业务的价值。这是通过深入了解他们不知道的生活来完成的。
  3. 分析挑战:
    • 大数据中存在一些巨大的分析挑战,这引发了一些主要挑战问题,例如如果数据量太大如何处理问题?
    • 或者如何找出重要的数据点?
    • 或者如何充分利用数据?
    • 这些要对其进行此类分析的大量数据可以是结构化的(有组织的数据)、半结构化的(半组织化的数据)或非结构化的(无组织的数据)。有两种技术可以用来做决策:
      • 要么在分析中加入大量数据。
      • 或者预先确定哪些大数据是相关的。
  4. 技术挑战:
    • 数据质量:
      • 当收集大量数据并存储这些数据时,这是有代价的。大公司、商业领袖和 IT 领导者总是想要大数据存储。
      • 为了获得更好的结果和结论,大数据而不是无关紧要的数据,专注于高质量的数据存储。
      • 这进一步产生了一个问题,即如何确保数据是相关的,有多少数据足以用于决策以及存储的数据是否准确。
    • 容错:
      • 容错是另一个技术挑战,容错计算极其困难,涉及复杂的算法。
      • 现在一些新技术,如云计算和大数据,总是希望无论何时发生故障,造成的损害都应在可接受的阈值内,即整个任务不应从头开始。
    • 可扩展性:
      • 大数据项目可以快速增长和演变。大数据的可扩展性问题已导致云计算。
      • 它带来了各种挑战,例如如何运行和执行各种作业,以便可以经济高效地实现每个工作负载的目标。
      • 它还需要以有效的方式处理系统故障。这又引出了一个大问题,即要使用什么样的存储设备。