Amazon Kinesis是Amazon Web Service提供的一项服务,允许用户每秒每秒实时处理大量数据(可以是音频,视频,应用程序日志,网站点击流和IoT遥测)。在当今的场景中,处理大量数据变得非常重要,为此,有一个完整的整体主题称为大数据,该主题致力于如何处理或处理大量数据流。因此,Amazon提出了一种称为Amazon Kinesis的解决方案,该解决方案经过完全管理和自动化,可以轻松处理实时的大型数据流。它允许用户从分布式流(例如社交媒体供稿)中收集,存储,捕获和处理大量日志。通过从任何来源获取任何数量的数据来处理它,它使用户可以专注于开发。在处理完所有数据之后,Kinesis还将所有数据同时分发给使用者。
关键零件
运动学的三个主要组成部分如下:
- Kinesis Firehose
- 运动学分析
- 运动流
让我们详细探讨它们。
Kinesis Firehose:
Firehose允许用户将其数据流加载或转换为亚马逊Web服务,然后再传输给其他功能(如分析或存储)。它是全自动的,并且根据数据自动扩展,因此不需要连续管理。
Kinesis Analytics:
它允许运动kinesis firehose和运动kinesis流提供的数据流使用标准SQL进行分析和处理。它分析数据格式并自动分析数据,并使用一些标准的交互式模式编辑器在推荐模式中对其进行编辑。它还提供了预构建的流过程模板,可用于为它们的数据分析选择合适的模板。
Kinesis流:
它提供了用于实时和连续处理数据的平台。为了安全起见,它还通过使用KMS主密钥和服务器端加密来加密敏感数据。
Amazon Kinesis的体系结构看起来类似于下面的图像:
Amazon Kinesis的功能
- 经济高效:亚马逊提供的所有服务都具有成本效益,因为它遵循“按需付费”的模式,这意味着您必须根据使用情况付费,而不是按固定价格付费。因此,对于用户来说,仅需支付他们使用的费用就变得有利。
- 与其他AWS服务集成: Amazon Kinesis允许用户使用其他AWS服务并与其集成。可以集成的服务是Amazon DynamoDB,Amazon Redshift以及处理大量数据的所有其他服务。
- 可用性:您可以随时随地访问它。只需要一个良好的网络连接。
- 实时处理-它使您可以处理每次需要即时更新的数据。 Kinesis的最大优势在于,当您处理如此大量的数据时,实时处理变得非常重要。
Amazon Kinesis的局限性:
- Amazon kinesis的限制是,默认情况下,它只能访问记录流日志24小时,但可以延长,但最多可以延长7天,最长不能超过7天。
- 用户可以在其帐户中拥有的流的数量没有上限。
- 一个分片每秒最多支持1000个PUT记录。