实时流处理是在生成数据时对数据采取行动的过程。这是一个快速处理大量数据的过程。从历史上看,实时处理是指根据需要频繁地进行处理。处理时间可以以微秒为单位。
实时流传输有许多应用程序,例如电子商务,网络监视,欺诈检测等。
例子:
如果我们有一个像仓库一样的Hive ,其中包含PB级数据。但这仅允许我们分析历史数据并预测未来。
处理此类海量数据还远远不够。我们还需要实时处理此类数据。这在欺诈检测,情报和监视系统等中是必需的。
RTS的工作
RTSP是一种应用程序层协议,允许客户端控制服务器上的实时媒体流。 RTSP不处理数据本身的传输。该协议有助于进行实时定时流处理。
有各种开源平台:
- 阿帕奇·斯帕克
- Apache Apex
- Apache Flink
好处
- 通过租赁云基础架构,软件,平台和服务来降低成本。
- 通过使用托管云提供商支持人员降低了成本。
缺点
- 安全性:确实存在有关云中数据安全性的问题。
- 托管云提供商的依赖性。
- “上帝的作为”中断。