越来越多的应用程序正在使用flink进行低延迟数据处理。flink通过一个计算引擎统一了批处理和流处理。然而，在实际操作中，为了真正实现批处理和流处理的统一，需要一个数据系统为这两种数据类型提供一个统一的数据表示。如今，流式数据通常存储在日志存储或消息传递系统中，而批处理数据则存储在分布式文件系统和对象存储中。这意味着数据科学家仍然需要编写两个不同的计算作业来访问存储在不同数据系统中的相同数据。
Apache Pulsar是下一代消息和流数据系统。它最初由雅虎开发，并已从Apache孵化器毕业，成为一个顶级项目。Pulsar将消息服务和数据存储分成两层。这种分层架构提供了高吞吐量和低延迟，同时确保了高可用性和可扩展性。Pulsar的以段为中心的存储设计和分层架构使其成为一个完美的无边界流数据系统，能够很好地适应Flink的计算模型。
在本次演讲中，来自Apache Pulsar PMC的Sijie Guo将介绍Pulsar及其分层架构和以段为中心的存储，详细说明这种架构如何与Flink很好地集成，以提供弹性统一的批处理和流处理。
以上就是Flink Forward 2019--实战相关(11)--Pulasr与Flink整合的弹性数据处理的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
496
