-
Flink实时监控系统
Flink实时监控告警系统 实时监控系统需要满足对多种来源的数据进行告警，为提升系统的可扩展行和灵活性，采用动态规则配置来实现多种数据源、多种告警规则的实时告警。 需要实时监测和发现k8s集群的业务数据、埋点数据是否有异常，系统运行状况异常。
-
Flink监控与性能优化
Flink监控与性能优化 对于构建好的Flink集群，如何能够有效地进行集群以及任务方面的监控与优化是非常重要的，尤其对于7*24小时运行的生产环境。本章将从多个方面介绍Flink在监控和性能优化方面的内容，其中监控部分包含了Flink系统内部提供的常用监控指标的获取，以及用户如何自定义实现指标的采集和监控。同时，也会重点介绍Checkpointing以及任务反压的监控。然后通过分析各种监控指标帮助用户更好地对Flink应用进行性能优化，以提高Flink任务执行的数据处理性能和效率。
-
Flink部署与应用
Flink部署与应用 本章首先会重点讲解如何将前面章节中不同API编写的Flink应用部署在Flink实际集群环境，以及Flink所支持的不同部署环境与模式，其中包括Standalone cluster，Flink On Yarn以及Flink On Kubernetes三种部署模式。然后介绍Flink在集群环境中如何进行高可用等配置，其中重点包括如何实现JobManager的高可用。除此之外，本章也将介绍Flink集群安全认证管理，帮助用户进行整个Flink集群的安全管理，实现与大数据集群认证系统对接。最后还将介绍Flink集群在升级运维过程中，如何通过Savepoint技术实现数据一致性的保障。
-
Flink组件栈
Flink编程SQL 通过对前面章节的学习，我们对Flink的基本编程接口有了一定的认识和了解，在本章将重点介绍Flink在不同的应用领域中所提供的组件栈，其中包括构建复杂事件处理应用的FlinkCEP组件栈，构建机器学习应用的FlinkML组件栈，以及构建图计算应用的Gelly组件栈。这些组件栈本质上都是构建在DataSet或DataStream接口之上的，其主要目的就是方便用户构建不同应用领域的应用。
-
Flink编程sql
Flink编程SQL Flink提供了关系型编程接口Table API以及基于Table API的SQL API，让用户能够通过使用结构化编程接口高效地构建Flink应用。同时Table API以及SQL能够统一处理批量和实时计算业务，无须切换修改任何应用代码就能够基于同一套API编写流式应用和批量应用，从而达到真正意义的批流统一。
-
Flink编程dataset
Flink编程DataSet 目前Flink在批量计算领域的应用不是特别广泛，但并不代表Flink不擅长处理批量数据，批量数据其实是流式数据的子集，可以通过一套引擎处理批量和流式数据，而Flink在未来也会重点投入更多的资源到批流融合中。
-
Flink状态管理和容错
Flink状态管理和容错 本章将重点介绍Flink对有状态计算的支持，其中包括有状态计算和无状态计算的区别，以及在Flink中支持的不同状态类型，分别有Keyed State和Operator State。另外针对状态数据的持久化，以及整个Flink任务的数据一致性保障，Flink提供了Checkpoint机制处理和持久化状态结果数据。最后针对状态数据Flink提供了不同的状态管理器来管理状态数据，例如MemoryStateBackend等。
-
Flink作业链和资源组
Flink作业链和资源组 在Flink作业中，用户可以指定相应的链条将相关性非常强的转换操作绑定在一起，这样能够让转换过程上下游的Task在同一个Pipeline中执行，进而避免因为数据在网络或者线程间传输导致的开销。一般情况下Flink在例如Map类型的操作中默认开启TaskChain，以提高Flink作业的整体性能。Flink同时也为用户提供细粒度的链条控制，用户能够根据自己的需要创建作业链或禁止作业链。
Search
微信好友
