Flink时间和窗口 Flink是一个流式计算框架,在流处理应用中,数据是连续不断的;但有时候的业务需求,需要我们在在流的基础上做一定的聚合处理,比如两个元素计算一次结果,或者五秒钟计算一次结果…应用到实际中的场景则为过去一分钟用户点击量、过去一小时订单成交额度…等等
Flink编程DataStream 介绍如何利用DataStream API开发流式应用,其中包括基本的编程模型、常用操作等。
Flink编程模型 本章将重点介绍Flink编程模型中的基本概念和编写Flink应用程序所遵循的基本模式。其中,包括Flink支持的数据集类型,有界数据集和无界数据集的区别,以及有界数据集和无界数据集之间的转换。同时针对无界和有界数据集的处理,将介绍Flink分别提供对应的开发接口DataStream API和DataSet API的使用。然后介绍Flink程序结构,包括基本的Flink应用所包含的组成模块等。最后介绍Flink所支持的数据类型,包括常用的POJOs、Tuples等数据类型。
Flink环境准备 本章主要介绍Flink在使用前的环境安装准备,包括必须依赖的环境以及相应的参数,首先从不同运行环境进行介绍,包括本地调试环境、Standalone集群环境,以及在On Yarn环境上。另外介绍Flink自带的Template模板,如何通过该项目模板本地运行代码环境的直接生成,而不需要用户进行配置进行大量的开发环境配置,节省了开发的时间成本。最后介绍Flink源码编译相关的事项,通过对源码进行编译,从而对整个Flink计算引擎有更深入的理解。
Flink简介 Apache Flink就是近年来在开源社区不断发展的技术中的能够同时支持高吞吐、低延迟、高性能的分布式处理框架。
Spark机器学习
SparkSQL实战