作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学，曾就职于奇虎 360、58 集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。

前言 之前也分享了不少自己的文章，但是对于 Flink 来说，还是有不少新入门的朋友，这里给大家分享点 Flink 相关的资料（国外数据 pdf 和流处理相关的 Paper），期望可以帮你更好的理解 Flink。 书籍 1、《Introduction to Apache Flink book》 这本 ...

前言 如果你了解 Apache Flink 的话，那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下，我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。 在本文的第一部分中，我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多 ...

原文地址：https://mp.weixin.qq.com/s?__biz=MzU2Njg5Nzk0NQ==&mid=2247483692&idx=1&sn=18cddc1ee0decfe24323dafdb05a048d 本篇介绍一下如何从源码构建Flink，构建Flink源码是学习和研究Flin ...

本文基于Flink1.9版本简述如何连接Kafka。 流式连接器 我们知道可以自己来开发Source 和 Sink ，但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义的source支持从文件、目录、socket，以及 collections 和 iterators ...

1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡，并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Process Function嵌入到DataStream API ...

写在前面： 博主是一名软件工程系大数据应用开发专业的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！...

流处理中时间本质上就是一个普通的递增字段（long型，自1970年算起的微秒数），不一定真的表示时间。 watermark只是应对乱序的办法之一，大多是启发式的，在延迟和完整性之间抉择。（如果没有延迟，就不够完整；如果有延迟，极端情况就是批处理，当然完整性足够高） org.apache.flink. ...

一、简介 开源流式处理系统在不断地发展，从一开始只关注低延迟指标到现在兼顾延迟、吞吐与结果准确性，在发展过程中解决了很多问题，编程API的易用性也在不断地提高。本文介绍一下 Flink 中的核心概念，这些概念是学习与使用 Flink 十分重要的基础知识，在后续开发 Flink 程序过程中将会帮助开发 ...

整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph 然后得到JobGraph通过远程RPC将这个JobGraph提交到JobManager对应的接口 JobManager转化成executionGraph.d ...

Flink开发环境部署配置 Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。所需工具：Java、maven、Git。 本次操作是在windows环境下。 一、工具安装 Java配置（略） maven配置 更改本地仓库目录 ...

flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行。 首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apache. ...

一、flink中的参数传递 flink中支持向Function传递参数，常见的有两种方式， 1.通过构造方法向Function传递参数 2.通过ExecutionConfig向Fun

启动时出现如下报错： Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.ExecutionConfig$GlobalJobParameters 官方解释如下： 将pom中的provided修改为compi ...

参考：https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/api_concepts.html DataSet and DataStream Flink具有特殊类DataSet和DataStream来表示程序中的数据。 你可以 ...

此连接器提供一个Sink，将分区文件写入Hadoop FileSystem支持的任何文件系统。要使用此连接器，添加以下依赖项： org.apache.f

Flink-测试用的fake温度传感器 Flink中，测试时，会用到自定义的source。 下为一例。。 该例使用温度传感器的格式演示fake日志数据源。 代码用Scala写的。 传感器... 传感器 - 样例类 SensorReads.scala： ​x 1 package sr 2 ​ 3 /* ...

最近这段时间一直在忙新集群迁移，上了最新的cdh6.3.0 于是Flink 提交遇到了许多的问题 还好有cloudera License 有了原厂的帮助和社区的伙伴，问题解决起来快了不少，手动滑稽 集群具体情况是，cdh6.3.0+Flink1.8.1,整个数据平台全部组件都上了kerberos和l ...

原文地址： "Flink本地安装和创建Flink应用" ...