如何进行Flink中的sink实战

如何进行Flink中的sink实战,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

创新互联建站2013年开创至今,是专业互联网技术服务公司,拥有项目成都做网站、网站建设、外贸营销网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元兴县做网站,已为上家服务,为兴县各地企业和个人服务,联系电话:028-86922220

关于sink

下图来自Flink官方,红框中就是sink,可见实时数据从Source处开始,在Transformation阶段完成业务逻辑后在sink结束,因此sink可以用来处理计算结果,例如控制台输出或者保存数据库: 如何进行Flink中的sink实战

从一段实例代码开始

  1. 下面是个简单的flink应用代码,红框中的print方法就是sink操作: 如何进行Flink中的sink实战

  2. 下图是官方给出的sink方式,都是DataStream类的API,直接调用即可实现sink,刚才代码中的print就是其中一个: 如何进行Flink中的sink实战

  3. 接下来看看上图中API的源码,先看print方法,在DataStream.java中,如下,实际上是调用了addSink方法,入参是PrintSinkFunction: 如何进行Flink中的sink实战

  4. 另一个常用API是writeAsText,源码如下,调用了writeUsingOutputFormat方法: 如何进行Flink中的sink实战

  5. 追踪writeUsingOutputFormat发现也是调用了addSink,入参是OutputFormatSinkFunction如何进行Flink中的sink实战

  6. print和writeAsText背后都在调用addSink,那么另一个常用的writeAsCsv方法呢?莫非也是调用addSink?打开一看果然,和writeAsText一样调用了writeUsingOutputFormat,而该方法里面就是在调用addSink: 如何进行Flink中的sink实战

  7. 综上所述,data sink的关键就是addSink的入参,即SinkFunction接口的实现,通过类图直观看到常见的sink能力是如何实现的:

如何进行Flink中的sink实战 8. 从上图可见抽象类RichSinkFunction与各种sink能力的关系十分紧密,我们应该重点关注它,在类图上展示方法签名,如下图: 如何进行Flink中的sink实战 9. 如上图所示,RichSinkFunction本身没有内容,但是它实现SinkFunction,继承AbstractRichFunction,是RichFunctionSinkFunction这两种特性的结合; 10. RichFunction的特性在前面的《Flink的DataSource三部曲》中已经了解,就是资源的open和close; 11. SinkFunction的特性呢?显然是用来处理计算结果的,类图上显示的是两个invoke方法,来看看官方的PrintSinkFunction.java如何进行Flink中的sink实战 12. writer.write(record)的源码在PrintSinkOutputWriter.java,如下所示: 如何进行Flink中的sink实战

至此,我们已经对Flink的sink有了基本了解:

  1. 负责实时计算结果的处理(如输出或持久化);

  2. 主要实现方式是调用DataStream.addSink方法;

  3. 各种sink能力的实现,主要途径是实现addSink方法的入参定义的接口;

关于如何进行Flink中的sink实战问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。


文章名称:如何进行Flink中的sink实战
转载源于:http://bzwzjz.com/article/jhgpjh.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 外贸网站设计方案 四川成都网站制作 网站建设方案 成都企业网站制作 外贸网站建设 重庆网站建设 成都模版网站建设 重庆网站制作 成都网站制作 响应式网站设计 成都定制网站建设 成都商城网站建设 自适应网站设计 成都网站建设推广 四川成都网站设计 温江网站设计 重庆网站设计 重庆网站建设 教育网站设计方案 成都网站设计 成都品牌网站建设 品牌网站建设