十四、MapReduce--OutputFormat和RecordWriter抽象类

一、基本原理

​ reduce执行完毕之后,每个reduce都会将KV输出到一个文件中。那么KV输出到文件中时是以什么格式输出的呢?这就涉及到两个抽象类:OutputFormat和RecordWriter。

目前成都创新互联公司已为千余家的企业提供了网站建设、域名、虚拟主机、网站托管、服务器托管、企业网站设计、宁武网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

1、OutputFormat

public abstract class OutputFormat {
    public OutputFormat() {
    }

public abstract RecordWriter getRecordWriter(TaskAttemptContext var1) throws IOException, InterruptedException;

    public abstract void checkOutputSpecs(JobContext var1) throws IOException, InterruptedException;

    public abstract OutputCommitter getOutputCommitter(TaskAttemptContext var1) throws IOException, InterruptedException;
}

其实主要就是创建RecordWriter对象。

2、RecordWriter

public abstract class RecordWriter {
    public RecordWriter() {
    }

    //将KV写入到输出流
    public abstract void write(K var1, V var2) throws IOException, InterruptedException;

    //关闭流
    public abstract void close(TaskAttemptContext var1) throws IOException, InterruptedException;
}

主要就是write方法,将KV写入到文件中。

二、常用的OutputFormat实现类

1、TextOutputFormat

​ 继承 FileOutputFormat,返回的RecordWriter是TextOutputFormat.LineRecordWriter。将每个KV转换为文本的每一行。可以定义key和value在文本中的分隔符,默认是“\t”。

2、SequenceFileOutputFormat

​ 同样继承于FileOutputFormat,返回的RecordWriter是一个匿名内部类,直接将所有的KV以追加的方式写入到文本中,不另外分行(除非原先数据中带有换行)。
​ SequenceFileOutputFormat将它的输出写为一个顺序文件。如果输出需要作为后续 MapReduce任务的输入,这便是一种好的输出格式,因为它的格式紧凑,很容易被压缩。


分享文章:十四、MapReduce--OutputFormat和RecordWriter抽象类
标题路径:http://bzwzjz.com/article/ggssic.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设 成都企业网站建设公司 成都网站制作 成都网站制作 成都网站建设 手机网站建设 成都商城网站建设 成都网站制作 网站建设公司 网站制作 古蔺网站建设 成都网站设计公司 成都品牌网站建设 成都网站建设 成都网站设计 外贸网站设计方案 成都网站建设 外贸营销网站建设 成都网站设计公司 成都网站建设公司 专业网站设计 教育网站设计方案