一次Hadoop开发思路分享

困扰了自己1周的一个问题终于得到解决了,感谢给我帮助的同学,同时记录下来分享给大家.

在凤台等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站制作、做网站 网站设计制作按需策划,公司网站建设,企业网站建设,品牌网站设计,成都全网营销,外贸网站建设,凤台网站建设费用合理。

问题简化描述:

  • HDFS存在这样格式的文件:用户ID    主题ID    用户对此主题的偏好分数score。

  • 现在要求实现对给定的几个主题T1,T2,T3,...TN,每个主题要求筛选出指定数量的用户ID是M1,M2,M3,...MX。

  • 希望尽可能根据score来选出偏好的用户ID,并且主题之间的用户ID不可以重复。

  • 另外HDFS上distinct的用户ID数量是大于等于M1+M2+M3+...+MX的。

思路分析:

问题有几个关键点,第一,不重复,第二,数量上要满足,第三,偏好分数score。

如何保证,主题之间的用户不重复呢?

其实就是完成,一个用户只能属于一个主题的过程,当然,我们可以很简单的对一个用户下的所有偏好分数进行排序,取出最偏好的主题。

虽然这样避免了重复的问题,可是问题来了,如果偏好主题T1要求的数量是100W,而仅仅只有90W的用户ID对T1最偏好,这该如何补数呢?又如何通过程序来自动化的实现这个过程呢?越想越复杂!

这个问题好像有点类似于高考填自愿的问题,我们每一个人会填写几个志愿,但是我们终究只会被一个院校录取,这是怎么做到的呢?是否可以从中借鉴呢?

首先,我们根据HDFS的内容,写一个MapReduce完成一次计算,形成下面的用户志愿HDFS内容:

用户ID   主题ID-A:score1;主题ID-B:score2;...

很简单,希望得到一个用户ID下面按照score desc排序的主题列表,上面一行其实就是说:

用户ID的第一志愿是主题A,第二志愿是主题B...。

------------------------------------------

接下来,形成下面的一个列表list信息:

主题A   count-A

主题B   count-B

主题C   count-C

...

按照主题需要的用户ID的数量进行ASC排序。

------------------------------------------

下面,我们就来看如何进行主题选择用户的过程:

我们首先选择对数量要求最少的主题A完成下面的MapReduce计算:

一次Hadoop开发思路分享

这样,我们就完成了主题A的用户筛选问题。

接下来,我们取出list中数量要求比A多一点的主题B,那么它怎么取用户呢?

很简单,我们只需要在MAP处理阶段,传递主题A生成的结果HDFS路径(路径下面的文件内容当然是主题A的用户)用于reduce阶段取用户时进行过滤。

那么,主题C又如何取用户呢?

类似的,只需要给MAP多传递主题A,主题B已经占用的用户信息用于过滤,其他处理操作不变!

其实,我们可以发现,上面的MapReduce其实可以是一个通用的程序,类似于COMMAND:

hadoop jar XXX.jar 主题ID 数量  [input1,input2,input3,...] 用户志愿HDFS路径 输出路径

其中input1,input2,input3,...是可选的,其实就是用于用户过滤的。

最后,我们可以写一个Shell脚本,根据list的内容来进行重复调用上面的COMMAND,通过传递不同的参数信息达到目的,这样我们就可以自动化实现上面的要求了!


网站名称:一次Hadoop开发思路分享
分享网址:http://bzwzjz.com/article/pjidgo.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设 成都网站建设 移动网站建设 定制网站设计 攀枝花网站设计 成都网站建设 成都网站制作 四川成都网站设计 高端网站设计 成都响应式网站建设公司 成都网站制作 营销型网站建设 手机网站建设套餐 企业网站设计 做网站设计 成都响应式网站建设 梓潼网站设计 高端定制网站设计 教育网站设计方案 企业网站制作 定制级高端网站建设 成都网站设计