spark初探踩坑集锦

1、当我做transfomer的时候没有问题,可是一做到action操作就会报错。
以下是几个小问题:
distFile = sc.textFile(" hdfs://user/spark/test/201201.csv")
distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b)
执行第一条没问题,执行第二条的时候就会报错:
Illegal character in scheme name at index 0: hdfs://user/spark/test/201201.csv
之后找了半天,发现写地址的时候没小心复制多了个空格,导致这个问题。
修改掉之后再一运行,又换了个错误:
大概是包括net什么的,具体没保留,查了一下,修改地址:
distFile = sc.textFile("hdfs://master:8020/user/spark/test/201201.csv")
之后又报了个错误,pyspark.sql.utils.IllegalArgumentException: 'java.net.UnknownHostException: user'
这之后查了一些资料也没有太有用的,突然我想为什么一定用绝对路径,相对路径试试。于是之后:
distFile = sc.textFile("hdfs://user/spark/test/201201.csv")
这次没有问题了,正常执行,之前的问题应该是master:8020这部分,这个可以修改一些不同的设置试试,应该也可以解决,另外编程过程中尽量不要用绝对路径,多用相对路径。

创新互联公司-专业网站定制、快速模板网站建设、高性价比源城网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式源城网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖源城地区。费用合理售后完善,十载实体公司更值得信赖。


分享题目:spark初探踩坑集锦
标题URL:http://bzwzjz.com/article/jjgogc.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设公司 成都网站设计公司 企业网站建设 成都网站设计 成都定制网站建设 营销网站建设 手机网站设计 重庆网站建设 网站建设公司 阿坝网站设计 企业网站设计 成都网站设计 定制网站建设多少钱 营销型网站建设 外贸营销网站建设 成都网站制作 重庆网站设计 教育网站设计方案 成都网站建设 成都网站设计 移动手机网站制作 成都网站设计