ChinaAzure在HDinsight中使用Spark功能-创新互联

国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:

创新互联公司主要从事网站设计制作、成都网站制作、网页设计、企业做网站、公司建网站等业务。立足成都服务漾濞,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

China Azure 在HDinsight 中使用Spark 功能

那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:

  1. 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。

    China Azure 在HDinsight 中使用Spark 功能

  2. 创建基于PAAS 层的HADOOP 集群:

    HDInsight 3.1 clusters会安装Spark 1.0.2
    HDInsight 3.2 clusters会安装Spark 1.2.0

    China Azure 在HDinsight 中使用Spark 功能

  3. 配置集群节点和虚拟机:

    China Azure 在HDinsight 中使用Spark 功能

  4. 配置访问用户,勾选配置Oozie云存储:

    China Azure 在HDinsight 中使用Spark 功能

  5. 配置Oozie存储SQL Database数据库:

    China Azure 在HDinsight 中使用Spark 功能

  6. 配置存储:

    China Azure 在HDinsight 中使用Spark 功能

  7. 使用脚本安装Spark:

    China Azure 在HDinsight 中使用Spark 功能

  1. 插入Spark 配置脚步:

    https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"

    China Azure 在HDinsight 中使用Spark 功能

    最后点击"创建"按钮即可。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网站题目:ChinaAzure在HDinsight中使用Spark功能-创新互联
新闻来源:http://bzwzjz.com/article/jhjop.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站设计公司 外贸网站建设 app网站建设 成都网站制作 重庆手机网站建设 成都网站建设 成都品牌网站建设 自适应网站设计 成都营销网站制作 阿坝网站设计 成都定制网站建设 广安网站设计 公司网站建设 古蔺网站建设 网站制作 手机网站制作设计 手机网站建设 成都网站设计 成都网站建设公司 成都商城网站建设 高端品牌网站建设 手机网站制作