windows基于docker下的spark开发环境搭建

docker toolbox

从事香港机房服务器托管，服务器租用，云主机，网站空间，域名与空间，CDN，网络代维等服务。

https://www.docker.com/products/docker-toolbox

spark

https://hub.docker.com/r/singularities/spark/~/dockerfile/

# start-hadoop-namenode

# hadoop fs -mkdir /user

# hadoop fs -mkdir /user/root/

# hadoop fs -put ./README.md /user/root

# start-spark

# start-spark worker [master]

# spark-shell

# spark-shell --master spark://a60b8c8f9653:7077

scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")

scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")

lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at :24

scala> lines.count()

res0: Long = 104

scala> lines.saveAsTextFile("hdfs:///user/root/README2.md") // 保存到hdfs

本文标题：windows基于docker下的spark开发环境搭建
文章网址：http://lszwz.com/article/ieecep.html

其他资讯

售后响应及时

7×24小时客服热线

数据备份

更安全、更高效、更稳定

价格公道精准

项目经理精准报价不弄虚作假

合作无风险

重合同讲信誉，无效全额退款

乐山小谭建站工作室是一家专注从事于高品质视觉体验及互联网设计开发，乐山网站建设，乐山网站设计，乐山网页设计，乐山网站制作，品牌网站建设，营销网站建设，集团网站建设，企业网站建设，外贸网站建设，响应式网站建设，小程序开发，微信开发，企业形象设计，企业宣传视频等服务，小谭建站位于乐山市龙岗区大运软件小镇，小谭建站拥有经验丰富的高级网站建设工程师和一流的网页高端设计人员，具备各种规模与类型网站建设的雄厚实力，在网站建设领域树立了自己独特的设计风格。

友情链接交换友情链接

简阳电信机房四川绵阳机房做手机网站 app软件开发营山网站建设成都小程序开发成都服务器托管成都全网营销推广成都商城网站建设犀浦雨棚定制

Copyright © 2022 青羊区小谭信息技术咨询服务工作室乐山建站工作室 All Rights Reserved 蜀ICP备2021004003号-25

Copyright © 2022 青羊区小谭信息技术咨询服务工作室乐山建站工作室

蜀ICP备2021004003号-25