Linux培训
达内IT学院
400-996-5531
在EC2上使用Spark
在讲授使用Hadoop进行分布式计算时，我发现很多可以通过在本地伪分布式节点(pseudo-distributed ode)或以单节点模式(single-node mode)讲授。但是为了了解真正发生了什么，就需要一个集群。当数据变得庞大，这些书面讲授的技能和真实计算需求间经常出现隔膜。如果你肯在学习详细使用Spark上花钱，我建议你设置一个快速Spark集群做做实验。 包含5个slave(和1个master)每周大概使用10小时的集群每月大概需要$45.18。
完整的讨论可以在Spark文档中找到：在EC2上运行Spark在你决定购买EC2集群前一定要通读这篇文档!我列出了一些关键点：
通过AWS Console获取AWS EC2 key对(访问key和密钥key)。
将key对导出到你的环境中。在shell中敲出以下命令，或者将它们添加到配置中。
注意不同的工具使用不同的环境名称，确保你用的是Spark脚本所使用的名称。
3.启动集群：
4.SSH到集群来运行Spark作业。
5.销毁集群
这些脚本会自动创建一个本地的HDFS集群来添加数据，copy-dir命令可以同步代码和数据到该集群。但是你最好使用S3来存储数据，创建使用s3://URI来加载数据的RDDs。
预约申请免费试听课
填写下面表单即可预约申请免费试听！ 怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！
Copyright © Tedu.cn All Rights Reserved 京ICP备08000853号-56 
京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有
选择城市和中心
北京
黑龙江省
吉林省
内蒙古
河北省
陕西省
江苏省
上海
湖北省
四川省
重庆
湖南省
江西省
贵州省
云南省
广西省
广东省
海南省
台湾