设为首页 收藏本站
查看: 756|回复: 0

[经验分享] Scalding初探之番外篇:Mac OS下的安装

[复制链接]

尚未签到

发表于 2015-12-30 10:48:33 | 显示全部楼层 |阅读模式
  把你从写繁琐的Map-reduce Job中解放出来,写分布式跟写本地程序没两样,Scalding真真代表着先进生产力的方向啊
  心动不如行动,赶紧装一个吧
  1 安装JDK
  2 安装Homebrew
  ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"
  brew update
brew doctor
  方法1:
  https://github.com/twitter/scalding/wiki/Scala-and-sbt-for-Homebrew-users
  方法2:
  3 安装sbt
brew install sbt 


4 下载Scala 2.10  http://www.scala-lang.org/download/install.html
  解压到 /usr/local/share目录下,重命名为scala
  vi ~/.bash_profile
  export SCALA_HOME=/usr/local/share/scala
export PATH=$PATH:$SCALA_HOME/bin
  source ~/.bash_profile 
  然后再任意一个目录下都可以使用scala命令啦~\(≧▽≦)/~好了
  scala> :quit
  5 将Scalding源代码从git上弄下来

git clone https://github.com/twitter/scalding.git

查看源代码目录下的project/Build.scala中的scalaVersion,发现默认是支持Scala 2.9.3的,更改project/Build.scala的line17为

scalaVersion := "2.10.3",

 

  vi scripts/scald.rb

  将将line153的java改成scala
  下面这步可选,反正我没有成功
   ln -s scripts/scald.rb $HOME/bin/ 
  可以在.bash_profile中设置一下
  export SBT_OPTS="-XX:+CMSClassUnloadingEnabled -XX:PermSize=256M -XX:MaxPermSize=512M"
  不然下面的过程可能会遇到OutOfMemoryError
  Q) What happens if I get OutOfMemoryErrors when running "sbt assembly"?
A) Create ~/.sbtconfig with these options: SBT_OPTS="-XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:PermSize=256M -XX:MaxPermSize=512M"
  下面可能是个十分之漫长的过程,第一次用了很久,第二次用校园网失败了,第三次校园网挂VPN等了一个下午update还没完,要哭了



./sbt update
#./sbt test # runs the tests; if you do 'sbt assembly' below, these tests, which are long, are repeated
./sbt assembly # creates a fat jar with all dependencies, which is useful when using the scald.rb script


方法3:

如果不需要用Scalding可以按照课程推荐的:  4 安装Scala IDE for Eclipse with the Scala Worksheet
  到这里下载Scala 2.10.x的Mac OS X Cocoa 64 bit版本
  5 打开这个解压后伪装成正常Eclipse的家伙
  挥洒下人生中第一个HelloWorld.scala

object HelloWorld extends App {
println("Hello, World!")
}
  或者

object HelloWorld {
def main(args: Array[String]) {
println("Hello, World!")
}
}
6 添加Vim语法高亮支持
到https://github.com/scala/scala-dist下载工具,复制tool-support/src/vim里"indent", "syntax" and "ftdetect"文件夹到~/.vim目录下,给~/.vimrc加上一行syn on
 
http://www.xiami.com/widget/2883528_2314613/singlePlayer.swf

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-158254-1-1.html 上篇帖子: 成功安装Mac OS X Snow Leopard 10.6.7[AMD7750、昂达A79GS(Realtek ALC662、Marvell Yukon 88 下篇帖子: Mac OS X Tips
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表