Spark 1.6.3是Spark 1.x的最后一个版本,基于Scala 2.10。 设置项目属性时,将Scala版本设置为2.10.6,也就是2.10.x系列最高版本。
使用idea作为Spark的开发环境,需要首先安装它的 Scala 插件。 第一次使用idea以SBT方式创建Scala项目时,要找一个网络速度快的地方, 因为Idea要下载SBT整套环境的Jar包,
只有在Idea的Project Window中的External Libraries中出现了 SBT: org.scala-lang: scala-library: 2.10.6.jar 和 SBT: sbt and plugins, 并且项目根目录下的 src/main/scala 目录变为蓝色 (表示这是一个source folder,而不是普通文件夹的灰色)后, 整个项目才初始化完毕,这时才能在 src/main/scala文件夹下创建Scala类。
创建的类(Object)中,要定义一个main方法 (输入main,idea会自动提示输入完整的main函数定义)后, 才能在右键菜单里找到Run来运行应用。 在 Project Settings > Modules > Dependencies 中,新增一个 JARs or directories, 目录指向Spark 1.6.3解压后的lib目录, 确定后在 Project Window >External Libraries 下会出现这个目录下所有的jar包。