반응형
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset;
버전 문제로 에러가 난듯 함.
설치되어 있는 Spark 버전은 1.6.1 이였는데,
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.6.1",
"org.apache.spark" %% "spark-mllib" % "1.6.1",
"org.apache.spark" %% "spark-sql" % "1.6.1",
"org.apache.spark" %% "spark-hive" % "1.6.1"
)
뒤에 버전 쓰는 곳에 2.0.1을 써서 안된 듯 함.
마지막에 hive를 넣지 않은 경우, 쿼리 문에서 에러가 났었음
반응형
'Programming > Spark, Scala' 카테고리의 다른 글
HDP 2.5 설치 (0) | 2016.11.15 |
---|---|
XGBoost build (0) | 2016.11.02 |
Scala 실행 방법, python 프로그램 spark에서 실행 (0) | 2016.11.01 |
Spark - Scala (0) | 2016.11.01 |
Spark 1.6 Feature Importances (0) | 2016.10.31 |