Programming/Spark, Scala
Scala Spark - error : org.apache.spark.sql.SQLContext.sql
빠릿베짱이
2016. 11. 1. 10:32
반응형
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset;
버전 문제로 에러가 난듯 함.
설치되어 있는 Spark 버전은 1.6.1 이였는데,
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.6.1",
"org.apache.spark" %% "spark-mllib" % "1.6.1",
"org.apache.spark" %% "spark-sql" % "1.6.1",
"org.apache.spark" %% "spark-hive" % "1.6.1"
)
뒤에 버전 쓰는 곳에 2.0.1을 써서 안된 듯 함.
마지막에 hive를 넣지 않은 경우, 쿼리 문에서 에러가 났었음
반응형