Programming/Spark, Scala

Scala Spark - error : org.apache.spark.sql.SQLContext.sql

빠릿베짱이 2016. 11. 1. 10:32
반응형

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset;

버전 문제로 에러가 난듯 함.


설치되어 있는 Spark 버전은 1.6.1 이였는데,


libraryDependencies ++= Seq(

"org.apache.spark" %% "spark-core" % "1.6.1",

"org.apache.spark" %% "spark-mllib" % "1.6.1",

"org.apache.spark" %% "spark-sql" % "1.6.1",

"org.apache.spark" %% "spark-hive" % "1.6.1"

)


뒤에 버전 쓰는 곳에 2.0.1을 써서 안된 듯 함.

마지막에 hive를 넣지 않은 경우, 쿼리 문에서 에러가 났었음


반응형

'Programming > Spark, Scala' 카테고리의 다른 글

HDP 2.5 설치  (0) 2016.11.15
XGBoost build  (0) 2016.11.02
Scala 실행 방법, python 프로그램 spark에서 실행  (0) 2016.11.01
Spark - Scala  (0) 2016.11.01
Spark 1.6 Feature Importances  (0) 2016.10.31