Jooo's life story

Intellij 설치방화벽 오픈 : JIRA 요청 ( HDP 포트 리스트 : https://ambari.apache.org/1.2.5/installing-hadoop-using-ambari/content/reference_chap2_1.html )1. 포트 HDFS Ports 50070 50470 8020 9000 50075 50475 50010 50020 50090 MapReduce Ports 50030 8021 50060 51111 Hive Ports 10000 9083 Hbase Port 60000 60010 60020 60030 2888 3888 2181 WebHCat 50111 Ganglia Port 8660 8661 8662 8663 8651 MySQL Port 3306 Ambari Ports..

Scala로 구현한 뒤 sbt package 를 사용하여 컴파일 하면,아래와 같이, *.jar 파일이 출력된다.jar 파일을 spark에서 돌리는 명령어는 아래와 같다. spark-submit --class "클래스이름" --master yarn ./target/scala-2.10/selector_2.10-1.0.jar argument python으로 구현한 프로그램을 실행시키는 방법은 아래와 같음.아래 옵션은 클라우드 시스템이 아닌 경우 local로 변경될 수 있음.spark-submit --master yarn 파일명.py Spark 2.0 설치 방법 [ 링크 ]아래 SPARK_SUBMIT_OPTIONS에 추가하면 다른 라이브러리도 추가할 수 있을 것 같음.Spark environment fileCr..

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 버전 문제로 에러가 난듯 함. 설치되어 있는 Spark 버전은 1.6.1 이였는데, libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.6.1","org.apache.spark" %% "spark-mllib" % "1.6.1","org.apache.spark" %% "spark-sql" % "1.6.1","org.apache.spark" %% "spark-hive" % "1.6.1") ..

Scala spark-submit 이용해서 실행 시키기1. jar 파일 만들기1) sbt가 설치되어 있어야 함echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 sudo apt-get update sudo apt-get install sbt2) 컴파일 (자세한 것은 여기서 : 링크)/* SimpleApp.scala */ import org.apache.spark.SparkContext import or..