Jooo's life story

Intellij 설치방화벽 오픈 : JIRA 요청 ( HDP 포트 리스트 : https://ambari.apache.org/1.2.5/installing-hadoop-using-ambari/content/reference_chap2_1.html )1. 포트 HDFS Ports 50070 50470 8020 9000 50075 50475 50010 50020 50090 MapReduce Ports 50030 8021 50060 51111 Hive Ports 10000 9083 Hbase Port 60000 60010 60020 60030 2888 3888 2181 WebHCat 50111 Ganglia Port 8660 8661 8662 8663 8651 MySQL Port 3306 Ambari Ports..

방법 1. hive Query를 이용한 방법val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)var data = sqlContext.sql("select prob from hl_temp_test.test_prediction_20161109_20161110")var hists = data.selectExpr("histogram_numeric(prob, 3)") 방법 2. Spark rdd Histogram을 이용한 방법 val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) var data = sqlContext.sql("select prob from hl_temp_test.test_pre..

Scala로 구현한 뒤 sbt package 를 사용하여 컴파일 하면,아래와 같이, *.jar 파일이 출력된다.jar 파일을 spark에서 돌리는 명령어는 아래와 같다. spark-submit --class "클래스이름" --master yarn ./target/scala-2.10/selector_2.10-1.0.jar argument python으로 구현한 프로그램을 실행시키는 방법은 아래와 같음.아래 옵션은 클라우드 시스템이 아닌 경우 local로 변경될 수 있음.spark-submit --master yarn 파일명.py Spark 2.0 설치 방법 [ 링크 ]아래 SPARK_SUBMIT_OPTIONS에 추가하면 다른 라이브러리도 추가할 수 있을 것 같음.Spark environment fileCr..

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 버전 문제로 에러가 난듯 함. 설치되어 있는 Spark 버전은 1.6.1 이였는데, libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.6.1","org.apache.spark" %% "spark-mllib" % "1.6.1","org.apache.spark" %% "spark-sql" % "1.6.1","org.apache.spark" %% "spark-hive" % "1.6.1") ..

Feature Importances를 구하기 위해, 몇일 간 삽질..Pyspack에서 Feature Importances를 구할 수는 있으나, Spark 2.0 버전 이상에서만 지원 Spark 1.6에서는 Scala에서만 지원.확인한 결과 Feature Importances가 vector 형태로 출력되는 것을 확인