Jooo's life story

Plotly offline 자동 크기 변환 안되는 경우 원본window.removeEventListener("resize"); 변경 후window.removeEventListener("resize", document.getElementById("5da331c3-3f1f-4331-914e-5ba61259eb35")); 위의 코드는 python에서 offline으로 div 태그 생성한 결과이다.헌데, edge에서는 정상 동작하지만, 크롬에서는 해당 코드를 bootstrap 관련된 기존 코드 위에 붙였을 경우자동 크기 변환이 되지 않았다.원인을 찾아보니, 위와 같이 removeEventListener에서 객체를 파라미터로 넘겨야 되는데 넘기는 부분이 빠져 있어서였다.DOM 관련 버전 차이 인 듯 하다.

http://www.ibm.com/support/knowledgecenter/ko/SSZJPZ_11.5.0/com.ibm.swg.im.iis.ishadoop.doc/topics/troubleshooting.html XGBoost에서 num worker 수를 늘릴 경우 멈추는 현상이 발생하는데, 이는 Executor의 수와 worker의 수가 맞지 않아 발생된다. spark-submit을 수행할 때 명시적으로 Executor의 수를 설정하여 실행시키면 정상 동작함 worker의 수가 만약 10개이고 코어의 수가 2개라면 executors는 5로 설정해야 함. spark-submit --class Prediction --master yarn --num-executors 7 --executor-cores 2 ..

방법 1. hive Query를 이용한 방법val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)var data = sqlContext.sql("select prob from hl_temp_test.test_prediction_20161109_20161110")var hists = data.selectExpr("histogram_numeric(prob, 3)") 방법 2. Spark rdd Histogram을 이용한 방법 val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) var data = sqlContext.sql("select prob from hl_temp_test.test_pre..

OS : ubuntu 14.04구성 : VM 서버 8대기본 환경클라우드 VM 서버 : 10.161.64.x hadoop-dev-1 10.161.64.x hadoop-dev-2 10.161.64.x hadoop-dev-3 10.161.64.x hadoop-dev-4 10.161.64.x hadoop-dev-5 10.161.64.x hadoop-dev-6 10.161.64.x hadoop-dev-7 10.161.64.x hadoop-dev-8 방화벽 오픈 관련 Source ——– Taget ——– Port 운영서버 ——- any ———- 80, 443, 9418 클라우드VM —– any ———- 80, 443, 9418, 123(NTP) hadoop-dev-1 에 SSH 접속root 권한 얻기# sudo -..

OS : Ubuntu 14.04.5 LTS 전체적인 흐름로컬 머신, 원격 머신으로 구성되며, 로컬머신에서 원격 머신에 로그인 없이 접속하기 위한 방법임.키 생성은 로컬머신에서 수행키를 생성하면, id_rsa.pub과 id_rsa가 생성됨.생성된 키 중 공개키인, id_rsa.pub를 원격 머신의 authorized_keys에 추가해야함.방법은 scp를 이용해서 원격 머신에 복사한 뒤에 authorized_keys에 cat 명령을 이용해서 추가하거나,>> ssh-copy-id 계정@111.111.111.11위와 같은 명령어로 추가하면됨. SSH 키 생성 >> ssh-keygen

openjdk-8 설치 [링크] - sudo add-apt-repository ppa:openjdk-r/ppa- sudo apt-get update - sudo apt-get install openjdk-8-jdk g++ 설치 : sudo apt-get install g++gcc 설치 XGBOOST build [ 링크 ]sudo apt-get install gitgit clone --recursive https://github.com/dmlc/xgboost cd xgboost make -j4 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/ cd jvm-packages mvn package maven 설치 [ 링크 ]이렇게 할 경우, 에러가 났음. mav..

Scala로 구현한 뒤 sbt package 를 사용하여 컴파일 하면,아래와 같이, *.jar 파일이 출력된다.jar 파일을 spark에서 돌리는 명령어는 아래와 같다. spark-submit --class "클래스이름" --master yarn ./target/scala-2.10/selector_2.10-1.0.jar argument python으로 구현한 프로그램을 실행시키는 방법은 아래와 같음.아래 옵션은 클라우드 시스템이 아닌 경우 local로 변경될 수 있음.spark-submit --master yarn 파일명.py Spark 2.0 설치 방법 [ 링크 ]아래 SPARK_SUBMIT_OPTIONS에 추가하면 다른 라이브러리도 추가할 수 있을 것 같음.Spark environment fileCr..

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 버전 문제로 에러가 난듯 함. 설치되어 있는 Spark 버전은 1.6.1 이였는데, libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.6.1","org.apache.spark" %% "spark-mllib" % "1.6.1","org.apache.spark" %% "spark-sql" % "1.6.1","org.apache.spark" %% "spark-hive" % "1.6.1") ..

Scala spark-submit 이용해서 실행 시키기1. jar 파일 만들기1) sbt가 설치되어 있어야 함echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 sudo apt-get update sudo apt-get install sbt2) 컴파일 (자세한 것은 여기서 : 링크)/* SimpleApp.scala */ import org.apache.spark.SparkContext import or..

Feature Importances를 구하기 위해, 몇일 간 삽질..Pyspack에서 Feature Importances를 구할 수는 있으나, Spark 2.0 버전 이상에서만 지원 Spark 1.6에서는 Scala에서만 지원.확인한 결과 Feature Importances가 vector 형태로 출력되는 것을 확인