Jooo's life story

openjdk-8 설치 [링크] - sudo add-apt-repository ppa:openjdk-r/ppa- sudo apt-get update - sudo apt-get install openjdk-8-jdk g++ 설치 : sudo apt-get install g++gcc 설치 XGBOOST build [ 링크 ]sudo apt-get install gitgit clone --recursive https://github.com/dmlc/xgboost cd xgboost make -j4 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/ cd jvm-packages mvn package maven 설치 [ 링크 ]이렇게 할 경우, 에러가 났음. mav..

Scala로 구현한 뒤 sbt package 를 사용하여 컴파일 하면,아래와 같이, *.jar 파일이 출력된다.jar 파일을 spark에서 돌리는 명령어는 아래와 같다. spark-submit --class "클래스이름" --master yarn ./target/scala-2.10/selector_2.10-1.0.jar argument python으로 구현한 프로그램을 실행시키는 방법은 아래와 같음.아래 옵션은 클라우드 시스템이 아닌 경우 local로 변경될 수 있음.spark-submit --master yarn 파일명.py Spark 2.0 설치 방법 [ 링크 ]아래 SPARK_SUBMIT_OPTIONS에 추가하면 다른 라이브러리도 추가할 수 있을 것 같음.Spark environment fileCr..

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 버전 문제로 에러가 난듯 함. 설치되어 있는 Spark 버전은 1.6.1 이였는데, libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.6.1","org.apache.spark" %% "spark-mllib" % "1.6.1","org.apache.spark" %% "spark-sql" % "1.6.1","org.apache.spark" %% "spark-hive" % "1.6.1") ..

Scala spark-submit 이용해서 실행 시키기1. jar 파일 만들기1) sbt가 설치되어 있어야 함echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 sudo apt-get update sudo apt-get install sbt2) 컴파일 (자세한 것은 여기서 : 링크)/* SimpleApp.scala */ import org.apache.spark.SparkContext import or..

Feature Importances를 구하기 위해, 몇일 간 삽질..Pyspack에서 Feature Importances를 구할 수는 있으나, Spark 2.0 버전 이상에서만 지원 Spark 1.6에서는 Scala에서만 지원.확인한 결과 Feature Importances가 vector 형태로 출력되는 것을 확인

True Positive : 실제로 Positive 인 것을 Positive로 인식한 개수 (잘된 긍정)True Negative : 실제로 Negative 인 것을 Negative로 인식한 개수 (잘된 부정)False Positive : 실제 Negative 인 것을 Positive로 인식한 개수 ( 잘못된 긍정)False Negative : 실제 Positive 인 것을 Negative로 인식한 개수 (잘못된 부정) 1. 다중 클래스 ( Multi-Class Classification ) 1) Precision1 = TP1 / (TP1 + FP1) --> 클래스1에 대해 Positive로 인식한 것들 중 실제 Positive의 비율2) Precision2 = TP2 / (TP2 + FP2) --> 클래..

1. 튜플로 구성된 리스트 정렬test_list = [ (1,2,3), ..., (1,4,1) ] test_list = sorted(test_list, key=lambda x: x[2]) 2. non-blocking subprocess, Popen def subprocess_open(command): popen = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=None, shell=True) while True: out = popen.stdout.read(1) if out == '' and popen.poll() is not None: break if out != '': sys.stdout.write(out) sys.stdout.flush()

CREATE TEMPORARY TABLE IF NOT EXISTS table1( pid string, feature int)CREATE TEMPORARY TABLE IF NOT EXISTS table2( pid string, lable int)INSERT INTO TABLE table1(pid, feature) VALUES('a', 1) Select * from (select pid, max(feature) from table1 group by pid) as a left join table2 as b on a.pid = b.pid Select * from (select pid, max(feature) from table1 group by pid) as a join table2 as b on a.pid =..

수학 그래프 자동 생성 : 수식을 적으면 자동으로 그래프를 그려 확인할 수 있음입력 예) ln(x/(1-x)) in [0, 1]https://www.wolframalpha.com

원본 caffe git 및 사용법 : https://github.com/Microsoft/caffe gtx 650 ti에서 성공함. 1. 파이썬 설치 : https://www.continuum.io/downloads32bit window 버전 python 2.7 설치함아나콘다 설치하니, 기본적인 것은 다 설치된 듯 함.아래와 같이, protobuf만 추가로 설치함pip install protobuf 2. Visual Studio 2013 ultimate 버전 설치함.3. PyCharm 다운로드 및 설치 : https://www.jetbrains.com/pycharm/download/#section=windows -> Python을 위한 IDE, 4. Caffe 다운로드1) CommonSettings.pr..