Jooo's life story

OS : Ubuntu 14.04.5 LTS 전체적인 흐름로컬 머신, 원격 머신으로 구성되며, 로컬머신에서 원격 머신에 로그인 없이 접속하기 위한 방법임.키 생성은 로컬머신에서 수행키를 생성하면, id_rsa.pub과 id_rsa가 생성됨.생성된 키 중 공개키인, id_rsa.pub를 원격 머신의 authorized_keys에 추가해야함.방법은 scp를 이용해서 원격 머신에 복사한 뒤에 authorized_keys에 cat 명령을 이용해서 추가하거나,>> ssh-copy-id 계정@111.111.111.11위와 같은 명령어로 추가하면됨. SSH 키 생성 >> ssh-keygen

openjdk-8 설치 [링크] - sudo add-apt-repository ppa:openjdk-r/ppa- sudo apt-get update - sudo apt-get install openjdk-8-jdk g++ 설치 : sudo apt-get install g++gcc 설치 XGBOOST build [ 링크 ]sudo apt-get install gitgit clone --recursive https://github.com/dmlc/xgboost cd xgboost make -j4 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/ cd jvm-packages mvn package maven 설치 [ 링크 ]이렇게 할 경우, 에러가 났음. mav..

Scala로 구현한 뒤 sbt package 를 사용하여 컴파일 하면,아래와 같이, *.jar 파일이 출력된다.jar 파일을 spark에서 돌리는 명령어는 아래와 같다. spark-submit --class "클래스이름" --master yarn ./target/scala-2.10/selector_2.10-1.0.jar argument python으로 구현한 프로그램을 실행시키는 방법은 아래와 같음.아래 옵션은 클라우드 시스템이 아닌 경우 local로 변경될 수 있음.spark-submit --master yarn 파일명.py Spark 2.0 설치 방법 [ 링크 ]아래 SPARK_SUBMIT_OPTIONS에 추가하면 다른 라이브러리도 추가할 수 있을 것 같음.Spark environment fileCr..

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 버전 문제로 에러가 난듯 함. 설치되어 있는 Spark 버전은 1.6.1 이였는데, libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.6.1","org.apache.spark" %% "spark-mllib" % "1.6.1","org.apache.spark" %% "spark-sql" % "1.6.1","org.apache.spark" %% "spark-hive" % "1.6.1") ..

Scala spark-submit 이용해서 실행 시키기1. jar 파일 만들기1) sbt가 설치되어 있어야 함echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 sudo apt-get update sudo apt-get install sbt2) 컴파일 (자세한 것은 여기서 : 링크)/* SimpleApp.scala */ import org.apache.spark.SparkContext import or..

Feature Importances를 구하기 위해, 몇일 간 삽질..Pyspack에서 Feature Importances를 구할 수는 있으나, Spark 2.0 버전 이상에서만 지원 Spark 1.6에서는 Scala에서만 지원.확인한 결과 Feature Importances가 vector 형태로 출력되는 것을 확인

1. 튜플로 구성된 리스트 정렬test_list = [ (1,2,3), ..., (1,4,1) ] test_list = sorted(test_list, key=lambda x: x[2]) 2. non-blocking subprocess, Popen def subprocess_open(command): popen = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=None, shell=True) while True: out = popen.stdout.read(1) if out == '' and popen.poll() is not None: break if out != '': sys.stdout.write(out) sys.stdout.flush()

CREATE TEMPORARY TABLE IF NOT EXISTS table1( pid string, feature int)CREATE TEMPORARY TABLE IF NOT EXISTS table2( pid string, lable int)INSERT INTO TABLE table1(pid, feature) VALUES('a', 1) Select * from (select pid, max(feature) from table1 group by pid) as a left join table2 as b on a.pid = b.pid Select * from (select pid, max(feature) from table1 group by pid) as a join table2 as b on a.pid =..

원본 caffe git 및 사용법 : https://github.com/Microsoft/caffe gtx 650 ti에서 성공함. 1. 파이썬 설치 : https://www.continuum.io/downloads32bit window 버전 python 2.7 설치함아나콘다 설치하니, 기본적인 것은 다 설치된 듯 함.아래와 같이, protobuf만 추가로 설치함pip install protobuf 2. Visual Studio 2013 ultimate 버전 설치함.3. PyCharm 다운로드 및 설치 : https://www.jetbrains.com/pycharm/download/#section=windows -> Python을 위한 IDE, 4. Caffe 다운로드1) CommonSettings.pr..

VS2010 에러 메시지1>C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\Platforms\Win32\Microsoft.Cpp.Win32.Targets(57,5): error MSB6006: "CL.exe"이(가) 종료되었습니다(코드: -1073741805). Alt - F7 프로젝트 속성-> VC++ 디렉토리 -> 실행가능 디렉토리 해당 설정이 잘못된 경우, 위와 같은 에러 메시지 발생, 예를 들어 현재 시스템에는 c: 밖에 없는데 e:\test 라고 한 경우 위와 같은 에러 메시지 발생 Alt - F7 프로젝트 속성-> 구성 속성 -> 디버깅 -> 작업 디렉토리이 또한 잘못 설정한 경우"유효한 작업 디렉터리가 아닙니다" 라는 메시지박스 발생함.