Jooo's life story

def sync_query(query): client = bigquery.Client() query_results = client.run_sync_query(query) query_results.use_legacy_sql = False query_results.timeout_ms = 3600000 query_results.run() print "query.complate: ",query_results.complete job = query_results.job retry_count = 600 while retry_count > 0 and job.state != 'DONE': print "retry_count:", retry_count print "job.state:",job.state retry_count..

1. 아나콘다 설치 ( 파이썬 3.5 버전)2. CUDA Toolkit 8.0 설치 ( https://developer.nvidia.com/cuda-downloads )3. cuDNN v5.1 설치 ( https://developer.nvidia.com/rdp/cudnn-download )4. GPU 카드가 CUDA Compute Capability 3.0 이상인지 확인 한다. ( https://developer.nvidia.com/cuda-gpus )cmd 창에서가상 환경 생성하고conda create -n tensorflow python=3.5 생성한 가상환경 활성화activate tensorflow cpu 버전 설치 시pip install --ignore-installed --upgrade http..

OpenCV 설치 pip install opencv-pythonOpenCV 설치 시 Numpy 관련 에러 발생 시python -m pip install mitmproxy CMake 설치https://cmake.org/download/

Unit Test 에 관한 slideshare : http://www.slideshare.net/hosunglee948/python-52222334Flask unit test : http://flask-docs-kr.readthedocs.io/ko/latest/testing.htmlweb unit test(Selenium) : http://selenium-python.readthedocs.io/navigating.htmlpython unit test : https://docs.python.org/2/library/unittest.html 개념테스트 케이스를 만들고, 이를 수행하는 식으로 동작함테스트 케이스는 구현한 함수를 테스트하기 위해 정해진 입력과 예상되는 출력 쌍으로 테스트를 수행예를들어, sum(..

regularization을 공부하다가Ridge regression을 만나게 되고,l2 Norm regularization을 설명하면서기하학적인 뷰에서 regularization의 의미를 많이 설명하는데, 이 설명을 위해, unconstraint optimization problem 과 constraint optimization problem과 같다고 하고 설명을 한다. 그래서 대체 왜 같은지를 찾기 위해, 파고파고 파다 보니, KKT까지 왔다. 전체적인 흐름을 보면, 조건부 최적화에는 equality constraint와 inequality constraint 문제가 있다.먼저, equality constraint 문제는 lagrange multiplier를 사용하여 풀고,inequality const..

Plotly offline 자동 크기 변환 안되는 경우 원본window.removeEventListener("resize"); 변경 후window.removeEventListener("resize", document.getElementById("5da331c3-3f1f-4331-914e-5ba61259eb35")); 위의 코드는 python에서 offline으로 div 태그 생성한 결과이다.헌데, edge에서는 정상 동작하지만, 크롬에서는 해당 코드를 bootstrap 관련된 기존 코드 위에 붙였을 경우자동 크기 변환이 되지 않았다.원인을 찾아보니, 위와 같이 removeEventListener에서 객체를 파라미터로 넘겨야 되는데 넘기는 부분이 빠져 있어서였다.DOM 관련 버전 차이 인 듯 하다.

http://www.ibm.com/support/knowledgecenter/ko/SSZJPZ_11.5.0/com.ibm.swg.im.iis.ishadoop.doc/topics/troubleshooting.html XGBoost에서 num worker 수를 늘릴 경우 멈추는 현상이 발생하는데, 이는 Executor의 수와 worker의 수가 맞지 않아 발생된다. spark-submit을 수행할 때 명시적으로 Executor의 수를 설정하여 실행시키면 정상 동작함 worker의 수가 만약 10개이고 코어의 수가 2개라면 executors는 5로 설정해야 함. spark-submit --class Prediction --master yarn --num-executors 7 --executor-cores 2 ..

방법 1. hive Query를 이용한 방법val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)var data = sqlContext.sql("select prob from hl_temp_test.test_prediction_20161109_20161110")var hists = data.selectExpr("histogram_numeric(prob, 3)") 방법 2. Spark rdd Histogram을 이용한 방법 val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) var data = sqlContext.sql("select prob from hl_temp_test.test_pre..

OS : ubuntu 14.04구성 : VM 서버 8대기본 환경클라우드 VM 서버 : 10.161.64.x hadoop-dev-1 10.161.64.x hadoop-dev-2 10.161.64.x hadoop-dev-3 10.161.64.x hadoop-dev-4 10.161.64.x hadoop-dev-5 10.161.64.x hadoop-dev-6 10.161.64.x hadoop-dev-7 10.161.64.x hadoop-dev-8 방화벽 오픈 관련 Source ——– Taget ——– Port 운영서버 ——- any ———- 80, 443, 9418 클라우드VM —– any ———- 80, 443, 9418, 123(NTP) hadoop-dev-1 에 SSH 접속root 권한 얻기# sudo -..

OS : Ubuntu 14.04.5 LTS 전체적인 흐름로컬 머신, 원격 머신으로 구성되며, 로컬머신에서 원격 머신에 로그인 없이 접속하기 위한 방법임.키 생성은 로컬머신에서 수행키를 생성하면, id_rsa.pub과 id_rsa가 생성됨.생성된 키 중 공개키인, id_rsa.pub를 원격 머신의 authorized_keys에 추가해야함.방법은 scp를 이용해서 원격 머신에 복사한 뒤에 authorized_keys에 cat 명령을 이용해서 추가하거나,>> ssh-copy-id 계정@111.111.111.11위와 같은 명령어로 추가하면됨. SSH 키 생성 >> ssh-keygen