Programming/Spark, Scala

Hadoop 관련 오류 메시지 정리

빠릿베짱이 2016. 11. 25. 17:17
반응형

http://www.ibm.com/support/knowledgecenter/ko/SSZJPZ_11.5.0/com.ibm.swg.im.iis.ishadoop.doc/topics/troubleshooting.html


XGBoost에서 num worker 수를 늘릴 경우 멈추는 현상이 발생하는데, 이는 Executor의 수와 worker의 수가


맞지 않아 발생된다.


spark-submit을 수행할 때 명시적으로 Executor의 수를 설정하여 실행시키면 정상 동작함


worker의 수가 만약 10개이고 코어의 수가 2개라면 executors는 5로 설정해야 함.

 spark-submit --class Prediction --master yarn --num-executors 7 --executor-cores 2 ~/Spark_XGBoost/target/selector-0.0.1-SNAPSHOT-jar-with-dependencies.jar hl_temp_puzzlepet.puzzlepet_nmfeatures_v1_20161109_n7 hl_temp_puzzlepet.puzzlepet_label_20161109 hl_temp_puzzlepet.puzzlepet_nmfeatures_v1_20161110_n7 hl_temp_puzzlepet.puzzlepet_prediction_20161109_20161110 m_buyproduct1+c2_stay1+c2_buy1


우분투 코어 개수 확인 

grep -c processor /proc/cpuinfo


반응형

'Programming > Spark, Scala' 카테고리의 다른 글

Spark 환경 설정 - with XGboost  (0) 2017.11.29
Spark Histogram  (0) 2016.11.24
HDP 2.5 설치  (0) 2016.11.15
XGBoost build  (0) 2016.11.02
Scala 실행 방법, python 프로그램 spark에서 실행  (0) 2016.11.01