반응형
XGBoost에서 num worker 수를 늘릴 경우 멈추는 현상이 발생하는데, 이는 Executor의 수와 worker의 수가
맞지 않아 발생된다.
spark-submit을 수행할 때 명시적으로 Executor의 수를 설정하여 실행시키면 정상 동작함
worker의 수가 만약 10개이고 코어의 수가 2개라면 executors는 5로 설정해야 함.
spark-submit --class Prediction --master yarn --num-executors 7 --executor-cores 2 ~/Spark_XGBoost/target/selector-0.0.1-SNAPSHOT-jar-with-dependencies.jar hl_temp_puzzlepet.puzzlepet_nmfeatures_v1_20161109_n7 hl_temp_puzzlepet.puzzlepet_label_20161109 hl_temp_puzzlepet.puzzlepet_nmfeatures_v1_20161110_n7 hl_temp_puzzlepet.puzzlepet_prediction_20161109_20161110 m_buyproduct1+c2_stay1+c2_buy1
우분투 코어 개수 확인
grep -c processor /proc/cpuinfo반응형
'Programming > Spark, Scala' 카테고리의 다른 글
| Spark 환경 설정 - with XGboost (0) | 2017.11.29 |
|---|---|
| Spark Histogram (0) | 2016.11.24 |
| HDP 2.5 설치 (0) | 2016.11.15 |
| XGBoost build (0) | 2016.11.02 |
| Scala 실행 방법, python 프로그램 spark에서 실행 (0) | 2016.11.01 |