sparkjob멈춤 썸네일형 리스트형 [spark] YARN spark-submit deadlock (spark job 멈춤현상) spark 2.0.2 기준 가끔 YARN에서 spark job을 수행할 때 어느 지점에서 다음 stage로 진행되지 않는 경우가 있다. spark 초보시절에 진짜 메모리도 늘려보고 별 짓을 다 해봤지만 원인을 찾지 못했다. 최근 며칠간 열심히 container의 상태도 보고 여러가지 설정을 해보았고 구글링을 열심히 해보았지만 답을 찾지 못했다. 하지만 실험적으로 내가 내린 결론은 Too many tasks resource management에서 발생하는 deadlock이다. Deadlock이 아닐수도 있고 멈춤(Stop)현상 또는 Bottleneck이라고도 볼 수 있다. (하지만 3일이상 돌렸는데도 progress가 전혀없는거 보면 deadlock인 것 같다) 문제가 발생했던 job의 특징은 다음과 같았.. 더보기 이전 1 다음