spark 썸네일형 리스트형 [spark] YARN spark-submit deadlock (spark job 멈춤현상) spark 2.0.2 기준 가끔 YARN에서 spark job을 수행할 때 어느 지점에서 다음 stage로 진행되지 않는 경우가 있다. spark 초보시절에 진짜 메모리도 늘려보고 별 짓을 다 해봤지만 원인을 찾지 못했다. 최근 며칠간 열심히 container의 상태도 보고 여러가지 설정을 해보았고 구글링을 열심히 해보았지만 답을 찾지 못했다. 하지만 실험적으로 내가 내린 결론은 Too many tasks resource management에서 발생하는 deadlock이다. Deadlock이 아닐수도 있고 멈춤(Stop)현상 또는 Bottleneck이라고도 볼 수 있다. (하지만 3일이상 돌렸는데도 progress가 전혀없는거 보면 deadlock인 것 같다) 문제가 발생했던 job의 특징은 다음과 같았.. 더보기 [Spark/Scala] 스파크, 스칼라 버전확인 스파크를 사용하다보면 버전에 따라 지원하는 라이브러리가 달라 확인이 필요한 경우가 있어 정리 spark 버전 1. spark cli로 확인: spark-shell sc.version spark-submit --version 2. spark context로 확인(노트북): sc = SparkContext() spark = SparkSession(sc) println(sc.version) 스칼라버전(스파크 내) 1. spark cli로 확인: scala -version 2. scala 프로퍼티로 확인(노트북): println(scala.util.Properties.versionString) 노트북 결과화면 더보기 이전 1 다음
