[Spark/Scala] 스파크, 스칼라 버전확인

스파크를 사용하다보면 버전에 따라 지원하는 라이브러리가 달라 확인이 필요한 경우가 있어 정리

 

spark 버전

1. spark cli로 확인:

spark-shell
sc.version

spark-submit --version

2. spark context로 확인(노트북):

sc = SparkContext()
spark = SparkSession(sc)
println(sc.version)

 

스칼라버전(스파크 내)

1. spark cli로 확인:

scala -version

2. scala 프로퍼티로 확인(노트북):

println(scala.util.Properties.versionString)

 

노트북 결과화면