본문 바로가기
빅데이터/spark

[scala] 이클립스를 이용하여 스파크의 스칼라 개발환경 설정하기

by hs_seo 2018. 6. 11.

스칼라(scala) 개발을 연습하기 위해서 이클립스에 스칼라 개발 환경을 설정하고, 빌드하여 jar 파일을 만드는 것까지 설정하는 방법을 정리해 보겠다. 


우선 이클립스를 설치한다. 저는 가장 최신버전인 4.7 Oxygen 버전을 설치하였다. 




그리고 Help -> Eclipse Market Place 에서 scala를 검색하여 Scala IDE 4.7.x 를 설치한다. 

이 플러그인을 설치하면 스칼라 라이브러리도 설치된다. 




설치후 File -> New -> Scala Project 를 선택하여 스칼라 프로젝트를 생성한다. 




그리고 Scala Library container에서 오른쪽 버튼을 클릭하여 properties 로 들어가서 스칼라 라이브러리를 2.11로 변경한다. 

현재 스파크의 스칼라 버전이 2.11이기 때문이다. 




그리고 프로젝트의 빌드를 위해서 스칼라 프로젝트에서 마우스 오른쪽 버튼을 클릭하고,

Configure -> Convert to Maven Project 를 선택하여 메이븐 프로젝트로 변경한다. 




그리고 pom.xml 에 scala 빌드를 위한 빌드 설정과 spark 라이브러리 설정을 추가하고,  스파크 라이브러리 디펜던시를 추가한다. 




이렇게 추가하고 메이븐 빌드는 package 로 진행하면 된다. 




이렇게 개발을 진행하면, scala의 컴파일하여 jar 파일을 생성해 준다. 



반응형