스칼라(scala) 개발을 연습하기 위해서 이클립스에 스칼라 개발 환경을 설정하고, 빌드하여 jar 파일을 만드는 것까지 설정하는 방법을 정리해 보겠다.
우선 이클립스를 설치한다. 저는 가장 최신버전인 4.7 Oxygen 버전을 설치하였다.
그리고 Help -> Eclipse Market Place 에서 scala를 검색하여 Scala IDE 4.7.x 를 설치한다.
이 플러그인을 설치하면 스칼라 라이브러리도 설치된다.
설치후 File -> New -> Scala Project 를 선택하여 스칼라 프로젝트를 생성한다.
그리고 Scala Library container에서 오른쪽 버튼을 클릭하여 properties 로 들어가서 스칼라 라이브러리를 2.11로 변경한다.
현재 스파크의 스칼라 버전이 2.11이기 때문이다.
그리고 프로젝트의 빌드를 위해서 스칼라 프로젝트에서 마우스 오른쪽 버튼을 클릭하고,
Configure -> Convert to Maven Project 를 선택하여 메이븐 프로젝트로 변경한다.
그리고 pom.xml 에 scala 빌드를 위한 빌드 설정과 spark 라이브러리 설정을 추가하고, 스파크 라이브러리 디펜던시를 추가한다.
이렇게 추가하고 메이븐 빌드는 package 로 진행하면 된다.
이렇게 개발을 진행하면, scala의 컴파일하여 jar 파일을 생성해 준다.
반응형
'빅데이터 > spark' 카테고리의 다른 글
[spark] 스파크 2.0의 성능개선-직렬화,off-heap,옵티마이저 (0) | 2019.03.07 |
---|---|
[spark] 스파크 작업 실행하고 처리시간(elapsed) 확인 (0) | 2019.03.06 |
[spark] RDD, DataFrame, DataSet (0) | 2018.03.28 |
[spark] RDD, Transformation, Action, Dependency 용어 (0) | 2018.03.28 |
[spark] 스파크 디플로이 모드(deploy mode)의 cluster, client 의 차이 (0) | 2018.03.27 |