[scala] 이클립스를 이용하여 스파크의 스칼라 개발환경 설정하기

2018. 6. 11. 15:47·빅데이터/spark

스칼라(scala) 개발을 연습하기 위해서 이클립스에 스칼라 개발 환경을 설정하고, 빌드하여 jar 파일을 만드는 것까지 설정하는 방법을 정리해 보겠다. 


우선 이클립스를 설치한다. 저는 가장 최신버전인 4.7 Oxygen 버전을 설치하였다. 




그리고 Help -> Eclipse Market Place 에서 scala를 검색하여 Scala IDE 4.7.x 를 설치한다. 

이 플러그인을 설치하면 스칼라 라이브러리도 설치된다. 




설치후 File -> New -> Scala Project 를 선택하여 스칼라 프로젝트를 생성한다. 




그리고 Scala Library container에서 오른쪽 버튼을 클릭하여 properties 로 들어가서 스칼라 라이브러리를 2.11로 변경한다. 

현재 스파크의 스칼라 버전이 2.11이기 때문이다. 




그리고 프로젝트의 빌드를 위해서 스칼라 프로젝트에서 마우스 오른쪽 버튼을 클릭하고,

Configure -> Convert to Maven Project 를 선택하여 메이븐 프로젝트로 변경한다. 




그리고 pom.xml 에 scala 빌드를 위한 빌드 설정과 spark 라이브러리 설정을 추가하고,  스파크 라이브러리 디펜던시를 추가한다. 




이렇게 추가하고 메이븐 빌드는 package 로 진행하면 된다. 




이렇게 개발을 진행하면, scala의 컴파일하여 jar 파일을 생성해 준다. 



반응형
저작자표시 비영리 (새창열림)

'빅데이터 > spark' 카테고리의 다른 글

[spark] 스파크 2.0의 성능개선-직렬화,off-heap,옵티마이저  (0) 2019.03.07
[spark] 스파크 작업 실행하고 처리시간(elapsed) 확인  (0) 2019.03.06
[spark] RDD, DataFrame, DataSet  (0) 2018.03.28
[spark] RDD, Transformation, Action, Dependency 용어  (1) 2018.03.28
[spark] 스파크 디플로이 모드(deploy mode)의 cluster, client 의 차이  (0) 2018.03.27
'빅데이터/spark' 카테고리의 다른 글
  • [spark] 스파크 2.0의 성능개선-직렬화,off-heap,옵티마이저
  • [spark] 스파크 작업 실행하고 처리시간(elapsed) 확인
  • [spark] RDD, DataFrame, DataSet
  • [spark] RDD, Transformation, Action, Dependency 용어
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    알고리즘
    mysql
    build
    S3
    airflow
    HDFS
    정올
    Tez
    다이나믹
    java
    AWS
    nodejs
    ubuntu
    error
    yarn
    Python
    bash
    SPARK
    오류
    파이썬
    하둡
    백준
    emr
    Linux
    HIVE
    oozie
    Hadoop
    k8s
    hbase
    하이브
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[scala] 이클립스를 이용하여 스파크의 스칼라 개발환경 설정하기
상단으로

티스토리툴바