스칼라를 이용한 워드 카운트는 flatMap, map, groupBy, mapValues, reduce 함수를 이용해서 구할 수 있습니다. 입력으로 받는 문자열이 "Deer Bear River", "Car Car River", "Deer Car Bear" 일때 각 함수를 거치면서 어떻게 처리 되는지 확인해 보겠습니다. #1번의 프로세스는 다음과 같습니다. flatMap: split의 결과를 하나의 List로 합침 [ Deer, Bear, River, Car, Car, River, Deer, Car, Bear] map: (문자, 1)로 반환 [ (Deer, 1), (Bear, 1), (River, 1), (Car, 1), (Car, 1), (River, 1), (Deer, 1), (Car, 1), (Bea..
scala 2.11 버전에서 java 9으로 빌드시 다음의 오류가 발생하였다. [INFO] Compiling 3 source files to C:\ScalaSample\target\classes at 1528696267166[ERROR] error: scala.reflect.internal.MissingRequirementError: object java.lang.Object in compiler mirror not found.[ERROR] at scala.reflect.internal.MissingRequirementError$.signal(MissingRequirementError.scala:17)[ERROR] at scala.reflect.internal.MissingRequirementError$..
- Total
- Today
- Yesterday
- SPARK
- AWS
- hbase
- emr
- 파이썬
- Hadoop
- Tez
- 백준
- yarn
- 알고리즘
- oozie
- 다이나믹
- SQL
- HIVE
- mysql
- java
- Linux
- build
- 오류
- airflow
- 하둡
- Python
- S3
- bash
- HDFS
- ubuntu
- nodejs
- 정올
- error
- 하이브
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |