개발자로 살아남기

hive를 이용하여 MR 작업 처리중 shuffle 과정에서, OutOfMemory 오류가 발생하면 다음과 같이 수정하면 된다. Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#12 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:377) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) at java.security.AccessCo..

하이브 잡을 실행하면 나오는 다음의 설정은하이브를 실행할 때 리듀서 개수를 조절하는 순서이다. In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=In order to limit the maximum number of reducers: set hive.exec.reducers.max=In order to set a constant number of reducers: set mapreduce.job.reduces= hive.exec.reducers.bytes.per.reducerDefault Value: 1,000,000,000 prior to Hive 0.14.0; 256 ..

[python2의 map, filter, reduce 함수] map 함수를 이용하여 리스트의 값들에 동일한 로직을 적용하여 데이터를 변환하고, filter 함수를 이용하여 리스트의 값들을 필터링,reduce 함수를 이용하여 리스트의 값을 하나로 모은다. temp_list = range(0, 10) # python map, filter, reduce 함수 # map 함수는 iterable 에 동일한 함수를 적용한다. # map(function, iterable, ...) print map(lambda x: x + 1, temp_list) # filter 함수는 iterable 에서 조건에 맞는 함수를 제거한다. print filter(lambda x: x > 3, temp_list) # reduce 함수는..