개발자로 살아남기

[[하이브 면접 주요 질문]] - HBase와 Hive의 차이는?HBase는 NoSQL 데이터베이스이고 Hive는 하둡잡을 실행하는 DW 프레임워크이다. HBase는 HDFS위에서 동작하고, Hive는 MapReduce 위에서 동작한다. - 하이브 서비스에 대하여 설명하세요cli하이브 쉘에 대한 명령해 인터페이스이며 기본 서비스이다. HiveServer2다른 언어로 개발된 클라이언트와 연동할 수 있도록 하이브를 쓰리프트 서비스로 실행기존 하이브 서버를 개선하여 인증과 다중 사용자 동시성을 지원쓰리프트, JDBC, ODBC 연결자를 사용하는 애플리케이션과의 연결을 지원beeline일반적인 CLI 처럼 내장형 모드로 동작하거나 JDBC로 하이브서버2 프로세스에 접근할 수 있는 하이브의 명령행 인터페이스hwi..

네이버 면접시 듣게 되는 질문(http://www.bloter.net/archives/245110) 파이썬 사용 질문(https://docs.python.org/2/faq/programming.html) 어썸 인터뷰 - 기술 면접 질문 모음(https://github.com/MaximAbramchuck/awesome-interview-questions)

- 스레드 프로세스 설명프로세스는 운영체제로부터 자원을 할당 받는 작업의 단위이고, 스레드는 프로세스가 할당받은 자원을 이용하는 실행의 단위 프로세스는 운영체제로부터 cpu, 메모리등의 자원을 할당 받고, 스레드는 이 자원을 공유하면서 작업을 처리한다. 프로세스가 실행되면 메인 스레드가 생성되고 이 메인 스레드에서 작업이 진행된다. 스레드 간에는 메모리를 공유 하면서 작업을 빨리 처리할 수 있다. 멀티 스레드 프로그램을 구현할 때는 자원의 공유에 대해서 유의 하면서 작성해야 한다. - 데드락, 뮤텍스, 세마포어데드락: 교착상태, 두개 이상의 작업이 상대방의 작업이 끝나기만을 기다리면서 대기하는 것, 아무 작업도 완료되지 못하는 상태 뮤텍스: 상호배제, 크리티컬 섹션을 가진 스레드의 실행 시간이 겹치지 않..

어썸인터뷰 - https://github.com/MaximAbramchuck/awesome-interview-questions 개발자들의 면접시 예상 질문을 모아놓은 사이트이다. 면접가기전에 한번씩 보면 좋을 것 같다.

-맵리듀스란?하둡 클러스터를 이용하여 대용량데이터를 병렬로 처리하는 프레임워크맵과 리듀스 2단계로 데이터를 분석 -Context Object의 사용법은?하둡의 매퍼가 다른 하둡 시스템과 통신하기 위해서 사용 -리듀서의 코어 메소드는?setup()입력데이터 사이즈, 힙 사이즈, distribute cache 설정 등을 진행reduce()입력된 데이터를 이용하여 리듀스 작업 진행cleanup()리듀스의 마지막에 임시 파일을 삭제하기 위해 한번만 호출 -파티셔닝, 셔플, 소트 페이즈에 대해서 설명하시오.셔플맵 태스크의 처리 결과로 임시 저장된 중간 파일을 리듀서로 넘기는 작업을 셔플소트맵 단계 결과를 리듀서로 넘기기 전에 키를 기준으로 자동으로 정렬을 진행 하는 것파티셔닝맵의 중간값을 리듀서의 입력으로 넘기기..