AWS의 EMR 서비스의 AMI 버전이 4.x 대로 변경되면서 하둡의 기본 포트가 변경되었다. 기존과 같이 사용하면 오류가 발생하므로 수정해야 한다. Service Ports In Amazon EMR AMI versions 2.x and 3.x, some services used custom ports. emr-4.0.0 hosts these services on open source community defaults in most cases. Changes in Port Settings Setting AMI Version 3.x Release Label emr-4.x fs.default.name hdfs://emrDeterminedIP:9000 default (hdfs://emrDeterminedIP:..
평창허브나라로 출발 허브나라는 입장료 7천원 꽃도 많이 피어 있어서 괜찮았음 허브나라 옆 펜션이 좋아서 언젠가 거기서 놀아도 좋을듯 다음은 평창의 황태회관으로가서 점심식사 황태국밥은 괜찮았음 황태까스는 추천 안 함 식사후 횡계 하나로마트에서 장을 본 후 용평리조트 그린피아에 짐을 풀고 리조트의 곤돌라를타고 발왕산 전망대를 올라감 가격이 14,000 원으로 조금 사악하지만 한 번은 올라갈 만 함 그 후 리조트내 셀프 바베큐장에서 식사 가겨은 한 테이블에 45,000 다 준비해서 가는 것이 좋음 식기는 치우기 편하게 일회용으로 준비할것 다음날은 삼양목장으로 출발 여기는 진입로가 2km정도 비포장이라 맘에 안듬 주차장에 주차후 셔틀버스를 타고 정상으로 올라감 여기서 구경후 셔틀을 타고 연애소설 나무로 가는것을..
여행가기전에 꼭 한번 보고가면 좋을듯 * 퍼가실땐 http://clien.career.co.kr/cs2/bbs/board.php?bo_table=cm_food&wr_id=160 주소도 같이 ^^* 0. 맛있겠당의 비장의맛집과 아질게의 댓글 그리고 번개글을 베이스로 수집한 맛집입니다. 1. 상세한 내용은 지역명과 식당명으로 인터넷 검색하세요. 2. 동일지역의 동일 음식이 있는 이유는 여행동선에 맞춰서 스케줄 잡으시라는 배려입니다^^ 3. 이사간집/없어진집/비추음식점 댓글로 달아주시면 빼버리겠습니다. 서울1 한강북쪽 http://clien.career.co.kr/cs2/bbs/board.php?bo_table=cm_food&wr_id=3534 서울2 한강남쪽 http://www.clien.net/cs2/bb..
하둡의 발전은 위와 같다. 녹색 네모 상자는 아파치 하둡의 정식 릴리스 버전이다. 검은색 타원은 아파치 하둡의 정식 릴리스 버전은 아니지만 타볼 형태로 확인할 수 있는 버전이다. 빨간색 타원은 해당 버전에 기반하여 출시된 상업용 버전이다. 즉 0.x 버전은 개발용 버전으로 추가적인 작업이 계속 진행되어 가는 버전이고 1.x 버전은 0.18 -> 0.19 -> 0.20 -> 0.20.2 -> 0.20.205 -> 1.0 순서로 발전되어 현재 안정화된 버전이다. 2.x 버전은 0.23 버전에 기반하여 1.x 에 비하여 HA, YARN 아키텍처가 추가된 버전이다. 2.x 는 다수의 네임노드를 가질 수 있고, YARN 이라는 새로운 MapReduce 아키텍처가 도입된 버전이다. https://blogs.apac..
시작시간부터 종료시간까지의 경과시간(elapsed)를 확인하기 위한 TIMEDIFF 함수 사용 select start_time, end_tiem, timediff(start_time, end_time) from table ; -- result 2015-08-02 00:50:14 | 2015-08-02 09:04:05 | 08:13:51 2015-08-03 00:49:30 | 2015-08-03 08:39:50 | 07:50:20 2015-08-04 00:54:36 | 2015-08-04 08:54:46 | 08:00:10 2015-08-05 00:48:21 | 2015-08-05 01:22:44 | 00:34:23
EC2 인스턴스에 ssh 접속을 위해서는 우선 처음 생성시에 받은 private key를 저장한다. 보통 자신의 홈 디렉토리 밑에 .ssh 폴더를 생성하고(기존에 접속한 적이 있다면 자동 생성) 그 밑에 파일을 생성해서 키를 입력한다. 그리고 키는 chmod 명령으로 권한을 600 으로 바꾸어 준다. 그러지 않으면 읽지 못한다. ssh 접속시에 -i 옵션으로 키를 지정하고, 사용자 명은 기본적으로 ec2-user로 생성된다. 접속할 IP는 EC2관리 콘솔에서 접속할 인스턴스의 public IP 를 확인하여 접속한다. -- 키생성 vi key -- 키의 권한 변경 chmod 600 key -- ssh 접속 ssh -i .ssh/key ec2-user@192.168.0.1
파티션(Partition) 파티셔닝은 테이블 또는 인덱스 데이터를 파티션 단위로 나누어 저장하는 것을 말한다. 테이블을 파티셔닝하면 파티션 키에 따라 물리적으로는 별도의 세그먼트에 데이터를 저장하며, 인덱스도 마찬가지다. - 관리적 측면: 파티션 단위 백업, 추가, 삭제 변경 - 성능적 측면: 파티션 단위 조회 및 DML 수행, 경합 및 부하 분산 테이블 파티션 - Range 파티션: 파티션 키 값의 범위를 이용하여 파티셔닝 - Hash 파티션: 파티션 키값을 해쉬처리하여 파티셔닝 - List 파티션: 파티션 키를 지정하여 파티셔닝 - Composite 파티션: 주파티션, 서브파티션을 지정하여 복합적으로 파티셔닝 CREATE TABLE sales ( prod_id NUMBER(6) , cust_id NU..
Index Range Scan 인덱스 루트 블록에서 리프 블록까지 수직적으로 탐색한 후에 리프 블록을 필요한 범위만 스캔하는 방식 B-Tree 인덱스의 가장 일반적이고 정상적인 액세스 방식 인덱스를 스캔하는 범위를 얼마만큼 줄일 수 있느냐와 테이블로 액세스하는 횟수를 얼마만큼 줄일 수 있느냐 인덱스를 구성하는 선두 컬럼이 조건절에 사용되어야 index Range Scan 가능 Index Range Scan 과정을 거쳐 생성된 결과집합은 인덱스 컬럼 순으로 정렬, order by 연산을 생략하거나 min/max값을 빠르게 추출 가능 between, like, 부등호 조건 처리 Index Full Scan 수직적 탐색 없이 인덱스 리프 블록을 처음부터 끝까지 수평적으로 탐색하는 방식 최적의 인덱스가 없을 때..
인덱스 테이블 내의 원하는 레코드를 빠르게 찾아갈 수 있도록 만들어진 데이터 구조 데이터와 무관하게 생성 및 삭제를 독립적으로 할 수 있다. 자동 인덱스: 프라이머리 키 또는 UNIQUE 제약조건에 의해 자동적으로 생성되는 인덱스 수동 인덱스: create index 명령을 실행해서 만드는 인덱스 논리적 인덱스: 단일, 복합, 유일, 비유일, 함수 기반 인덱스 물리적 인덱스: B-Tree, Bitmap, IOT 인덱스 등 인덱스 칼럼의 선정기준 - 하나의 칼럼에 독립적인 인덱스를 선정하는 경우, 양호한 분포도를 가져야 함 - 결합 인덱스의 첫번째 칼럼이 조건절에 없다면 인덱스는 사용되지 않으므로, 결합 인덱스의 순서는 '='로 사용되는 것을 먼저 쓰고 다음으로 분포도가 좋은것을 사용 - 인덱스 머지가 발..
조인 두 개 이상의 테이블을 연결하여 데이터를 조회하는 것 - 등가 조인: 테이블간에 동일한 조건을 이용하여 처리, = 연산자 사용 - 비등가 조인: 테이블간에 동일하지 않은 조건을 이용하여 처리, between, 등의 연산자를 이용하여 처리 - 아웃 조인: 조인 조건을 만족하지 않는 경우에도 결과를 봐야 하는 경우 사용 - 셀프 조인: 자기자신의 정보를 이용하여 조인 처리 카테시안 프로덕트(Cartesian Product) 조인 조건을 생략하거나, 잘 못 설정하여 테이블 간의 모든 데이터가 연결되는 것 SET 연산자 조인을 사용하지 않고 두 개 이상의 테이블의 연관된 데이터를 조회해 오는 방법 - UNION: 테이블 간의 합집합, 중복데이터 제거, 자동으로 정렬 작업 처리 - UNION ALL: 테이블..
DBMS의 공집합과 집합함수 데이터베이스의 조회조건에 해당하는 값이 하나도 없는 경우를 공집합이라고 한다. 집합함수의 경우 공집합의 경우에 NULL을 반환한다. - 집합함수: count, sum, avg, max, min Toad 같은 툴을 이용하여 쿼리를 날리면 공집합과 NULL값 반환의 구분이 어려운데, CLI를 이용하면 공집합의 경우 Empty Set을 반환하는 것으로 확인 가능하다. MySQL에서 비어 있는 테이블을 이용하여 쿼리를 날릴경우 아래와 같은 결과를 확인할 수 있다. mysql> select * from employee; Empty set (0.00 sec) mysql> select emp_id from employee where 1=2; Empty set (0.00 sec) mysql..
Error Code: 1215. Cannot add foreign key constraint MySQL 에서 외부키를 생성하는 중 오류가 발생하면 확인해 볼것 - 오타 - 문법 오류 - 외부키로 지정하는 칼럼이 기본키인지 여부 alter table [테이블명] add constraint [제약조건 명] foreign key([칼럼명]) references [외부테이블명]([외부 칼럼명(외부테이블의 기본키)]); alter table player add constraint player_fk foreign key(team_id) references team(team_id);
SQLD 시험 주요 내용 시험과목 주요내용 세부내용 데이터 모델링의 이해 데이터 모델링의 이해 데이터모델의 이해 엔터티 속성 관계 식별자 데이터 모델과 성능 정규화와 성능 반정규화와 성능 대용량 데이터에 따른 성능 DB 구조와 성능 분산DB 데이터에 따른 성능 SQL 기본 및 활용 SQL 기본 정보 요구 사항 DDL DML TCL WHERE 절 FUNCTION GROUP BY, HAVING 절 ORDER BY 절 조인 SQL 활용 표준조인 집합연산자 계층형 질의 서브쿼리 그룹 함수 윈도우 함수 DCL 절차형 SQL SQL 최적화 기본 원리 옵티마이저와 실행계획 인덱스 기본 조인 수행 원리 시험문제는 데이터모델링의 이해에서 10문항(20점), SQL 기본 및 활용에서 40문항(80점)이 나온다. 총점 60..
- 2011년 트위터가 인수한 백타이프가 처음 시작한 프로젝트 - 트위터에서 오픈소스화 -> 아파치 프로젝트로 이동 - 클로저(Clojure)를 주언어로 사용 - 클로저에 기반을 두고 있지만 JVM에서 실행되며, 볼트는 다양한 언어로 개발이 가능 - 확장성이 크고, 내결함성이 강한, 스트림 프로세싱에 최적화된 이벤트 스트림 프로세싱 중심 - UC 버클리 산하 AMPLap에서 시작하여 아파치 프로젝트로 이동 - 범용 분산형 컴퓨팅 플랫폼 - 하둡을 기반으로 처리(불편하지만 하둡 없이도 가능함) - 스칼라, 파이썬을 이용한 인터랙티브 쉘 제공 - 확장성이 높은 실시간 분석과 BI 시스템을 위한 우수한 플랫폼 http://www.itworld.co.kr/news/91022 https://storm.apache..
REPL - Read-eval-print loop - Read-Evaluate-Print loop - 하나의 입력을 받아서(Read single input), 처리하고(Evaluate), 결과를 반환하는(Print result) 환경으로 구현된 프로그램을 REPL 이라고 한다. - 즉, 커맨드라인 인터페이스를 가지는 프로그램이다. - 보통 js, python 같은 스크립트 언어를 말한다. https://en.wikipedia.org/wiki/Read%E2%80%93eval%E2%80%93print_loop
윈도우의 서브라임 텍스트에서 한글을 입력하려고 하면 상단에 IME 창이 나타나고 거기서 한글이 입력되게 된다. 입력이 안되는 건 아니지만 사용상에 불편하므로 IMESupport 를 설치해주면 된다. * 다른 에디터처럼 완벽하게 지원되는건 아님, 글자가 완성되고 나서 입력됨, 1. 서브라임 테스트 Package Control 설치 - https://packagecontrol.io/installation - Ctrl + ` or View -> Show Console 입력하여 콘솔창을 열고 - 아래의 코드를 입력 후 엔터 - 설치가 성공하면 아래의 콘솔창에 성공 여부가 나타남, 따로 알림 같은것이 뜨지는 않음 import urllib2,os,hashlib; h = 'eb2297e1a458f27d836c04bb..
주말을 맞아 다음의 일정으로 여행을 했다. 시화방조제(티라이트 전망대) -> 대부도 유리섬박물관 -> 물레방아(점심식사) -> 제부도 선착장 우선 전망대는 티라이트 휴게소에 가면 있음무료, 엘리베이터를 타고 올라가는 시간이 있기 때문에 대기시간이 좀 있음전망대에서 보는 경치는 아주 좋음, 날이 맑으면 딱 좋을 듯 다음 대부도로 진입해서 유리섬박물관비싸다. 성인 만원, 청소년 9천원, 유아 8천원유리 공예품을 제작하는 시연이 있음, 신기함하지만 비싸다... 한번은 볼만 한듯 그리고 고픈배를 부여잡고 물레방아(경기도 화성시 서신면 송교리 35-1)로 이동일단 손님이 많아서 대기시간이 좀 있음주차장은 넓어서 꽤 여유가 있는 편그리고 식사는 맛있음, 양도 많음'해물파전'은 거의 피자 수준으로 양이 많음, 시킬거..
사용자 정의 필터 AngularJS의 필터를 정의하여 입력값을 필터링 하거나 다른 형태로 변환할 수 있다. 다음의 소스코드를 보고 확인해 보자. 소스코드 Input 필터 리피터 필터(checknumber 적용) {{player}} {{player.name}} {{player.number}} 리피터 필터 종합(checknumber, search 적용) {{player}} {{player.name}} {{player.number}} 리피터 필터 종합(checksearch 적용) {{player}} {{player.name}} {{player.number}} 예제 Input 필터 리피터 필터(checknumber 적용) {{player}} {{player.name}} {{player.number}} 리피터 필..
Angular JS 한글 입력 바인딩 오류 수정 Angular JS를 input에 사용할 때 숫자, 영문은 모델에 바로 값이 바인딩 되는데, 한글은 입력 후 엔터키 or 스페이스키 등을 눌러야 모델에 값이 반영이 된다. 이를 수정하기 위해서 application에 새로운 지시자(directive)를 생성하고 적용해주면 된다. 소스코드 {{input_text}} {{input_text2}} {{input_text}} {{input_text2}} 참조 http://qiita.com/koh110/items/4c5d22339ef2117e226a http://erith.blog.me/220185166416 http://erith.blog.me/220185166416
인사이드 아웃 (2015) Inside Out 8.7 감독 피트 닥터 출연 다이안 레인, 에이미 포엘러, 카일 맥라클란, 민디 캘링, 빌 하더 정보 애니메이션 | 미국 | 102 분 | 2015-07-09 글쓴이 평점 죽전 CGV 2관에서 관람함 재미 있음 상상력이 대단함 울고 싶을땐 울어야 한다. 감정은 복합적일 수 있다. 완전 추천 ㅎ 사람의 감정을 의인화 해서, 사람의 행동이 감정에 따라 어떻게 변화되는지를 보여주는 영화 슬픔도 인간에게 필요한 감정이란걸 보여주는 영화 피트 닥터 감독 감독 피트 닥터는 , 의 오리지널 스토리 작가였고, 첫 장편 애니메이션 연출작은 였다. 의 오리지널 스토리 또한 피트 닥터가 썼으며, 두 번째 장편 애니메이션 연출작 으로 아카데미 최우수 장편 애니메이션상을 받았다. ..
1. 무언가를 만들어 보려고 봤는데 이미 있다. 그래도 만들어 본다. 이미 있는 것을 내가 다시 만들어 보는 것으로 공부가 된다. 스타트업을 하려고 하는 것이 아니니까. 2. 새로운 것을 배워볼 생각을 하지 않는 것 백견이 불여일타 다양한 언어를 접하다 보면 시각이 넓어지고 언어에 대한 제약이 사라짐 3. 내가 만든 것을 부끄러워하는 것 처음부터 잘 할 수 없음 배포 및 공개를 해서 피드백을 받고 수정을 하게 되면 더 좋아질 것 링크 http://okky.kr/article/282595
- Total
- Today
- Yesterday
- java
- nodejs
- HIVE
- S3
- Python
- 다이나믹
- 파이썬
- build
- 알고리즘
- airflow
- Tez
- bash
- ubuntu
- error
- AWS
- HDFS
- Linux
- Hadoop
- 하둡
- emr
- 백준
- oozie
- mysql
- 하이브
- 정올
- hbase
- SPARK
- SQL
- 오류
- yarn
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |