개발자로 살아남기

파이썬에서 아래의 에러가 발생하는 이유는 파이썬 2.x의 기본 인코딩이 한글을 지원하지 않기 때문이다. 따라서 스크립트에 한글이나 유니코드가 쓰여져 있이면 오류가 발생한다. SyntaxError: Non-ASCII character '\xeb' ... 이럴 때는 스크립트의 첫번째 or 두번째 라인에 아래와 같이 추가해주면 된다. 주의할 점은 coding 다음에 콜론(:)을 띄우면 안된다는 것이다. # -*- coding: utf-8 -*-# -*- coding : utf-8 -*- (안됨) https://www.python.org/dev/peps/pep-0263/

pip를 이용하여 모듈을 설치하고 업그레이드 하는 방법은 다음과 같다. 새로운 기능이 등장하여 모듈을 업그레이드 할 때는 --upgrade 옵션을 추가하면 된다. 설치 : pip install [패키지명]업그레이드 : pip install [패키지명] --upgrade

node.js 에서 HTML을 파싱하기 위해서 cheerio를 이용한다. Fast, flexible, and lean implementation of core jQuery designed specifically for the server cheerio의 설명은 위와 같이 jQuery를 서버사이드에 맞게 수정한 것이다. 따라서 jQuery와 유사하게 동작하므로 기존에 사용하던 사람은 좀더 편안하게 사용할 수 있다. cheerio - https://github.com/cheeriojs/cheerio 아래의 예제는 에어코리아 사이트의 미세먼지 예보를 파싱한 것이다. http://www.airkorea.or.kr/dustForecast var request = require("request"); var chee..

네트워크 장비 네트워크 장비는 OSI 7 레이어에 따라 기능을 구분할 수 있다. 각 레이어에서 사용하는 프로토콜에 따라 기능이 결정된다. - Physical Layer: 리피터, 허브 - Datalink Layer(MAC): 브리지, 스위치 - Network Layer(IP): 라우터 - Transport Layer(TCP): L4 스위치 [리피터] - 전기적 신호를 증폭시켜 데이터의 전송범위를 늘리는데 사용한다. [허브] - 수신되는 정보를 분석하지 못하기 때문에 받은 그대로 다시 전달한다. - 수신한 정보를 연결된 모든 포트로 전달하기 때문에 성능상의 지연이 발생할 수 있다. [스위치] - MAC주소 테이블을 가지고 있어서 수신한 정보를 분석해서 해당 포트로 전달한다. [라우터] - 네트워크 주소가 ..

node.js 에서 HTML 데이터를 파싱하기 위해서는 request 모듈을 이용한다. npm의 request 모듈 https://www.npmjs.com/package/request 설치 방법 npm install request html 데이터를 가져오는 방법은 다음과 같다. /* npm - https://www.npmjs.com/package/request */ var request = require('request'); var target_url = 'http://www.naver.com'; // 지정한 url 에 접속 request(target_url, function(error, response, html){ if (error) {throw error}; console.log (html); })..

하이브에서 load 명령을 이용하여 테이블에 데이터를 적재하고 파일을 select 할때 지정한 경로나 지정한 경로에 파일이 없으면 NullPointerException 또는 IndexOutBoundException 오류가 발생한다. 이를 회피 하기 위해서는 다음의 프로퍼티를 설정하면 된다. set hive.merge.mapfiles=false; 하이브 설정

[date 함수 사용] Date 함수는 쉘에서 날짜를 입력하는데 유용하게 사용할 수 있다. -d 옵션을 이용하여 시간 지정도 가능하므로, 지정한 일자를 유용하게 사용할 수 있다. #!/bin/bash # UTC 시간 date -u # 시간 수정 date -d -1days # 1일전 date -d +1days # 1일후 # 시간 출력 포맷 date +\%Y-\%m-\%d # 포맷에 맞는 시간 출력 # 날짜 시간 지정 및 1 시간 전date "+%Y%m%d %H" -d "20161115 01:00:00 1 hour ago" # 날짜 시간 지정 및 1 시간 후date "+%Y%m%d %H" -d "20161115 01:00:00 1 hour"

[python2의 map, filter, reduce 함수] map 함수를 이용하여 리스트의 값들에 동일한 로직을 적용하여 데이터를 변환하고, filter 함수를 이용하여 리스트의 값들을 필터링,reduce 함수를 이용하여 리스트의 값을 하나로 모은다. temp_list = range(0, 10) # python map, filter, reduce 함수 # map 함수는 iterable 에 동일한 함수를 적용한다. # map(function, iterable, ...) print map(lambda x: x + 1, temp_list) # filter 함수는 iterable 에서 조건에 맞는 함수를 제거한다. print filter(lambda x: x > 3, temp_list) # reduce 함수는..

[해상도] 720P - 1280 x 720- HD급 1080P - 1920 x 1080- Full HD급 1080i - 1920 x 1080 [1080P]- 숫자 1080은 세로 해상도의 1,080줄을 가리킨다. - P는 순차주사를 말한다. - Full HD 라고도 표현한다. [순차주사(Progressive Scan) vs 비월주사(Interace Scan)]- 순차주사가 화질이 좋다. 대신 용량이 늘어난다. [참고]- 동영상 파일명으로 정보 확인하기- 비월주사, 순차주사- 4K? UD? UHD? 혼란스러운 차세대TV 명칭

[node.js] - 2009년 라이언 달이 발표한 서버사이드 자바스크립트 프레임워크이다. - 크롬의 V8 엔진을 이용한다. - 일부 CommonJS 명세를 구현하고 있다. - 테스트를 위한 REPL(Read Eval Print Loop)환경을 포함한다. - 싱글 스레드로 이벤트 기반으로 동작하고, non-blocking I/O 방식이다. * 싱글 스레드로 동작하기 때문에 CPU 사용량이 많은 작업은 좋지 않음 [V8] - 구글에서 개발된 오픈 소스 자바스립트 엔진이다. - 크롬 브라우저와 안드로이드 브라우저에 탑재 되어 있다. - C++로 작성되어 실행전 기계어로 컴파일하여 성능을 향상(JIT)하고 인라인 캐싱 같은 최적화 기법을 적용하여 성능을 향상 시킨다. - 서버사이드는 동일한 로직을 반복 수행하..

[서브라임 텍스트 빌드] nodejs를 개발하면 서브라임 텍스트에서 개발중 바로 빌드를 할 수 있게 개발 환경 설정하기 - Tools -> Build System -> New Build System.. - 새로 열리는 창에서 아래의 내용 입력 후 { "cmd": ["node", "$file"], "selector": "source.js" } - nodejs.sublime-build로 저장한다. * 파일명이 Build System 에 표현된다. - 빌드: Tools -> Build or Ctrl + B - 빌드 취소: Tools -> Cancel Build or Ctrl + break * 서버 실행 중 중지시킬 때 사용 [참고] - 빌드 설정에는 다수의 설정이 존재하므로 환경에 따라 다양하게 설정이 가능하..

부트캠프를 이용하여 윈도우10 설치중 Realtek 오디오 드라이버 설치에서 계속 동작하면서 반응이 없는 경우 부트캠프를 이용하여 설치하려고 하는 윈도우 폴더안에 있는 BootCamp/Driver/Realtek 폴더를 삭제하고 다시 부트캠프 설치를 진행하면 된다.

우선 npm 에 http 프록시를 설정하는 코드는 다음과 같다. npm config set https-proxy [주소]npm config set proxy [주소] 그런데 이렇게 설정해도 안되더라그래서 여기 저기 뒤져본 끝에 발견한 방법은 다음과 같다. npm --proxy [주소] install formidable 둘중에 가능한 방법으로 처리 해보면 될 것 같다.

Node.js 의 기본을 배우기 위해서 자료 - http://www.nodebeginner.org/index-kr.html 유용한 사이트 Node.js QA 게시판http://nodeqa.com/ 강좌http://www.nodebeginner.org/index-kr.html node.js 는 무엇인가? http://blog.outsider.ne.kr/480http://blog.outsider.ne.kr/481

[참고] - http://askubuntu.com/questions/391082/how-to-see-time-stamps-in-bash-history 환경설정에 HISTTIMEFORMAT 을 설정해주면 된다. 아래와 같이 설정하면 된다. HISTTIMEFORMAT=%F %T

백종원의 3대 천왕에 나왔던 남포동의 이가네 떡뽁이물없이 무에서 나오는 물으로만 한다고 하는 신기한 떡뽁이 일단 홀이 없고, 테이크아웃만 있기 때문에 줄이 길어도 생각보단 일찍 먹을 수 있었음떡뽁이는 약간 매콤한 맛이었다.소스가 물없이 무랑 고춧가루로만 맛을 내서 그런지 김장김치 느낌의 맛이라고나 할까...남포동에 가면 한번은 꼭 사먹어볼만한 그런 맛이었다.

백종원의 3대 천왕에 나온 남포동의 거인 통닭전화 주문은 아침 8시 부터 받는다고 한다. 전화로 주문하고 12시에 받을 수 있음...홀도 12시부터 시작이라 일찍 안가면 한참 기다려야 함 맛은 바삭한 과자 느낌맥주 안주로 먹으면 좋을 것 같은 맛임부산에 노랑통닭과 비슷한 느낌

10 월 10일 비는 오지만 하늘공원으로 정상까지 전기차를 타고감 걸어서 올라가면 힘들듯 하던데 날이 맑으면 더 좋았을거 같지만 우중충한것도 나름 멋이 있었음 근데 넘 추워 ㅠㅠ 다음엔 날 맑을때 가는걸로

10월 9일 한글날 강릉으로 출발 7시에 출발해서 11시 도착 ㄷㄷ 차가 너무 막힘 경포대 구경 바다가 너무 이쁘다 해운대랑은 다르네 오죽헌으로이동 검은대나무라 오죽헌 늦은 점심으로 미락식당으로 이동 칼국수를 시키면 홍게한마리가 통으로 들어 있음 비주얼은 끝내줌 맛은 그럭저럭 생선구이를 시키면 가자미를 구워줌 고기는 한종류만 나와씀 바싹 구워져서 뼈째먹어도 됨 밥까지 먹고 다시 집으로 gogogo

정렬과 집계 하이브의 데이터 정렬은 order by 절로 처리 가능 - 하지만 order by 처리하기 위해서는 모든 처리의 결과를 집계해야 하기 때문에 리듀서의 개수가 1개가 되어야 한다. - 마지막 결과파일의 개수가 1개가 된다. 전체적인 정렬의 결과가 필요 없다면, sort by를 사용하면 된다. - sort by는 리듀서당 정렬된 파일을 생성 어떤 경우에는 특정 로우가 특정 리듀서로 가도록 설계하여 집계연산을 사용하는 것이 좋다. - distributed by가 이 역할을 한다. sort by, distributed by에 사용되는 칼럼이 같다면 둘 다를 동시에 지정하기 위해 약칭으로 cluster by를 사용할 수 있다. select year, temperature from records2 di..

페이스북에서 데이터 직렬화를 위한 일반화된 데이터 솔루션을 제공하기 위해 개발한 오픈소스 프로젝트다. 이종언어간에도 직렬화 서비스를 지원한다. 페이스북에서 개발되어 아파치 프로젝트로 이전되었다. 직렬화될 데이터를 기술하는 설정 파일을 개발자가 정의할 수 있다. 그리고 나면 코드 생성기가 실행되어 미리 지정한 언어로 데이터 직렬화를 처리하는 서버가 만들어 진다. 구글의 프로토콜 버퍼는 쓰리프트와 아주 비슷하다. http://wikibook.co.kr/article/hosting-and-sharing-terabytes-of-raw-data-2/ http://brad2014.tistory.com/320

MySQL 에서 파일의 데이터를 테이블에 입력하는 명령은 load data 를 이용한다. 아래와 같이 사용하면 된다. -- DB 이용 use test; -- 테이블 생성 create table import_table ( id varchar(20), name varchar(200), cnt numeric ); -- 파일의 데이터 테이블로 입력 load data local infile 'C:\\Users\\ADMIN\\Desktop\\preload_appid.log' into table test.import_table; -- 조회 select * from import_table;

일단 시험문제는 인터넷에서 구할 수 있는 기출문제와 유사하게 나왔다. 공부를 하지 않으면 어려울 수 있으므로 되도록 2주 전부터 공부를 하는게 좋다. http://wiki.gurubee.net/pages/viewpage.action?pageId=27426887 위의 연구회의 정리자료를 정독하고, 연습문제는 꼭 풀어보도록 하자. 연습문제에서 그대로 출제 된게 몇문제 있었다. 즉, 연습문제와 비슷한 형태로 나오므로 문제 유형을 파악하면 떨지 않고 시험을 칠 수 있다. http://bysql.net/index.php?mid=W201102S 여기의 연습문제도 꼭 풀어보자. 정규화, 조인(NL, SMJ, Hash) 관련 문제는 꼭 나오므로 차이를 꼭 외워서 가야한다. 1차, 2차, 3차 정규화의 차이과 조인간의 ..

조인 NL 조인 - 랜덤 액세스 위주의 조인 - 한레코드씩 순차적으로 진행 - 테이블의 크기가 작을수록 좋음 - 온라인 프로그램에서 사용할 때 좋음 - Driving 테이블의 크기가 가장 많은 영향을 준다. SMJ - 조인하기전에 정렬 - 넓은 데이터 처리에 유리함 - 정렬에 필요한 데이터가 많아지면 메모리대신 디스크를 사용하므로 성능이 떨어질 수 있음 - 조인 조건의 인덱스 유무에 영향을 받지 않지만 Sort 가 필요하다. Hash 조인 - 한쪽 테이블의 크기가 작을수록 좋음 - NL의 랜덤액세스, SMJ의 정렬작업에 대한 부담으로 등장 - 인덱스를 사용하지 않음, 인덱스 대신 Hash 함수를 사용 - 동등조인(=) 에서만 사용 - 수행 빈도가 높은 OLTP성 작업에서는 불리함 - 수행 빈도가 낮고, ..

DB가이드넷 - 데이터모델링의 이해 구루비 SQLP 연구회 - http://wiki.gurubee.net/pages/viewpage.action?pageId=27426887 BySQL넷 SQLD 연구회 - http://bysql.net/index.php?mid=W201102S SQL 전문가 되어보기 WikiDocs - https://wikidocs.net/book/159

오라클 11g 버전 설치후 사용자를 생성하고 DB 에 접속하는 방법은 다음과 같다. 1. 시스템 권한 접속 * 패스워드는 설치시에 입력한 패스워드 connect system/password; 2. tester 유저 생성 * 패스워드는 따로 설정 create user tester identified by password; 3. tester 유저에게 권한 생성 * 권한 생성 grant dba, resource, connect to tester; 4. tester 유저로 접속 connect tester/password; 사용중인 데이터베이스명 확인 select name from v$database; [참고] http://stackoverflow.com/questions/27357493/how-to-create..

사람의 눈으로 볼 때는 쿼리를 블록화하는 것이 더 읽기 편하지만 최적화를 수행하는 옵티마이저의 시각에서는 더 불편하다. 그러므로 옵티마이저는 쿼리 블록을 풀어내려는 습성을 갖는다. 쿼리 블록을 풀어내어서 기존의 쿼리와 합쳐서 최적화를 진행하는 것이다. 오라클 힌트: merge, no_merge 뷰안에 rownum을 사용하면 뷰머징을 방지하는 효과가 있다.

AWS에서 우지와 하둡 연동중 다음과 같은 오류가 발생할 경우 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 이는 우지에서 지정한 클래스패스와 하둡이 사용하는 클래스패스의 경로가 달라서 그렇다. 따라서 EMR의 하둡에 설정된 yarn-site.xml 의 내용에서 yarn.application.classpath 를 복사하여 우지의 설정에서 하둡으로 전달하는 yarn-site.xml 을 수정한다. source(emr) : hadoop/conf/yarn-site.xml target(oozie) : oozie/conf/hadoop-conf/yarn-site.xml 참고

맥을 처음 사용하다 보니 단축키 기호가 익숙하지 않아서 단축키를 봐도 저게 무슨 키인지 알 수 없다. ㅠㅠ 맥용 단축키에 사용되는 기본 기호 ▶OS X 메뉴에서 볼 수 있는 조합키 기호 ⌘ : command키 ⌃ : control키 ⇧ : shift 키 ⇪ : caps lock ⌥ : option 키 Fn : 기능 키 상세한 단축키는 아래에서 확인하도록 https://www.facebook.com/timnetkorea01/posts/750056978356886?stream_ref=5

용인시청에서 운영하는 물놀이장 시청이 어마어마하게 크다 완전 돈낭비 ㄷㄷㄷ 물놀이장은 아주 좋았음 어린이들에게는 캐러비안베이 보다 좋은듯 풀이 나이별로 3개로 나눠져서 더 좋음 10시 시작해서 17시까지 운영 40분 운영후 10분 휴식 12시에서 1시는 점심시간 휴식