유니코드의 인코딩 방식은 UTF-16은 빅엔디안(BE) 모드와 리틀엔디안(LE)모드가 있습니다. 바이트 순서 마크(BOM, Byte Order Mark)는 이 형식을 구분하기 위해서 존재합니다. 빅엔디안과 리틀엔디안은 메모리 저장방식의 차이입니다. AC 00이라는 값을 메모리에 저장할 때 빅엔디안은 AC 00으로 저장하고, 리틀엔디안은 00 AC로 저장합니다. 이런 저장 방식의 차이를 다른 프로그램에게 설명하기 위해서 특정한 값이 필요하고, 유니코드 문서의 첫 번째에 이 값을 삽입하여 주는것을 BOM이라고 합니다. 인코딩별 BOM UTF-8: EF BB BF UTF-16 BE: FE FF UTF-16 LE: FF FE 저장된 파일을 Hex Viewer 등으로 hex 값을 확인하면 다음과 같이 BOM 정보..

컴퓨터에서 사용하는 한글 문자 인코딩 방식에 대해서 알아보겠습니다. 컴퓨터가 처음 만들어 졌을 때 영어권에서 사용하는 언어를 1byte로 모두 표현할 수 있었습니다. 하지만 컴퓨터가 여러 나라에 보급되면서 각 나라의 문자를 모두 표현할 수 있는 방식을 찾아야 했습니다. 이를 위해서 국제 표준으로 유니코드를 정의하게 되었습니다. 유니코드를 인코딩하는 방식으로 utf-8과 utf-16이 있습니다. 유니코드와 별개로 윈도우에서 한글을 표현하는 방식이 EUC-KR과 이를 확장한 CP949 방식입니다. 한글 표현 방식 EUC-KR 유닉스 계열에서 사용하는 완성형 한글 코드 조합 CP949 EUC-KR을 확장하여 윈도우에서 사용하는 확장 완성형 한글 코드 조합 EUC-KR과 호환 가능 유니코드 전세계의 모든 문자를..
R을 이용하여 파일을 읽을 때 첫 번째 칼럼의 이름이나 첫번재 데이터의 문자가 깨지는 경우가 있습니다. 이는 UTF-8 형식 문서의 BOM으로 인하여 문자가 깨진것으로 인식하기 때문입니다. 이를 해결하기 위하여 read.csv(fileEncoding="UTF-8-BOM") 처럼 fileEncoding을 BOM형식을 확인하도록 선언하여 주면 됩니다. # UTF-8의 BOM으로 인하여 파일이 깨짐 > mlbstat = read.csv(file = "mlb-player-stats-Batters.csv", header = T) > summary(mlbstat) 癤풮layer Team Pos G AB R H X2B Adeiny Hechavarria: 3 BAL : 28 1B: 76 Min. : 1.00 Min. ..
- Total
- Today
- Yesterday
- 백준
- AWS
- oozie
- error
- ubuntu
- 파이썬
- S3
- Hadoop
- Python
- bash
- 알고리즘
- yarn
- HIVE
- 하둡
- hbase
- SPARK
- Linux
- mysql
- Tez
- SQL
- 정올
- java
- nodejs
- build
- 하이브
- HDFS
- 다이나믹
- airflow
- 오류
- emr
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |