2021/0710 [ubuntu] 크론탭 설정 중 crontab rename: Operation not permitted 우분투에서 크론탭을 설정하는 중에 Operation not permitted 오류가 발생하는 경우가 있습니다. 이는 crontab 파일의 수정을 위한 권한이 부족할 때 발생합니다. 다음과 같이 /var/spool/cron/crontabs 파일의 수정권한이 부족하기 때문에 발생하는 오류로 해당 위치의 권한을 수정해야 합니다. # 오류 $ crontab -e crontab: installing new crontab crontab: crontabs/deploy: rename: Operation not permitted crontab: edits left in /tmp/crontab.BDmSwI/crontab # /var/spool/cron/crontabs 파일 수정 권한 부족 $ ll total 20 drwx.. 2021. 7. 27. [ubuntu] systemctl 명령으로 서비스 등록 우분투에서는 systemctl 명령으로 프로세스를 서비스로 등록할 수 있습니다. 기본적으로 서비스명.service 파일을 만들고 systemd 데몬을 리로드 한 후 실행명령을 사용하면 실행할 수 있습니다. 기본 명령어 예제 서비스 파일의 예제는 다음과 같습니다. mysql 의 서비스 등록 예제와 zookeeper 를 서비스로 등록하는 예제입니다. 2021. 7. 19. [avro] python avro api 에서 The datum XX is not an example of the schema 오류 python을 이용한 avro 기본 api 에서 The datum XX is not an example of the schema 오류가 발생하는 경우가 있습니다. Traceback (most recent call last): File "test.py", line 77, in bytes_data = quickstart_schema.encode(sample_data) File "test.py", line 41, in encode self._writer.write(data, encoder) File "/home/deploy/.local/lib/python2.7/site-packages/avro/io.py", line 979, in write raise AvroTypeException(self.writers_s.. 2021. 7. 13. [hue] hue 파일 브라우저에서 'ascii' codec can't encode characters in position 10-11: ordinal not in range(128) 오류 휴의 파일 브라우저를 처음 실행할 때 500번 오류와 함께 'ascii' 오류가 발생하는 경우가 있습니다. 이는 휴의 파일 브라우저가 REST api 로 HDFS에 데이터 조회 명령을 보냈을 때 doas 로 조회한 사용자의 홈 디렉토리가 생성되어 있지 않을 경우 발생합니다. HDFS에 디렉토리를 생성해 주면 됩니다. # 발생 오류 [09/Jul/2021 20:20:20 +0000] resource DEBUG GET None http://hadoop-host:50070/webhdfs/v1//user/admin?op=GETFILESTATUS&user.name=hue&doas=admin returned in 12ms 0 0 [09/Jul/2021 20:20:20 +0000] middleware INFO Pro.. 2021. 7. 12. [hdfs] webhdfs에 요청을 보냈을 때 Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error 오류 처리 HA 구성 된 HDFS에 webhdfs 로 요청을 보냈을 때 스탠바이(standby) 상태의 노드가 이런 응답을 보낼 때가 있습니다. HA 구성된 HDFS는 두 개의 HDFS가 각 active, standby 상태로 운영됩니다. 그런데 standby 상태의 노드에 조회 요청을 하면 오류가 발생합니다. # 상태 확인 $ hdfs haadmin -getAllServiceState host1:8020 active host2:8020 standby # 데이터 조회 오류 $ curl --negotiate -u: -sS -L -X GET -k "https://host2:50470/webhdfs/v1/?op=GETFILESTATUS&user.name=hdfs" {"RemoteException":{"exception".. 2021. 7. 8. [avro] 파이썬을 이용한 avro 예제 파이썬을 이용한 avro를 이용하기 전에 pip를 이용해서 먼저 설치해야 합니다. pip3 install avro 파이썬을 이용한 avro 예제는 다음과 같이 구현합니다. 오류 처리 파이썬2에서는 다음과 같은 오류가 발생할 수 있습니다. 파이썬 3로 실행하면 다음 오류는 해결됩니다. Traceback (most recent call last): File "a.py", line 8, in writer.append({"name": "Alyssa", "favorite_number": 256}) File "/home/deploy/.local/lib/python2.7/site-packages/avro/datafile.py", line 227, in append self.datum_writer.write(datum.. 2021. 7. 7. [nodejs] nodejs 14.x 버전 설치 중 GPG error: https://deb.nodesource.com/node_14.x bionic InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 1655A0AB68576280 오류 처리 deb https://deb.nodesource.com/node_14.x bionic main deb-src https://deb.nodesource.com/node_14.x bionic main nodejs 14.x 버전 설치 중 다음과 같은 오류가 발생했습니다. 이 오류는 apt 명령에서 nodesource.com의 접근하는 키게 문제가 있어서 발생합니다. Err:1 https://deb.nodesource.com/node_14.x bionic InRelease The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 1655A0AB68576280 Hit:5 http://10.182.2.. 2021. 7. 4. [hbase] hbase를 이용한 데이터 export 중 No registered coprocessor service found for name AuthenticationService in region hbase:meta,,1 오류 커버로스(kerberos) 설정된 hbase에 export 명령을 실행할 때는 hbase-site.xml에 토큰을 이용한 인증 설정이 있어야 hbase가 처리할 수 있습니다. 다음 오류가 발생하면 hbase-site.xml에 설정을 추가하고 hbase를 재부팅합니다. Caused by: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found for name AuthenticationService in region hbase:meta,,1 at org.apache.hadoop.. 2021. 7. 2. [mariadb] DB: Index column size too large. The maximum column size is 767 bytes. 오류 수정 방법 마리아DB에서 테이블을 만들 때 다음과 같은 오류가 발생하는 경우가 있습니다. DB: Index column size too large. The maximum column size is 767 bytes. 기본 DB의 인덱스 크기가 767 byte 까지만 가능한데, DB의 언어 설정이 utf8인경우 1글자당 3byte, utf8mb4일 경우 4byte 가 필요하기 때문에 varchar(255) 인경우 4byte * 255 = 1020 byte 가 되어 오류가 발생합니다. https://www.popit.kr/mysql-index-column-size-too-large-error/ mysql에서 Index column size too large. 에러 메시지에 대한 처리 | Popit MySQL에 테이블을.. 2021. 7. 1. [hbase] desc 명령으로 hbase 테이블 생성하는 방법 hbase에는 생성된 테이블 create 문을 확인할 수 있는 일반 RDB나 hive의 show create table 같은 명령이 없습니다. hbase는 desc 명령을 이용해서 테이블의 정보를 확인하고, 이 정보를 이용해서 테이블을 생성해야 합니다. 2021. 7. 1. 이전 1 다음