read5 [hdfs] webhdfs에 요청을 보냈을 때 Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error 오류 처리 HA 구성 된 HDFS에 webhdfs 로 요청을 보냈을 때 스탠바이(standby) 상태의 노드가 이런 응답을 보낼 때가 있습니다. HA 구성된 HDFS는 두 개의 HDFS가 각 active, standby 상태로 운영됩니다. 그런데 standby 상태의 노드에 조회 요청을 하면 오류가 발생합니다. # 상태 확인 $ hdfs haadmin -getAllServiceState host1:8020 active host2:8020 standby # 데이터 조회 오류 $ curl --negotiate -u: -sS -L -X GET -k "https://host2:50470/webhdfs/v1/?op=GETFILESTATUS&user.name=hdfs" {"RemoteException":{"exception".. 2021. 7. 8. [R] 파일 읽기/쓰기 R에서 파일을 읽고 쓰는 방법은 다음과 같습니다. 에러 주의 사항 read.delim() 명령은 txt파일은 마지막 행에 공백이 있어야 합니다. 공백이 없으면 다음과 같은 오류가 발생합니다. > source = read.delim("source.txt", header=FALSE, sep=" ") Warning message: In read.table(file = file, header = header, sep = sep, quote = quote, : 'source.txt'에서 readTableHeader에 의하여 발견된 완성되지 않은 마지막 라인입니다 읽기/쓰기 함수 선택 R에서 문자를 읽고 쓰는 패키지는 다양하게 존재합니다. fread(), fwrite()가 기본라이브러리보다 빠른 속도를 보여주는 것.. 2019. 9. 9. [hadoop] TestDFSIO를 이용하여 HDFS I/O 성능 체크 TestDFSIO는 하둡에서 HDFS의 성능을 체크하기 위해서 제공하는 기능입니다. 파일 개수와 사이즈를 지정하여 HDFS의 대역폭과 read, write 시간을 확인할 수 있습니다. 소스코드 하둡 GIT(바로가기)에서 확인할 수 있습니다. apache/hadoop Apache Hadoop. Contribute to apache/hadoop development by creating an account on GitHub. github.com 자신이 다운로드 받은 라이브러리 중에서 examples나 test jar 파일에 해당 소스코드가 들어 있습니다. jar파일은 메이븐에서 다운로드 할 수 있습니다. hadoop-mapreduce-client.jobclient*.jar 로 검색하면 됩니다. mvnrepo.. 2019. 6. 17. [bash] 문자열 분할(split) 하여 루프문 처리 Bash 스크립트에서는 공백(' '), 개행문자열('\n')을 이용하여 문자열을 분할하여 루프문을 처리할 수 있다. IFS 는 입력필드 구분자를 말한다. 이 값을 이용하여 루프문을 처리할 수 있다. #!/bin/bash vString="A-111-DK" IFS='-' read -ra vStr 2018. 6. 19. [python/코드조각] open() 을 이용하여 파일 읽기 파이썬의 open() 함수와 with 구문을 이용하여 파일을 효율적으로 읽는 방법은 다음과 같다. 2018. 5. 9. 이전 1 다음