API5 [airflow] 에어플로우 RestApi 설정 에어플로우 기본 설정은 REST API 로 접속하면 거부하게 설정이 되어 있습니다. airflow.cfg 설정의 REST API 접근 오류 # 명령어로 현재 설정 상태 확인 $ airflow config get-value api auth_backend airflow.api.auth.backend.deny_all # airflow.cfg의 설정 확인 auth_backend = airflow.api.auth.backend.deny_all # rest api 호출시 오류 $ curl http://0.0.0.0:8080/api/v1/dags/example/dagRuns { "detail": null, "status": 401, "title": "Unauthorized", "type": "https://airfl.. 2021. 10. 6. [avro] python avro api 에서 The datum XX is not an example of the schema 오류 python을 이용한 avro 기본 api 에서 The datum XX is not an example of the schema 오류가 발생하는 경우가 있습니다. Traceback (most recent call last): File "test.py", line 77, in bytes_data = quickstart_schema.encode(sample_data) File "test.py", line 41, in encode self._writer.write(data, encoder) File "/home/deploy/.local/lib/python2.7/site-packages/avro/io.py", line 979, in write raise AvroTypeException(self.writers_s.. 2021. 7. 13. [hdfs] HDFS WebHDFS REST API 사용법 HDFS는 REST API를 이용하여 파일을 조회하고, 생성, 수정, 삭제하는 기능을 제공합니다. 이 기능을 이용하여 원격지에서 HDFS의 내용에 접근하는 것이 가능합니다. REST API 설정 REST API를 사용하기 위해서는 hdfs-site.xml에 다음의 설정이 되어 있어야 합니다. -- webhdfs 사용여부 설정 dfs.webhdfs.enabled=true; -- webhdfs 포트 설정 dfs.namenode.http-address=0.0.0.0:50070; REST API 사용 방법 위에서 설정한 http 포트로 curl 명령을 이용하여 ls명령을 날리는 예제는 다음과 같습니다. -- /user/hadoop 위치를 조회 $ curl -s http://$(hostname -f):50070/.. 2020. 1. 9. [python] 우지 웹서비스 API 라이브러리 소개 우지(oozie) 웹서비스를 이용하기 위한 파이썬 라이브러리를 소개 합니다. pip를 이용해서 설치하고 사용할 수 있습니다. 설치 방법과 사용방법은 다음과 같습니다. 설치 방법 pip install oozie-webservice-api 사용방법 2019. 7. 10. [python] 하둡 YARN REST API 라이브러리 hadoop-yarn-rest-api 하둡 YARN의 REST API를 이용할 수 있는 python2용 라이브러리를 소개합니다. 하둡 YARN의 REST API중 일부를 구현하였습니다. Cluster Writeable APIs 부터는 알파 버전이기 때문에 구현하지 않았고, YARN의 정보를 확인하는 용도로 사용하면 될 것 같습니다. 구현 목록은 다음과 같습니다. - Cluster Information API - Cluster Metrics API - Cluster Scheduler API - Cluster Applications API - Cluster Application Statistics API - Cluster Application API - Cluster Application Attempts API - Cluster Nodes AP.. 2019. 5. 29. 이전 1 다음
