티스토리 뷰

빅데이터/Hue

[hue] Secure HDFS와 연동에서 Error 401 Authentication required 오류가 발생하는 경우

hs_seo 2024. 9. 3. 20:26

Hue와 SecureHDFS를 연동하는 방법을 정리하면서 발생한 다음의 오류를 해결하는 방법도 알아보겠습니다.

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1"/>
<title>Error 401 Authentication required</title>
</head>
<body><h2>HTTP ERROR 401</h2>
<p>Problem accessing /webhdfs/v1. Reason:
<pre>    Authentication required</pre></p><hr /><i><small>Powered by Jetty://</small></i><br/>                                                
<br/>                                                
<br/>

 

  • 사용 버전
    • hadoop: v2.10.2
    • Hue: 4.11.0

Hue와 Secure HDFS 연결 설정

hadoop은 커버로스 설정을 처리하고, Hue에서 커버로스 하둡을 연동하기 위해서는 hue.ini 에 다음과 같이 설정합니다.

[hadoop]
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://host-name
logical_name=host-name
webhdfs_url=https://host-name:50470/webhdfs/v1
security_enabled=True
ssl_cert_ca_verify=False
hadoop_conf_dir=/etc/hadoop/conf

오류 원인

Authentication required 오류의 원인을 확인하기 위해서, 네임노드의 오류를 확인하였으나 네임노드에는 오류가 발생하지 않았습니다. 그래서 원인을 분석하던 중 커버로스 서버의 로그를 확인하니 다음과 같이 인증에 실패 하였다는 오류를 확인하였습니다.

$ journalctl -u krb5-kdc.service
hmac-sha1-96(17), aes256-cts-hmac-sha384-192(20), aes128-cts-hmac-sha256-128(19), DEPRECATED:des3-cbc-sha1(16), DEPRECATED:arcfour-hmac(23), camellia128-cts-cmac(25), camellia256-cts-cmac(26)}) 172.16.3.49: LOOKIN>
hmac-sha1-96(17), aes256-cts-hmac-sha384-192(20), aes128-cts-hmac-sha256-128(19), DEPRECATED:des3-cbc-sha1(16), DEPRECATED:arcfour-hmac(23), camellia128-cts-cmac(25), camellia256-cts-cmac(26)}) 172.16.3.49: LOOKIN>

그래서 principal을 확인해보니 이름에 오류가 있어서 필요한 값을 찾지 못하고 있었습니다. 제대로 된 이름으로 수정하니 정상 동작하는 것을 확인하였습니다.

확인할 점

인증에 오류가 발생하면 설정에 문제가 없는지 확인하고, 커버로스 서버의 설정도 확인 해보는 것이 좋을 것 같습니다.

반응형
저작자표시 비영리 동일조건

'빅데이터 > Hue' 카테고리의 다른 글

[hue] hue 빌드 중 my_config.h: No such file or directory 오류 처리 하는 방법  (0) 2023.04.17
[hue] hue 빌드 시 파이썬 pip 호출에 프록시를 이용해야 하는 경우  (0) 2022.04.23
[hue] hue 와 LDAP 연동  (0) 2021.11.15
[hue] 데이터베이스 마이그레이션 중 django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: libmysqlclient.so.20 오류  (0) 2021.10.06
[hue] hue 파일 브라우저에서 'ascii' codec can't encode characters in position 10-11: ordinal not in range(128) 오류  (1) 2021.07.12
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30
글 보관함