티스토리 뷰

Hadoop

하둡 계정 관리에 대하여...

blrunner 2013.06.03 16:08

이 포스팅은 2쇄를 하면서, 추가했던 내용입니다. 관련 내용을 문의주시는 독자분들이 계셔서, 블로그에 공유합니다. ^^


하둡 사용자는 하둡 명령어를 실행하거나 하둡 API를 실행하는 리눅스 계정입니다. 그래서 여러 사용자가 있을 수 있으며, 그 중에서 하둡 데몬을 실행하는 계정은 superuser로 분류됩니다대부분은 리눅스의 hadoop 계정으로 하둡을 실행하기 때문에 hadoopsuperuser로 사용하게 됩니다.


HDFS 내에 사용자의 홈 디렉터리는 “/user/사용자이름”으로 생성됩니다. 하둡 명령어로 경로를 설정할 경우 경로가 “/”로 시작하지 않으면 상대 경로로 인식됩니다. 예를 들어, hadoop 계정이 hadoop fs -ls conf라고 실행하면 /user/hadoop/conf 디렉터리를 조회하게 됩니다.


그래서 하둡은 HDFS를 접근하는 리눅스 계정별로 디렉터리를 생성하고, 권한을 설정해야 합니다

예를 들어 리눅스 의 blrunner 계정으로 하둡에 접근할 경우 다음과 같이 디렉터리를 생성하고 권한을 설정합니다.


hadoop fs -mkdir /user/blrunner

hadoop fs –chown blrunner /user/blrunner 


또한 superuser인 hadoop을 제외한 다른 계정들이 MapReduce 잡을 실행하려면, HDFS의 /tmp 디렉터리에 대한 읽기/쓰기 권한이 있어야 합니다. 처음 하둡을 설치하셨다면, 다음과 같이 /tmp를 삭제하고, 권한을 설정하시면 됩니다. 이렇게 777로 권한이 풀려 있어야만 다른 계정이 MapReduce 잡을 실행할 수 있습니다. 


hadoop fs -rmr /tmp

hadoop fs chmod 777 /tmp


왜 /tmp 디렉터리의 권한이 문제가 될 수 있는 지는 http://www.jaso.co.kr/471 링크를 참조하시기 바랍니다.

댓글
댓글쓰기 폼