Blog

AWS Glue 로컬에서 실행

AWS Glue 로컬에서 실행

AWS Glue 를 테스트해보는데 AWS Console 에서 하기에는 비용이 발생하고, 화면이 좀 불편해서 로컬에다가 띄워서 사용하려고 한다.
2020년 09월 08일에 Glue ETL Job 을 로컬환경에서 테스트할 수 있는 방법이 공개되었고, Docker 로 지원하기 때문에 손쉽게 설치할 수 있었다.

설치

1.
Docker Image 를 내려받는다 ( Docker Hub 를 확인해 최신 이미지를 다운 받는다 )
$ docker pull amazon/aws-glue-libs:glue_libs_1.0.0_image_01
Plain Text
2.
Container 를 실행시킨다
$ docker run -itd \ -e AWS_REGION=ap-northeast-2 \ -e AWS_PROFILE=default \ -p 8080:8080 \ -p 4040:4040 \ -v ~/.aws:/root/.aws:ro \ --name glue_zeppelin \ amazon/aws-glue-libs:glue_libs_1.0.0_image_01 /home/zeppelin/bin/zeppelin.sh
Plain Text
3.
웹페이지에 접속한다.
http://127.0.0.1:8080
Plain Text

참고