본문으로 건너뛰기

AWS Glue 로컬에서 실행

서동명
1분 분량

AWS Glue 로컬에서 실행​

AWS Glue 를 테스트해보는데 AWS Console 에서 하기에는 비용이 발생하고, 화면이 좀 불편해서 로컬에다가 띄워서 사용하려고 한다.

2020년 09월 08일에 Glue ETL Job 을 로컬환경에서 테스트할 수 있는 방법이 공개되었고, Docker 로 지원하기 때문에 손쉽게 설치할 수 있었다.

설치​

  1. Docker Image 를 내려받는다 ( Docker Hub 를 확인해 최신 이미지를 다운 받는다 )

    $ docker pull amazon/aws-glue-libs:glue_libs_1.0.0_image_01

  2. Container 를 실행시킨다

    $ docker run -itd \
    	-e AWS_REGION=ap-northeast-2 \
    	-e AWS_PROFILE=default \
    	-p 8080:8080 \
    	-p 4040:4040 \
    	-v ~/.aws:/root/.aws:ro \
    	--name glue_zeppelin \
    	amazon/aws-glue-libs:glue_libs_1.0.0_image_01 /home/zeppelin/bin/zeppelin.sh

  3. 웹페이지에 접속한다.

    http://127.0.0.1:8080

참고​