docker에서 spark 설치 및 jupyter notebook 환경설정

 

1. 도커를 설치한다.

2. 다음과 같은 명령어를 통해 jupyternotebook 기반의 spark를 도커에 설치해준다.

docker run -it -p 8888:8888 jupyter/all-spark-notebook

3. 설치 후 터미널에 출력되어 있는 jupyternotebook 주소를 통해 접속한다.

4. jupyternotebook의 터미널에 접속한다.

5. 다음과 같은 명령어를 통해 spark 환경설정을 해준다.

pip3 install spylon-kernel
python3 -m spylon_kernel install -—user
pip3 install pyspark findspark

6. jupyternotebook을 새로고침 해준다.

새로고침하면 spylon-kernel 버튼이 생성 돼 있는 것을 확인 할 수 있다. 

7. 간단한 scalar 함수를 실행시켜 확인해본다.