목록spark jupyter (1)

최말짱 블로그

docker에서 spark 설치 및 jupyter notebook 환경설정

1. 도커를 설치한다. 2. 다음과 같은 명령어를 통해 jupyternotebook 기반의 spark를 도커에 설치해준다. docker run -it -p 8888:8888 jupyter/all-spark-notebook 3. 설치 후 터미널에 출력되어 있는 jupyternotebook 주소를 통해 접속한다. 4. jupyternotebook의 터미널에 접속한다. 5. 다음과 같은 명령어를 통해 spark 환경설정을 해준다. pip3 install spylon-kernel python3 -m spylon_kernel install -—user pip3 install pyspark findspark 6. jupyternotebook을 새로고침 해준다. 새로고침하면 spylon-kernel 버튼이 생성 돼 ..
카테고리 없음 2023. 3. 28. 02:42
이전 Prev 1 Next 다음