전체 글35 [Docker] Docker-Compose 작성하기 docker compose가 없으면 네트워크 통신을 하는 다중 컨테이너를 실행하기 위해 실행해야 할 과정이 복잡해진다. 매번 도커 이미지를 빌드(build)하고, 컨테이너를 실행(run)하면서 옵션을 넣어주어야 하며 따라서 CLI 명령어도 길어진다. 다음은 docker-compose 없이 Web Frontend - Backend - DB 를 구축하는 커맨드를 나열한 예시이다. # 컨테이너가 공유할 네트워크 생성 docker network create my_network # 1. Run MongoDB Container docker run --name mongodb \ -e MONGO_INITDB_ROOT_USERNAME=max \ -e MONGO_INITDB_ROOT_PASSWORD=secret \ -v .. 2023. 6. 24. [PySpark] Dataset PySpark에서 Dataset을 지원하지 않는 이유 우선, PySpark에서는 DataSet 자료형을 지원하지 않는다. Java나 Scala에서만 지원을 한다. 그 이유느 DataSet은 런타임이 아닌 컴파일 타임에 타입을 체킹하기 때문이다. 파이썬이라는 언어는 변수를 정의할 때 타입을 정의하지 않는다. 값을 할당하면서 타입이 정해진다. 그 예시로 아래 코드를 보자. a = 10 a = "만들어진 변수 a에 문자열 값을 새로 할당합니다" 이 코드가 문제가 생기지 않는 것은 파이썬 런타임에 값을 할당하면서 변수의 타입을 새롭게 쓸 수 있기 때문이다. 프로그래밍의 자유도가 높지만 반대로 자바나 스칼라처럼 컴파일 타임에 데이터 타입을 체킹하기 어려운 점이 있다. 파이스파크에서 Dataset을 지원하지 못하는.. 2023. 6. 24. [Jenkins] AWS EC2에서 설치하기 https://www.jenkins.io/doc/tutorials/tutorial-for-installing-jenkins-on-AWS/ Jenkins on AWS Jenkins – an open source automation server which enables developers around the world to reliably build, test, and deploy their software www.jenkins.io AWS EC2에서 젠킨스를 설치하는 과정을 정리하였다. 기본 환경 구성 Jenkins는 jvm 위에서 구동되는 프로그램이다. 따라서 java를 설치해주어야 한다. 다음 커맨드는 설치하는 과정에서 패키지 관리자인 yum을 업데이트 해주고 java-11-openjdk를 설치하는 과.. 2023. 6. 22. 이전 1 ··· 6 7 8 9 다음
