티스토리

키홍의 기술 블로그

검색하기

블로그 홈

키홍의 기술 블로그

tech-keyhong.tistory.com/m

keyhong-DE 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[Django] HttpRequest와 HttpResponse HttpRequest 객체 클라이언트로부터의 모든 요청 내용을 담고 있으며 함수 기반 뷰(FBV) : 매 요청 시마다 뷰 함수의 첫번째 인자 request 전달 클래스 기반 뷰(CBV) : 매 요청 시마다 self.request를 통해 접근 Form 처리 관련 속성들 .method : 요청의 종류 "GET" 또는 "POST" 로서 모두 대문자 .GET : GET 인자 목록 (QueryDict 타입) .POST : POST 인자 목록 (QueryDict 타입) .FILES : POST 인자 중에서 파일 목록 (MultiValueDict 타입) MultiValueDict (1) dict을 상속받은 클래스 동일 key의 다수 value를 지원하는 사전 http 요청에서의 하나의 key에 대해서 여러 값을 전달.. 공감수 0 댓글수 0 2023. 12. 29.
[Django] 프로젝트 환경 만들기 (2) setup.cfg 파일 만들기 다양한 파이썬에서 사용되는 도구 파일 (setup-tools, Pytest, Flake8, isotta 등..)에 대해 표준화된 형식으로 구성 설정을 정의하는 방법을 제공한다. ini 파일 형식이며, 주의할 점은 cfg파일이 .toml 파일, .ini 파일 등의 다른 구성 파일과 함께 일반적으로 루트 수준에 위치한다. [flake8] max-line-length = 120 # 최대 라인 길이 # 스타일과 품질을 확인할 때 제외할 파일 exclue = .tox,.git,*/migrations/*,*env*,*venv*,__pycache__,*/staticfiles/*,*mediafiles/*,node_modules [isort] line-length = 88 skip = ve.. 공감수 0 댓글수 0 2023. 12. 25.
[Django] 환경별 패키지 관리 requirements base.txt django 웹 프레임워크 django-environ Django 애플리케이션에 대한 환경변수 구성 가능 djangorestframework Django로 웹 API를 구축하기 위한 툴킷 django-cors-headers Cross-origin-resource sharing course headers(교차 출처 리소스 공유 코스 헤더를 응답에 추가) 이를 통해 다른 출처에서 Django 애플리케이션에 대한 요청을 브라우저 안에서 허용한다. django-filter Django Rest 프레임워크에 대한 필터링 지원 django-autoslug Django 모델에 자동화된 슬러그 필드를 추가하는 패키지 django-countries 모든 최상위 국가 데이터를 포함하.. 공감수 0 댓글수 0 2023. 12. 24.
[SQL] 데이터 모델링 기초 다시 잡기 (2) Key의 정의 하나의 테이블에서 각 레코드를 고유하게 식별할 수 있는 컬럼 또는 컬럼의 조합 1. Key의 조건은 NOT NULL, UNIQUE 이다. 주식별자는 반드시 NOT NULL을 가진다. 보조식별자는 NULL일 수도, NOT NULL일 수도 있다. 주식별자는 하나만 지정 가능하다. NOT NULL과 UNIQUE 조건을 둘 다 만족하는 모든 보조식별자 중 하나이다. 2. 테이블 디자인 시 Key를 정하고 테이블을 만들 때 명시적으로 Key를 선언한다. 3. Key는 Key에 대응하는 인덱스 테이블에 생성된다. 인덱스 테이블은 Key 값에 의해서 정렬되어 있다. 후보 키(Candidate Identifier) 주식별자가 될 가능성이 있는 식별자 모든 식별자는 주 식별자가 될 수 있는 후보이므로, 식.. 공감수 0 댓글수 0 2023. 12. 24.
[SQL] 데이터 모델링 기초 다시 잡기 (1) 관계형 데이터베이스 데이터베이스 구조화된 데이터들의 집합 관계형 데이터베이스 데이터들을 2차원 배열과 같은 테이블에 저장하고 관리 관계 정의 1:M 관계 (부자지간 관계) M:N 관계 (비즈니스 관계) 1:1 관계 (부부 관계) 관계형 데이터베이 특징 1. 고유식별자 테이블은 각 행(레코드)를 식별하기 위해 고유 식별자를 정의할 수 있다. 고유식별자는 NOT NULL, UNIQUE 속성을 갖는다. 고유식별자는 하나 또는 여러 개의 컬럼들로 정의할 수 있다. 2. 참조무결성 테이블에서 외래 키를 선언할 수 있다. 외래 키는 다른 테이블에 정의된 고유 식별자를 참조한다. 외래 키의 값은 다른 테이블에 정의된 고유 식별자의 범위를 넘을 수 없도록 제한된다. ** 정의된 고유 식별자의 범위를 도메인(domain.. 공감수 0 댓글수 0 2023. 12. 24.
[AWS] S3 Browser 사용하기 S3 Browser S3 Browser는 Amazon S3와 Amazon CloudFront를 위한 무료 윈도우 클라이언트이다. 어디에서나 웹 상의 어떤 양의 데이터든 언제든지 저장하고 검색할 수 있는 간단한 웹 서비스 인터페이스를 제공한다. 간단히 말하자면, AWS 웹사이트에 접속 없이 프로그램으로 S3를 사용할 수 있게 해준다. FTP 솔루션인 FileZilla와 느낌이 비슷하다. 콘텐츠 전송 네트워크(CDN, 글로벌 엣지 위치의 네트워크를 사용하여 사용자와 보다 가까운 지역에서 파일을 주고 받는 방식)를 사용하는 amazon CloudFront도 지원한다. ① S3 Browser 설치하기 ① 우선 다운로드를 받아 파일을 설치한다. https://s3browser.com/ S3 Browser - Am.. 공감수 0 댓글수 0 2023. 12. 17.
[AWS] Amazon S3 실습 : Bucket 만들기 Bucket 생성하기 ① Bucket 이름을 작성한다. Bucket 이름은 global에서 유니크한 이름이어야 한다. 또한 네이밍 컨벤션이 있으므로 확인하고 이름을 만든다. ② 퍼블릭 액세스 설정 버켓 Policy나 IAM 이외의 또 다른 보안 설정이다. 처음 버켓 만드는 연습 단계라 변경 없이 통과하였다. ③ Bucket 버전 관리 설정 활성화하면 버켓에 올라간 모든 파일에 대해서 버전 관리를 해주는 기능이다. 역시나 일단은 통과한다. ④ 기본 암호화 설정 버켓에 데이터를 넣을 때 서버 측에서 암호화 할 것인지, KMS를 이용할 것인지, DSSE-KMS(KMS 보다 더 강력한 보안)을 사용할 것인지 설정 할 수 있다. 기본 옵션을 사용하자. ⑤ Bucket 생성 후 데이터 업로드 하기 만든 버켓으로 접.. 공감수 0 댓글수 0 2023. 12. 16.
[Hive] Bucketing & Table Sampling Bucketing 큰 데이터를 더 관리하기 쉬운 작은 데이터 셋들로 분해하는 기술이다. 하나의 컬럼에 버켓팅 하면 만들고자하는 버켓의 개수에 따라 동일한 해쉬 값(컬럼 값에 Hash Function을 적용하여 만들고자 하는 버켓 개수로 나누면 Hash Index를 얻는다.)을 가진 레코드가 각각의 버켓으로 이동한다. ☆ 버켓팅을 단독으로 쓸 수도 있지만, 파티셔닝과 함께 사용하면 최고의 성능을 발휘한다. 하지만 그렇지 않은 경우도 있다. 예를 들어 500개의 레코드에 100개의 고유한 부서가 있을 경우, 파티셔닝을 하면 100개의 파티션이 만들어진다. 이런 경우 파티셔닝을 최적화에 도움이 되지 않는다. ☆ 파티션(디렉터리)과 달리 버켓은 실제 물리적인 파일이다. ☆ 데이터 셋에 따라 버켓 수를 명시적으로.. 공감수 0 댓글수 0 2023. 12. 14.
[Hive] 데이터베이스, 테이블 기본 명령어 데이터베이스 Hive는 실제 데이터베이스가 아니다. 실제 데이터는 HDFS에 저장되지만, 저장되는 데이터에 대한 메타 데이터를 관리하는 메타 스토어이다. 데이터베이스 생성 -- IF NOT EXISTS를 사용할 것을 권장한다. CREATE DATABASE IF NOT EXISTS d1; 데이터베이스 정보 보기 DESCRIBE DATABASE d1; 데이터베이스 COMMENT 달기 CREATE DATABASE IF NOT EXISTS d2 COMMENT 'this is a database'; DESCRIBE DATABASE EXTENDED d2; 데이터베이스 생성시 DBPROPERTIES 속성 넣기 (생성한 사람, 생성 일자) CREATE DATABASE IF NOT EXISTS d3 WITH DBPROP.. 공감수 0 댓글수 0 2023. 12. 12.
[Hive] Table Migration 하기 Hive Table Migration 1. 파티션 확인 show PARTITIONS ; 2. External에서만 drop 하기 (메타 데이터 drop) ALTER TABLE DROP IF EXISTS PARTITION ( = ); ☆ 주의점 !! : 만약 EXTERNAL='FALSE' 설정시 테이블을 drop하면 실제 물리적 파일도 같이 삭제된다. 따라서 Internal에서 drop 하기 전에는 반드시 메타데이터와 실제 물리적 데이터의 연결을 해제해줘야 한다. ALTER TABLE SET TBLPROPERTIES('EXTERNAL' = 'TRUE'); 3. 테이블 이름 변경 ALTER TABLE RENAME TO ; 4. 기존 폴더에 있던 파일들을 새로 옮기려는 테이블의 경로로 물리적 파일을 Move .. 공감수 0 댓글수 0 2023. 11. 26.
[Hive] Beeline 쿼리 실행 쿼리 실행 명령행(CLI)에 쿼리를 직접 입력하여 실행 # -e : Query that should be executed. Double or single quotes enclose the query string. This option can be specified multiple times. beeline -e # single quotes beeline -e 'SELECT * FROM SOSS.DM_SAFE_IDEX_GRID' # dobule quotes beeline -e "SELECT * FROM SOSS.DM_SAFE_IDEX_GRID" 스크립트 파일로 실행 (비대화식 모드) # -f : Script file that should be executed. beeline -f # file SELECT .. 공감수 1 댓글수 0 2023. 11. 26.
[Django] Model에 Field 추가시 주의사항 Model에 Field를 추가하는 상황 기존 모델에 필드를 추가해야 하는 경우각 있다. 기존 데이터베이스에 데이터가 없다면 상관 없겠지만 이미 데이터가 있다면 필드를 추가하는 데 있어 여러 고민이 생긴다. 나는 앞서 title, rating 두 컬럼만 가진 Book 객체에 2개의 데이터를 넣었다. 그리고 author, is_bestselling 객체를 추가하여 migration 파일을 다시 재정의 하려고 한다. 그러자 나는 아래와 같은 응답을 받았다. 간단히 요약하자면 새로운 컬럼에 대한 default 값이 정의되어 있지 않아 기존 데이터(existing rows)에 어떤 값을 넣어야 할지 모르겠다는 것이다. 그리고 옵션을 Select 하라고 한다. 기존에 존재하는 모든 데이터들에 신규 컬럼에 대해 nu.. 공감수 0 댓글수 0 2023. 11. 19.
[Django] Validator로 유효성 검사하기 Validators django.core 모듈에서 제공하는 유효성 검사기이다. API를 만들다보면 Request 값에 대한 유효성 검사를 하거나, 데이터베이스에 데이터를 에러 없이 적재하기 위해 값의 타입 또는 값의 범위를 검사해야 하는 경우는 거의 필수적이다. 최근 typescript를 이용하는 NestJS의 validator를 사용해봤는 데, 개인적으로는 파이썬의 validator가 훨씬 더 깔끔하고 간결하다는 생각이 들었다. (그 이유는 NestJS가 제공하는 Validator는 데코레이터를 이용하는 데, 유효성 검사의 기준이 늘어날 수록 데코레이터 줄의 개수가 늘어나기 때문이다. 반면 파이썬은 model.Field의 parameter의 리스트로 넣기 때문에 깔끔하다.) 유효성 검사기는 장고에서 제.. 공감수 0 댓글수 0 2023. 11. 18.
[Django] Django Model 만들기 장고 프로젝트 만들기 # 장고 프로젝트 생성 django-admin startproject # 장고 앱(프로젝트 하위 단위) 생성 python manage.py startapp book_store 모델 데이터베이스 만들기 우선 가볍게 쓰기 좋은 slqite를 이용하기 위해 최상단 레이어에 db.sqlite3 파일을 수동으로 만들어준다. 모듈 작성하기 models.py 정의하기 위에서 app(book_store)을 만들었다면 book_store 디렉터리 안에는 models.py가 있다. 데이터베이스와 연결되어 데이터를 주고 받을 때 데이터 타입에 대한 정의를 미리 약속하는 부분의 모듈이다. from django.db import models # Create your models here. // models.. 공감수 0 댓글수 0 2023. 11. 18.
[Flink] Flink 도커로 설치하고 Job 제출하기 Flink v1.18.0 Download 아카이브 파일 수동 설치 Flink 1.18.0 버전은 Java 11 버전, Scala 2.12 버전과 호환된다. 공식적인 파일을 다운받고 싶다며 https://www.apache.org/dyn/closer.lua/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz/ 사이트로 가서 HTTP 부분의 링크를 눌러 다운 받거나 Linux/Mac OS에서는 wget을 사용하여 설치 할 수 있다. wget https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz 플링크를 시작하려면 bin 폴더에 있는 start-cluster.sh를 시작해줘야 한다. bin.. 공감수 1 댓글수 2 2023. 11. 18.
[Kubernetes] YAML 파일로 컨테이너 배포하기 YAML 기반 구성 파일 쿠버네티스는 YAML 파일을 pod, 복제본, 배포, 서비스 등의 개체 생성을 위한 입력으로 사용한다. YAML 기반 구성 파일 작성하기 쿠버네티스 정의 파일은 항상 4개의 상위 레벨(root 레벨) 필드(속성)를 필수적으로 포함한다. apiVersion: v1 kind: Pod metadata: name: myapp-pod labels: app: myapp type: front-end spec: containers: - name: nginx-container image: nginx apiVersion 개체를 생성할 때 사용하는 쿠버네티스 API 버전. 만들려는 게 무엇이냐에 따라 올바른 API 버전을 사용해야 한다. Kind Version POD v1 Service v1 Rep.. 공감수 0 댓글수 0 2023. 11. 12.
[Airflow] docker Compose로 Celery Executor 시작하기 필요 서비스 redis Worker Node가 실행할 작업을 인메모리로 가져오는 Dictionary(key-value) 구조의 DBMS 비밀번호를 redispass로 설정 postgres Airflow의 메타데이터 DMBS 데이터를 유지하고 싶다면 volumn과 관련된 코드를 environment를 추가해주어야 함 PGDATA : container 내부에서 데이터를 저장하는 디렉터리 ./mnt/postgres : 현재 폴더(.)의 mnt/postgres 디렉토리와 PGDATA를 바인드 마운트하여 로컬 파일시스템에 저장 될 수 있도록 저장 - PGDATA=/var/lib/postgresql/data/pgdata - ./mnt/postgres:/var/lib/postgresql/data/pgdata webs.. 공감수 0 댓글수 0 2023. 11. 11.
[Kubernetes] Minikube로 Kubernetes 환경 구축하기 kubectl 다운로드 https://kubernetes.io/docs/tasks/tools/install-kubectl-windows/ 1. curl 명령어로 exe (window 기준) 파일 다운로드 curl.exe -LO "https://dl.k8s.io/release/v1.28.3/bin/windows/amd64/kubectl.exe" 2. 설치된 후 명령어로 버전확인 kubectl version --client 3. 사용자 홈 디렉터리에서 .kube 폴더 생성 4. 확장자 없는 config 파일 생성 (나중에 연결 할 클러스터에게 kubectl 명령을 내림. 자동으로 fill 되는 파일) minikube 다운로드 1. 홈페이지에서 미니큐브 다운로드 https://minikube.sigs.k8s... 공감수 0 댓글수 0 2023. 11. 8.
[Kubernetes] Core Components Cluster Worker Node에서 구동되는 컨테이너화(Containerized)된 애플리케이션이나 다른 Node를 관리하는 Master Node와 같은 Machine들의 집합체 Node 하나 또는 여러 개의 Pod를 운영하고 다른 클러스터 머신들과 communication 할 수 있도록 특정 하드웨어의 capacity를 소유 할 수 있는 물리적/가상 머신 Master Node 클러스터의 Control Plane. 다른 워커 노드들의 Pod를 관리함 Worker Node 리소스를 가지고 Pod를 소유하여 컨테이너 앱을 구동함 Pod 실제로 구동되는 컨테이너를 지님. volume과 같은 리소스를 필요로 함 Container 일반적인 도커 컨테이너 Services 논리적인 Pod의 집합체. 유일하고 컨테.. 공감수 0 댓글수 0 2023. 11. 8.
[Git] 다른 버전시스템과 비교한 Git 장점 Snapshot 깃과 다른 버전 관리 시스템의 큰 차이는 깃은 데이터를 생각 할 수 있다는 것이다. 다른 시스템(델타 기반 버전 관리)들은 일부 파일의 변경사항을 전체 파일 묶음으로 저장하여 이력을 관리하지만, 깃은 변경되지 않은 파일은 새롭게 저장하지 않고 이미 저장되어 있는 이전 snapshot의 파일로부터 링크를 만든다. 즉, 변경되지 않은 파일은 새로 업로드 하는 것이 아니라 이전에 업로드한 파일의 링크를 연결시킴으로써, 재사용하여 저장공간을 절약한다. Distributed Version Control System 다른 버전 관리 시스템은 원격 레포지터리(remote repository)에 모든 이력이 저장이 된다. 이에 프로젝트 참여 구성원들은 원격 레포지터리에서 최신 버전을 다운받은 파일들로만.. 공감수 0 댓글수 0 2023. 9. 25.
[Postgresql] docker로 postgres 설치하기 Postgresql을 docker로 올리는 방법, 설정, 주의 사항을 정리하고자 한다. dockerhub에서 postgres 이미지를 다운받고, 실행하는 것은 쉽다. DockerHub에서 이미지 가져오기 도커 허브에서 제공하는 postgresl 이미지이다. 현재 일자(2023.08.20) 기준으로 postgres 16 버전까지 사용할 수 있고, docker 이미지를 가져올 때 pull을 하지 않으면 latest인 15 버전을 다운 받는다. postgres 이미지는 다음 링크에서 확인 할 수 있다. https://hub.docker.com/_/postgres 이미지를 다운받기 위해 docker 환경이 구축된 CLI에서 아래 명령어를 쳐준다. docker pull postgres 그리고 docker ps 명.. 공감수 0 댓글수 0 2023. 8. 20.
[Git] branch 명령어 정리 branch 생성 / 변경 / 삭제 branch 생성 git branch branch 변경 git switch branch 생성과 변경 한번에 하기 # 과거에 사용하던 커맨드 git branch checkout -b # 최근에 사용하는 커맨드 git switch -c branch 삭제 # branch 삭제 git branch -d # branch 강제 삭제 git branch -D 공감수 0 댓글수 0 2023. 8. 15.
[Spark] Local Mode Executor에 대한 고찰 spark를 local mode로 테스트해보면서 잠깐 혼돈되는 지식이 있어 정리하고자 한다. 우선 내 스파크 세션의 설정은 다음과 같다. 처음에 master에 "local[*]" 로 설정했다가, 이후 web ui를 보았다. 이상한 점을 발견하게 되었다. 분명 스파크 세션을 만들 때, master로 "local[*]" 을 줬고, 내 컴퓨터의 cpu 개수는 아래와 같이 16 코어이다. 그런데 왜 Executor Reqs의 cores가 1로 나오는 지 궁금했다. local[*]은 분명 로컬 컴퓨터의 모든 CPU 자원을 이용하는 것으로 들었는 데, 이것만으로 실제 executor에서 모든 자원을 사용하지 않는 걸까? 또한 excutor와 task에 대한 개념을 조금 더 세밀하게 알아야 더 최적화를 시킬 수 있겠.. 공감수 0 댓글수 0 2023. 7. 17.
[Data Analysis] 퍼널분석 (Funnel Analysis) 분석 공부를 시작하기 앞서, 내가 생각하는 분석 데이터 애널리스트를 이해하기 위해 오랜만에 분석 쪽 공부를 잡았다. 학부 시절에는 경영학을 전공해서 데이터를 기반한 기획과 마케팅의 꿈이 있었는 데, 어쩌다 플랫폼 엔지니어링에 빠져서 다른 일을 하고 있다. 데이터 애널리스트에 대해 조심히 말해보자면, 나에게는 비즈니스에 기반한 분석을 하는 사람들로 조금 더 이미지가 굳혀져 있다. 알다시피 통계나 엔지니어링을 잘하는 것도 중요하지만, 실제 그런 업무는 비즈니스적으로 benefit을 줄 수 있는 목적이 기반이 되어야 한다. 예를 들어 통계적으로 유의미한 결과를 도출하더라도 비즈니스적으로 활용할 수 없다면 그냥 학문으로써의 통계이지 기업에 도움이 되는 인사이트를 제공하지 못할 수도 있다. 경영에서는 항상 고객과.. 공감수 0 댓글수 0 2023. 7. 8.
[Spark] 분산 파일 시스템에서의 데이터 지역성 다양한 환경에서 실행가능한 스파크 스파크는 다양한 저장소에 붙여서 분산 처리가 가능한 프레임 워크이다. 하지만, Spark는 처음 개발된 환경은 Hadoop에서 사용하는 HDFS라는 분산 파일 시스템이며 해당 환경에서 In-Memory 기반으로 최적의 분산 처리를 수행하는 데 최적화가 되어있다. 때문에 오늘은 Spark를 분산 파일시스템에서 운영 할 때의 이점을 소개하고자 한다. 결론부터 말하자면 분산 파일시스템에서 Spark를 이용하면 데이터 지역성의 이점을 누릴 수 있다. 대표적인 분산 파일 시스템인 Hadoop에서의 데이터 지역성을 이해하기 전에 최적화에 대한 나의 기본 관점을 공유하고자 한다. 최적화의 기본 프로그램을 최적화 시킬 때, 두 가지 I/O를 줄이는 것이 정말 중요하다고 생각한다. 첫 .. 공감수 1 댓글수 0 2023. 7. 5.
[Airflow] Local Executor Local Executor를 먼저 학습하는 이유 Sequential Executor는 병렬처리가 불가능하고 Celery Executor나 Kubernetes Executor는 여러 대의 서버가 필요하다. 프로덕션 환경에서는 확장성이 매우 중요한 요소이고, 당연히 멀티 노드 아키텍처에서 분산 실행 될 수 있는 Executor를 사용하는 것이 맞다. 다만, 기본이 되는 Local Executor를 통해 개념을 이해하고 단일 머신에서 간단하게 학습할 수 있다. 다중 프로세스를 병렬처리 Local Executor는 단일 서버에서 여러 프로세스를 돌릴 수 있다. airflow의 기반이 되는 언어는 Python으로, 내장 병렬처리 모듈인 multiprocessing을 활용한다. 여러 task를 동시 실행 할 수 있.. 공감수 0 댓글수 0 2023. 7. 2.
[Airflow] PostgresOperator PostgresOperator 시작 환경 airflow에서 PostgresOperator를 사용하여 postgresql에 일정 주기로 쿼리를 수행하도록 스케줄링을 걸어 보았다. 이 글은 그 과정을 정리하였고, 그 과정을 풀어내고자 한다. 먼저 내 머신의 로컬 폴더 구조는 다음과 같다. 에어플로우를 한다면 처음에 $AIRFLOW_HOME 환경변수를 정의하고 그 안에 dags 폴더를 만들게 되는 데, 내 dags 폴더 안에는 총 4개의 dag 모듈이 있고 sql이라는 스크립트를 모아둔 폴더를 만들었다. PostgresOpeator 연동하기 PostgresOperator를 사용하려면 먼저 postgresSQL DBMS와 airlfow provider가 깔려 있어야 한다. postgresSQL 설치는 이 글에서.. 공감수 1 댓글수 0 2023. 7. 1.
[Hive] Architecture Major components UI 사용자가 쿼리 및 기타 작업을 시스템에 제출하기 위한 사용자 인터페이스 Hive Web UI, 커맨드라인 (HD Insight는 Window Server만 해당) Driver 쿼리를 수신하는 구성 요소. 세션을 핸들링하고 JDBC/ODBC 인터페이스에서 형성된 execute 및 fetch API를 제공 Compiler 쿼리 구문, 쿼리 블록, 쿼리 식에 대한 의미 분석 수행. 메타스토어에서 조회한 테이블 및 파티션 메타데이터의 도움으로 실행 계획을 생성 Metastore 컬럼명 및 타입, 데이터를 읽고 쓰는 데 필요한 직렬화/역직렬화 변환기, 데이터가 저장되는 해당 HDFS 파일을 포함하여 웨어하우스에 있는 다양한 테이블 및 파티션의 모든 구조 정보를 저장 하이브에서 .. 공감수 0 댓글수 0 2023. 7. 1.
[Hive] 기본 개념 정리 Hive 페이스북에서 개발한 Hadoop 기반의 데이터 웨어하우징 프레임워크 자바 프로그래밍은 부족하지만 강력한 SQL 기술을 가진 분석가를 위해 개발 복잡한 머신러닝 알고리즘을 구현하기에는 적합하지 않음 MySQL에 사용하는 것처럼 HDFS 클러스터 전체에 걸쳐 저장된 데이터에 표준 SQL 쿼리를 실행 SQL을 MapReduce나 TEZ 명령어로 번역하여 동작. 이 둘은 YARN 클러스터 관리자 위에서 실행 Hive는 SQL 쿼리를 매퍼와 맵리듀스로 분해. 클러스터 전체에 걸쳐 어떻게 실행할지 알아냄 사용자 관점에서는 데이터 웨어하우스를 사용하는 것처럼 SQL 데이터베이스에 쿼리하는 것과 동일 이미 SQL에 익숙하고 데이터베이스나 데이터 웨어하우스에 경험이 있다면 아주 강력한 도구 Why Hive? H.. 공감수 0 댓글수 0 2023. 7. 1.
[Linux] 크론탭 설정 현재 설정된 크론탭 보기 crontab -l 크론탭 작성하기 crontab -e 공감수 0 댓글수 0 2023. 6. 26.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.