Data Engineering/Hive6 [Hive] Architecture Major components UI 사용자가 쿼리 및 기타 작업을 시스템에 제출하기 위한 사용자 인터페이스 Hive Web UI, 커맨드라인 (HD Insight는 Window Server만 해당) Driver 쿼리를 수신하는 구성 요소. 세션을 핸들링하고 JDBC/ODBC 인터페이스에서 형성된 execute 및 fetch API를 제공 Compiler 쿼리 구문, 쿼리 블록, 쿼리 식에 대한 의미 분석 수행. 메타스토어에서 조회한 테이블 및 파티션 메타데이터의 도움으로 실행 계획을 생성 Metastore 컬럼명 및 타입, 데이터를 읽고 쓰는 데 필요한 직렬화/역직렬화 변환기, 데이터가 저장되는 해당 HDFS 파일을 포함하여 웨어하우스에 있는 다양한 테이블 및 파티션의 모든 구조 정보를 저장 하이브에서 .. 2023. 7. 1. [Hive] 기본 개념 정리 Hive 페이스북에서 개발한 Hadoop 기반의 데이터 웨어하우징 프레임워크 자바 프로그래밍은 부족하지만 강력한 SQL 기술을 가진 분석가를 위해 개발 복잡한 머신러닝 알고리즘을 구현하기에는 적합하지 않음 MySQL에 사용하는 것처럼 HDFS 클러스터 전체에 걸쳐 저장된 데이터에 표준 SQL 쿼리를 실행 SQL을 MapReduce나 TEZ 명령어로 번역하여 동작. 이 둘은 YARN 클러스터 관리자 위에서 실행 Hive는 SQL 쿼리를 매퍼와 맵리듀스로 분해. 클러스터 전체에 걸쳐 어떻게 실행할지 알아냄 사용자 관점에서는 데이터 웨어하우스를 사용하는 것처럼 SQL 데이터베이스에 쿼리하는 것과 동일 이미 SQL에 익숙하고 데이터베이스나 데이터 웨어하우스에 경험이 있다면 아주 강력한 도구 Why Hive? H.. 2023. 7. 1. 이전 1 2 다음
