의 요약문서다. 개인 학습을 목적으로 요약했다. 전 세계 기업의 데이터엔지니어, 분석가, 개발자들은 DW를 이용해서 데이터를 분석해서 의사결정을 위한 정보들을 만들고 있다. 기존의 DW는 성능개선과 비용 효율성을 위해서 클라우드로 마이그레이션하고 있다. 이 문서는 AWS에서 사용 할 수 있는 DW 서비스를 소개하며, 일반적인 설계 패턴을 제시함으로써 ...
데이터 마트(Data mart)는 데이터 웨어하우스(Data warehouse)의 하위 시스템이다. 데이터웨어 하우스가 전체 조직을 대상으로 한다면, 데이터 마트는 특정 비지니스나 특정 팀을 대상으로 한다. 각 목적에 맞게 데이터베이스 시스템을 구성할 수 있는데, 이를 통해서 데이터의 사용과 조작과 개발을 팀 단위로 분리 할 수 있다. 목적에 맞게 데이터베...
OLAP(Online analytical processing)은 의사결정 지원 시스템의 대표적인 예로, 사용자가 동일한 데이터를 여러 기준을 이용해서 다양한 방식으로 바라보면서 다차원 데이터 분석을 할 수 있도록 도와준다. OLAP는 광범위한 BI(business intelligence)의 한 부분으로 관계형 데이터베이스, 리포팅 시스템과 데이터 마이닝도...
OLTP(Online Transaction Processing)는 트랜잭션 지향의 애플리케이션을 손쉽게 관리할 수 있도록 도와주는 정보시스템의 한 계열로 트랜잭션을 처리하기 위해서 존재한다. 트랜잭션(Transaction)은 두 개의 다른 의미를 가진다. 1. 컴퓨터 또는 데이터베이스 영역에서 상태의 원자적 변화 1. 비지니스 혹은 금융영역에서의 경제교환 ...
mysqldump 클라이언트 유틸리티는 논리 백업(logical backup)을 수행한다. 원본 데이터베이스와 테이블을 재생할 수 있는 실행 가능한 SQL 문 세트를 생성한다. 백업 혹은 다른 SQL 서버로 전송하기 위해서 주로 사용한다. mysqldump는 SQL 문 외에도 CSV, XML, 기타 구분자를 가진 텍스트 형태로 출력 할 수 있다.# mysq...
리눅스에서 mysql client는 기본 설치 패키지가 아니다. 특히 웹 애플리케이션 개발목적으로 리눅스를 사용한다면, mysql client를 반드시 설치해야 한다. mysql client 패키지에 포함된 프로그램은 아래와 같다. mysql mysql_config_editor mysqladmin mysqldump mysqldumpslow mysqlim...
사용가능한 버전 시간복잡도 특정 키에 멤버를 추가 할 수 있다. 멤버를 추가 할 때는 스코어(score)를 설정 할 수 있다. 멤버는 스코어를 기준으로 정렬되서 저장된다. 이미 존재하는 멤버라면 멤버의 스코어가 업데이트되며, 재 정렬된다. 스코어&멤버 쌍으로 저장이 되며, 하나 이상을 설정 할 수 있다.key 가 없다면, 새로운 key가 만들어지고 첫 ...
는 컴퓨팅 노드와 스토리지를 분리하는 것으로 확장성과 성능, 유연성을 확보했다. 그래도 여전히 컴퓨팅을 담당하는 EC2 인스턴스는 필요했다. AWS는 2018년 서버노드가 전혀 필요 없는 말 그대로의 서버리스(Serverless) Aurora 서비스를 출시했다. Aurora 서버리스는 온디맨드 방식으로 제공되며, 자동으로 크기가 조정되는 서버리스 Auror...
MySQL은 호스트, 계정 단위로 데이터베이스에 대한 접근권한을 설정 할 수 있다. 권한 설정은 GRANT를 이용한다.GRANT ALL ON db1. To yundream@172.17.0.1 IDENTIFIED BY password GRANT ALL db1. 유저@호스트 IDENTIFIED BY password GRANT SELECT, INSERT,...
데이터베이스는 여러 개의 테이블로 구성되기 마련이다. 이들 테이블은 특정 키(혹은 필드)를 매개로 서로 연결이 되는데, 이 키를 외래키(foreign key)라고 한다. RDBMS(Relational database management system)에서 명시적으로 테이블을 연결(relation)해주는 장치다. 아래는 joinc 사이트의 유저 관리 테이블이다...
83 POSTS HERE
Enterprise data warehousing on aws
의 요약문서다. 개인 학습을 목적으로 요약했다. 전 세계 기업의 데이터엔지니어, 분석가, 개발자들은 DW를 이용해서 데이터를 분석해서 의사결정을 위한 정보들을 만들고 있다. 기존의 DW는 성능개선과 비용 효율성을 위해서 클라우드로 마이그레이션하고 있다. 이 문서는 AWS에서 사용 할 수 있는 DW 서비스를 소개하며, 일반적인 설계 패턴을 제시함으로써 ...
Data mart
데이터 마트(Data mart)는 데이터 웨어하우스(Data warehouse)의 하위 시스템이다. 데이터웨어 하우스가 전체 조직을 대상으로 한다면, 데이터 마트는 특정 비지니스나 특정 팀을 대상으로 한다. 각 목적에 맞게 데이터베이스 시스템을 구성할 수 있는데, 이를 통해서 데이터의 사용과 조작과 개발을 팀 단위로 분리 할 수 있다. 목적에 맞게 데이터베...
OLAP - Online Analytical Processing
OLAP(Online analytical processing)은 의사결정 지원 시스템의 대표적인 예로, 사용자가 동일한 데이터를 여러 기준을 이용해서 다양한 방식으로 바라보면서 다차원 데이터 분석을 할 수 있도록 도와준다. OLAP는 광범위한 BI(business intelligence)의 한 부분으로 관계형 데이터베이스, 리포팅 시스템과 데이터 마이닝도...
OLTP - Online Transaction Processing
OLTP(Online Transaction Processing)는 트랜잭션 지향의 애플리케이션을 손쉽게 관리할 수 있도록 도와주는 정보시스템의 한 계열로 트랜잭션을 처리하기 위해서 존재한다. 트랜잭션(Transaction)은 두 개의 다른 의미를 가진다. 1. 컴퓨터 또는 데이터베이스 영역에서 상태의 원자적 변화 1. 비지니스 혹은 금융영역에서의 경제교환 ...
mysqldump - mysql 논리백업
mysqldump 클라이언트 유틸리티는 논리 백업(logical backup)을 수행한다. 원본 데이터베이스와 테이블을 재생할 수 있는 실행 가능한 SQL 문 세트를 생성한다. 백업 혹은 다른 SQL 서버로 전송하기 위해서 주로 사용한다. mysqldump는 SQL 문 외에도 CSV, XML, 기타 구분자를 가진 텍스트 형태로 출력 할 수 있다.# mysq...
Mysql 클라이언트 인스톨
리눅스에서 mysql client는 기본 설치 패키지가 아니다. 특히 웹 애플리케이션 개발목적으로 리눅스를 사용한다면, mysql client를 반드시 설치해야 한다. mysql client 패키지에 포함된 프로그램은 아래와 같다. mysql mysql_config_editor mysqladmin mysqldump mysqldumpslow mysqlim...
ZADD - Redis
사용가능한 버전 시간복잡도 특정 키에 멤버를 추가 할 수 있다. 멤버를 추가 할 때는 스코어(score)를 설정 할 수 있다. 멤버는 스코어를 기준으로 정렬되서 저장된다. 이미 존재하는 멤버라면 멤버의 스코어가 업데이트되며, 재 정렬된다. 스코어&멤버 쌍으로 저장이 되며, 하나 이상을 설정 할 수 있다.key 가 없다면, 새로운 key가 만들어지고 첫 ...
Serverless Aurora
는 컴퓨팅 노드와 스토리지를 분리하는 것으로 확장성과 성능, 유연성을 확보했다. 그래도 여전히 컴퓨팅을 담당하는 EC2 인스턴스는 필요했다. AWS는 2018년 서버노드가 전혀 필요 없는 말 그대로의 서버리스(Serverless) Aurora 서비스를 출시했다. Aurora 서버리스는 온디맨드 방식으로 제공되며, 자동으로 크기가 조정되는 서버리스 Auror...
MySQL 접근권한 설정
MySQL은 호스트, 계정 단위로 데이터베이스에 대한 접근권한을 설정 할 수 있다. 권한 설정은 GRANT를 이용한다.GRANT ALL ON db1. To yundream@172.17.0.1 IDENTIFIED BY password GRANT ALL db1. 유저@호스트 IDENTIFIED BY password GRANT SELECT, INSERT,...
Mysql 외래키
데이터베이스는 여러 개의 테이블로 구성되기 마련이다. 이들 테이블은 특정 키(혹은 필드)를 매개로 서로 연결이 되는데, 이 키를 외래키(foreign key)라고 한다. RDBMS(Relational database management system)에서 명시적으로 테이블을 연결(relation)해주는 장치다. 아래는 joinc 사이트의 유저 관리 테이블이다...