Enterprise data warehousing on aws 

의 요약문서다. 개인 학습을 목적으로 요약했다. 전 세계 기업의 데이터엔지니어, 분석가, 개발자들은 DW를 이용해서 데이터를 분석해서 의사결정을 위한 정보들을 만들고 있다. 기존의 DW는 성능개선과 비용 효율성을 위해서 클라우드로 마이그레이션하고 있다. 이 문서는 AWS에서 사용 할 수 있는 DW 서비스를 소개하며, 일반적인 설계 패턴을 제시함으로써 ...

Elastic Load Balancing - User Guide 

이 문서는 AWS ELB 의 소개 문서다. 활용 정보는 담고 있지 않다.Elastic Load balancing는 여러개의 가용영역(Availability)에 존재하는 아마존 EC2 인스턴스, 컨테이너와 IP 주소와 같은 목적지로 네트워크 트래픽을 분산해서 전달하는 일을 한다. Elastic Load balancing는 애플리케이션으로 향하는 트래픽을 골고...

Grafana, InfuxDB, Telegraf를 이용한 모니터링 시스템 구성 

원래는 Prometheus를 기반으로 모니터링 시스템을 구성할 계획이었으나 여러 이유로 influxDB를 기반으로 하는 모니터링 시스템을 구성하게 됐다. 구성 과정을 기록으로 남긴다. 운영 중인 www.joinc.co.kr를 모니터링 한다. www.joinc.co.kr 서버는 에 위치하고 있으므로 이론상 CloudWatch 만으로 모니터링 시스템 구성이 가...

DataWareHouse 

Data warehouse(DW 혹은 DWH)는 enterprise data warehouse(EDW)라고 부르기도 한다. DW는 데에터 분석과 레포팅에 사용하는 시스템으로 Business intelligence(BI)핵심 구성요소다. DW는 하나 이상의 개별 데이터소스를 통합하는 중앙 저장소로 기능한다. 기업의 과거와 현재, 상품, 서비스, 임직원의 업무...

Consul Multi node 설치 

에 대해서 간단히 살펴봤으니, 클러스터를 구성해보려 한다. KVM을 이용해서 3개의 consul 노드를 실행한다. 로 쉽게 설치할 수 있겠지만 노가다를 뛰는 것도 도움이 될 것 같아서. 노드는 우분투 리눅스 서버 18.10을 설치한다. 호스트 운영체제에서 Go 예제 애플리케이션을 만들어서 실행한다.노드 이름은 consul01, consul02, consu...

docker image export 및 import 

도커 이미지를 다른 도커레지스트리 옮겨야 하할 수 있다. 이 때 사용 할 수 있는 도커 명령들은 아래와 같다. docker exprt docker import docker save docker load 이들 명령을 이용해서 도커 이미지를 저장/복구 하거나 다른 레지스트리로 옮겨보자. 그리고 export & import 와 save & load의 차이점도 ...

SLA - 서비스 수준 협약 

SLA(Service-Level agrement)는 서비스 제공자와 고객사이에 이루어지는 계약을 담고 있는 문서로, 제공자가 충족해야 하는 서비스 수준을 정의하고 있다.서비스 제공자는 고객에게 적절한 수준의 서비스 품질을 제공해야 할 책임이 있다. 서비스 품질이라는 것은 100%라는 것이 불가능 하므로 서비스 특징, 서비스 가격 등을 고려해서 어느 수준의 ...

AWS에서의 Multi tier 아키텍처 

좀 더 체계적으로 클라우드를 공부하기 위해서 아키텍처 관련 내용들을 정리하기로 했다. 아키텍처 관련 내용들은 의 준비하기 위함이다. 필드에서 경험쌓으면서 3년 정도 장기적으로 준비하려 한다.멀티티어(multitier) 아키텍처는 n-tier 아키텍처 혹은 멀티레이어드(multilayered)아키텍처라고 부르기도 한다. 애플리케이션을 여러 개의 계층으로 나눠...

mysqldump - mysql 논리백업 

mysqldump 클라이언트 유틸리티는 논리 백업(logical backup)을 수행한다. 원본 데이터베이스와 테이블을 재생할 수 있는 실행 가능한 SQL 문 세트를 생성한다. 백업 혹은 다른 SQL 서버로 전송하기 위해서 주로 사용한다. mysqldump는 SQL 문 외에도 CSV, XML, 기타 구분자를 가진 텍스트 형태로 출력 할 수 있다.# mysq...

Mysql 클라이언트 인스톨 

리눅스에서 mysql client는 기본 설치 패키지가 아니다. 특히 웹 애플리케이션 개발목적으로 리눅스를 사용한다면, mysql client를 반드시 설치해야 한다. mysql client 패키지에 포함된 프로그램은 아래와 같다. mysql mysql_config_editor mysqladmin mysqldump mysqldumpslow mysqlim...