Amazon Managed Streaming for Apache Kafka - MSK

나는 항상 우리의 고객이 스트리밍 데이터를 이용하는 것을 보며 놀라곤 한다. 예를들어 기업과 전문가 집단에게 가장 신뢰받는 뉴스기업 중 하나인 Thomson Reuters 의 경우 데이터를 수집하고 분석 및 시각화 하여 사용자 경험의 지속적 개선을 지원하는 솔류션을 구축했다. Hayday, Clash of Clan 및 Boom Beach 같은 게임을 제공하...

Terraform 소개

테라폼(Terraform)은 HashiCorp에서 개발한 오픈소스 IaC(Infrastructure as code) 소프트웨어다. 개발자는 테라폼에서 제공하는 HCL(Hashicorp Configuration Language)라는 고수준 설정 언어(high-level configuration language) 혹은 json 를 이용해서 데이터센터 인프라스트...

Hyperledger Fabric 소개

원문 Hyperledger Fabric(이하 패브릭)은 높은 수준의 보안성을 가지고 있으며 모듈식 아키텍처를 제공하는 분산원장 솔류션 플렛폼이다. 다양한 요소들을 추가 할 수 있도록 플러그인 방식 설계를 가지고 있다. 플러그인 방식은 복잡한 경제 생태계가 가지는 복잡성을 수용 할 수 있도록 한다. 패브릭을 처음 사용하는 개발자라면 이 문서가 도움이 될 것이...

Enterprise data warehousing on aws

의 요약문서다. 개인 학습을 목적으로 요약했다. 전 세계 기업의 데이터엔지니어, 분석가, 개발자들은 DW를 이용해서 데이터를 분석해서 의사결정을 위한 정보들을 만들고 있다. 기존의 DW는 성능개선과 비용 효율성을 위해서 클라우드로 마이그레이션하고 있다. 이 문서는 AWS에서 사용 할 수 있는 DW 서비스를 소개하며, 일반적인 설계 패턴을 제시함으로써 ...

Grafana, InfuxDB, Telegraf를 이용한 모니터링 시스템 구성

원래는 Prometheus를 기반으로 모니터링 시스템을 구성할 계획이었으나 여러 이유로 influxDB를 기반으로 하는 모니터링 시스템을 구성하게 됐다. 구성 과정을 기록으로 남긴다. 운영 중인 www.joinc.co.kr를 모니터링 한다. www.joinc.co.kr 서버는 에 위치하고 있으므로 이론상 CloudWatch 만으로 모니터링 시스템 구성이 가...

Opsgenie를 이용한 AWS 인프라 이벤트 관리 시스템 구성

나는 인터넷 서비스의 품질을 확보하기 위한 가장 중요한 활동을 아래와 같이 정의 한다. 문서화 테스트가 포함된 모니터링, 관제 시스템 및 장애(인시던트)관리 프로세스 모니터링 결과는 결국 알람과 인시던트의 형태로 출력된다. 알람과 인시던트는 업무처리 시스템에 따라서 처리를 해야 한다 대략적인 프로세스는 아래와 같을 것이다. 이벤트, 경고(alert),...

IAM - AWS Identity and Access Management

이제 우리는 퍼블릭 클라우드 서비스를 이용해서 인터넷상에 가상의 IDC를 만들고 그 위에 서비스를 구축할 수 있게됐다. 클라우드 제공업체는 컴퓨팅 파워, 스토리지, 네트워크, 애플리케이션, 개발 환경의 풀을 가지고 있으며 유저가 요청하면 이 풀에서 적당량만을 떼서 제공한다. AWS는 기존의 IDC가 그랬던 것처럼 컴퓨팅파워, 스토리지, 네트워크등에 대해서 ...

Go언어에서의 TDD

여기에서 사용한 테스트 코드는 에서 다운로드 할 수 있다.클라우드와 MSA와 의 등장으로 (2016년 6월)TDD가 재조명 받고 있다. TDD의 큰 단점 중 하나는 제대로 적용하려면 상당히 많은 시간과 노력이 필요하다는 점이다. 특히 여기 저기 연동되는 라이브러리나 소프트웨어가 많은 경우 테스트가 굉장히 복잡해지는데, 복잡해지는 만큼 테스트의 신뢰성도 함께...

스크린 캐스팅 시스템 구성

유튜버 활동을 해보기로 했다. 스크린캐스팅으로 시작할 계획이며, 이에 따라서 필요한 소프트웨어의 설치와 테스트를 진행 했다.먼저 운영체제를 선택해야 했다. 대부분 윈도우즈 운영체제를 사용 할 것이다. 하지만 내 경우 모든 컨텐츠가 리눅스 위에서 만들어지기 때문에, 리눅스위에서 사용 할 수 있는 툴들을 선택해야 했다. 현재 내 환경을 소개해 보자면 개발 환...

AWS Key Management Service

AWS KMS는 데이터의 암호화를 위해서 사용하는 관리형 서비스다. KMS는 고가용성의 키 저장소와 관리 감사 기능을 제공한다. 이를 이용해서 애플리케이션에서 사용하는 데이터를 암호화 할 수 있으며, AWS 서비스에 저장되는 데이터(예를들어 S3에 저장되는 파일)을 암호화하기 위한 키를 (안전하게)관리 할 수 있다. AWS KMS에서 생성한 마스터 키는 F...