AWS EMR

이 문서는 을 갖췄다는 가정하에 작성했다.맵리듀스(MapReduce)는 분산&병렬처리 알고리즘을 이용 클러스터링 환경에서 빅 데이터 세트를 처리하기 위한 프로그래밍 모델및 관련 구현체를 일컫는다. 맵리듀스 프로그래밍 관련 구현체중 가장 유명한 구현체가 하둡 맵리듀스다. 하둡 스트리밍은 Hadoop에서 배포하는 유틸리티다. 이 유틸리티를 이용하면, mappe...

AWS VPC Peering

AWS 상에서 서비스를 구성하다보면, 여러 개의 VPC로 나뉘는 경우가 있다. 그러다 보면 같은 계정의 같은 리전에 있는 다른 VPC 혹은 다른 리전에 있는 VPC와 통신해야 하는 경우가 생긴다. 아예 다른 계정의 VPC와 통신을 해야 할 수도 있다. IGW(인터넷게이트웨이)를 통해서 통신을 할 수 있겠으나 인터넷에 자원이 노출된다는 단점이 있다. 통신해야...

삼성 클라우드 : AWS Transit Gateway를 이용한 글로벌 AWS Region 네트워크 최적화

joinc(주)는 글로벌한 회사로 성정하고 있다. 이 회사는 서울리전, 도쿄리전, 캘리포니아 리전, 런던리전에 VPC를 전개하고 있다. 이외에 대한민국에 데이터 센터를 가지고 있다. 현재 회사는 VPC와 데이터센터의 네트워크 통합에 어려움을 겪고 있다. 서비스가 더 커지기 전에 이들을 통합하는 작업을 수행해야 한다. CTO는 DevOps 팀에 이들 네트워크...

AWS Cheat Sheet - Amazon CloudFront

CDN(Content delivery Network)란 지리적으로 분산된 프락시 서버(proxy server)와 데이터센터로 구성된 분산 네트워크를 의미한다. CDN의 목표는 서비스를 지리적으로 분산하여 가용성과 성능을 높이는데 있다. CDN은 인터넷이 사람과 기업을 위한 미션 크리티컬한 매체가 되는 1990년대 후반에 등장했다. 오늘날 CDN은 웹객체(텍...

AWS 기반 추천 시스템 아키텍처

주식회사 joinc는 다양한 패션용품을 판매하는 인터넷 전자 상거래 서비스를 운영하고 있다. 이 회사의 CTO는 전자 상거래 시장이 격화되면서, 서비스 경쟁력을 확보하는게 중요한 과제가 됐다.CTO는 우선 과제로 개인화된 상품추천 서비스를 개발하기로 했다. 상품추천의 요구사항은 아래와 같다. 1. 사용자의 활동(Activity)를 저장하고 분석할 수 있는 ...

AWS에서의 중앙 집중식 로깅 시스템 구축

클라우드 시스템은 위임이다. 컴퓨팅, 메모리, 디스크와 같은 하드웨어 외에도 로드밸런서, 메시지큐, 로깅, 모니터링, 배포, 확장, 데이터 수집 등을 IaaS, PaaS, SaaS 형태로 비즈니스로직으로 부터 분리하여 위임하는 시스템이다. 따라서 개발조직은 다른 것들에 신경쓰지 않고 서비스 개발에만 집중 할 수 있다. 클라우드에 대한 다양한 관점이 있겠는데...

AWS Cheat Sheet - AWS Lambda

AWS의 Serverless 컴퓨팅 서비스로 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행 할 수 있다. FaaS(Function-as-a-Service)로 분류된다. 각 Lambda 함수는 독립적으로 실행되기 때문에 상태를 저장하지 않는 stateless 서비스다. AWS 콘솔, CLI를 이용해서 생성 할 수 있다. Lambda 함수는 메모리...

AWS 기반 Billing 서비스 아키텍처 - ServerLess

joinc는 AWS를 이용해서 도매 상품 중개/판매 서비스를 운영하고 있다. 초기 쇼핑몰을 빠르게 전개하는데 중점을 뒀기 때문에 백오피스에 기술부채를 가지고 있다. CTO는 기술 부채를 없애기를 원한다. CTO는 솔류션 아키텍트에게 빌링 시스템의 개선을 요구했다. 주요 요구 사항은 아래와 같다. 1. 비용 효율적이어야 한다. 1. 운영 인력이 충분하지 않...

Amazon S3 Strong Consistency

S3는 99.99%의 가용성을 제공하며, 무한에 가까운 저장용량을 제공하는 특성을 가지고 있다. AWS의 100여개가 넘는 서비스 중에서도 가장 널리 사용되는 서비스일 것이다. S3는 데이터 백업 및 복원, 데이터 아카이빙, 웹 애플리케이션, 빅 데이터, 데이터 레이크, 데이터 분석 등 다양한 방식으로 사용하고 있다.S3는 (2020년 12월)지금까지 "...

AWS Certified Solutions Architect - S3

Amazon S3(Amazon Simple Storage Service)는 확장성, 가용성, 보안성, 성능을 제공하는 Object Storage서비스다. Object Storage는 간단히 말해서 파일 단위의 업로드/다운로드를 서비스하는 것이라 볼 수 있다. S3가 제공하는 파일의 업/다운로드라는 아주 간단한 서비스이지만 무한대에 가까운 용량, 99.999...