주기적으로 수 시간안에 빌리언 데이터를 밀어 넣어야 하는 요구가 생겼다. 애초에 이런 대규모의 데이터를 주기적으로 밀어 넣어야 하는 상황이 있을까 하는 물음은 있을 수 있겠는데, 데이터가 커지는 요즘 이런 요구는 드물지 않게 생길 것 같다. 수집한 데이터를 분석 한 다음, 서비스 데이터베이스로 밀어 넣어야 하기 때문이다.데이터는 {Key,Value} 타입이...
AWS의 Cloud RDBMS(관계형 데이터베이스)서비스다. MySQL과 PostgreSQL와 같은 전통적인 RDBMS를 클라우드 기반의 RDBMS로 수정해서 서비스 한다. MySQL과 PostgreSQL을 근간으로 하기 때문에 사용법이 동일하며, 애플리케이션의 수정 없이 즉시 사용 할 수 있다. ...
몇 번의 버튼 클릭으로 만들 수 있다. Aurora는 AWS RDS의 서비스다. RDS를 찾아 들어가면 아래와 같이 설치 화면이 나온다. 1. Launch an Aurora DB instance 1. Restore Aurora DB cluster from S3두 가지 방법으로 데이터베이스를 만들 수 있다. 2번은 특히 빅데이터 처리를 통해서 분석된 데이터를...
AWS의 RDS는 관계형 데이터베이스(Relational Database)를 서비스한다. EC2, ELB, ElasticCache와 함께 가장 많이 사용하는 AWS 서비스 중 하나다.RDS는 Mysql, Postgresql, Oracle, Microsoft SQL Server 등과 같은 익숙한 데이터베이스 시스템을 제공하는데, 2015년경 Aurora라는 ...
약 2년 정도 AWS 위에서 2개의 서비스를 개발했고, 서비스 아키텍처로 참여했다. 운 좋게 이들 서비스는 전 세계를 대상으로 하는 서비스였고 복잡한 서비스 였으며, 역시 운이 좋게도 (스타트업이나 인터넷 서비스 기업이 아닌)기성기업의 요구를 만족하는 서비스여야 했다.전 세계를 대상으로 하는 복잡한 서비스라면 배울게 많으니 운이 좋다라고 생각할 수 있겠는...
NTP(Network Time Protocol)은 지연이 있을 수 있는 네트워크 상에서, 컴퓨터와 컴퓨터간의 시간을 동기화 하기 위한 네트워크 프로토콜이다. 1985년부터 사용한 프로토콜로 가장 오래된 인터넷 프로토콜 중의 하나다. NTP는 계층적인 구조를 가지는데, 각각의 계층은 상위 계층으로 부터 시간을 동기화 한다. 계층은 지역을 기반으로 구성되는데,...
AWS ArchitectureAWS 구조를 분석한다. 하지만 아마존에서 일해본 경험이 있는 것도 아니니 AWS 구조 자체를 명확히 분석한다라기 보다는, 드러나는 모습을 보고 이러한 구조를 가지고 있겠거니 라고 짐작하는 정도라고 보면 될 것 같다. 왜 이런걸 하느냐면 ? 클라우드 인프라에 대해서 깊이 생각해 보기 위해서다. 내 분석 결과가 정확한지 아닌지는...
AWS MoniteringAWS에 있는 시스템과 서비스 모니터링에 zabbix를 사용하기로 했다. 뭐 zabbix agent 설치한 다음에, 모니터링 데이터 수집하고 분석해서 모니터링 정책을 세우고 문제를 해결해 나가는 전형적인 과정이겠으나 이번 시스템은 좀 복잡하다.글로벌 서비스이다 보니 여러 지역에 AWS 자원이 분산돼 있다. 게다가 VPC 영역과 일...
Amazon web service 분석Amazon Web Services(이하 AWS)는 클라우드 컴퓨팅을 위한 원격 컴퓨팅 서비스의 모음으로 Amazone.com이 제공한다. AWS의 핵심은 잘알려진 EC2와 S3이다. AWS는 물리적인 컴퓨터시스템과 네트워크 시스템과 같인 인프라를 "가상화"해서 제공한다. 즉 유저는 이들 인프라를 마치 원격에 있는 소...
Auto Scaling아마존 Auto scaling 가이드가 아니다. 아마존 Auto scaling을 분석을 하고 분석 결과를 토대로 구성방안을 세우는게 목적이다.Auto scaling는 사용자가 정의하는 조건에 따라서 컴퓨팅자원과 네트워크 자원을 자동으로 늘이거나 줄이는 기능이다. 퍼블릭 클라우드에 Auto scaling를 적용할 경우 얻을 수 있는 잇...
136 POSTS HERE
Aurora에 Billion 데이터 밀어 넣기
주기적으로 수 시간안에 빌리언 데이터를 밀어 넣어야 하는 요구가 생겼다. 애초에 이런 대규모의 데이터를 주기적으로 밀어 넣어야 하는 상황이 있을까 하는 물음은 있을 수 있겠는데, 데이터가 커지는 요즘 이런 요구는 드물지 않게 생길 것 같다. 수집한 데이터를 분석 한 다음, 서비스 데이터베이스로 밀어 넣어야 하기 때문이다.데이터는 {Key,Value} 타입이...
Aurora
AWS의 Cloud RDBMS(관계형 데이터베이스)서비스다. MySQL과 PostgreSQL와 같은 전통적인 RDBMS를 클라우드 기반의 RDBMS로 수정해서 서비스 한다. MySQL과 PostgreSQL을 근간으로 하기 때문에 사용법이 동일하며, 애플리케이션의 수정 없이 즉시 사용 할 수 있다. ...
Aurora 데이터베이스 만들기
몇 번의 버튼 클릭으로 만들 수 있다. Aurora는 AWS RDS의 서비스다. RDS를 찾아 들어가면 아래와 같이 설치 화면이 나온다. 1. Launch an Aurora DB instance 1. Restore Aurora DB cluster from S3두 가지 방법으로 데이터베이스를 만들 수 있다. 2번은 특히 빅데이터 처리를 통해서 분석된 데이터를...
AWS Aurora 소개
AWS의 RDS는 관계형 데이터베이스(Relational Database)를 서비스한다. EC2, ELB, ElasticCache와 함께 가장 많이 사용하는 AWS 서비스 중 하나다.RDS는 Mysql, Postgresql, Oracle, Microsoft SQL Server 등과 같은 익숙한 데이터베이스 시스템을 제공하는데, 2015년경 Aurora라는 ...
AWS를 이용한 Global 서비스 인프라 설계
약 2년 정도 AWS 위에서 2개의 서비스를 개발했고, 서비스 아키텍처로 참여했다. 운 좋게 이들 서비스는 전 세계를 대상으로 하는 서비스였고 복잡한 서비스 였으며, 역시 운이 좋게도 (스타트업이나 인터넷 서비스 기업이 아닌)기성기업의 요구를 만족하는 서비스여야 했다.전 세계를 대상으로 하는 복잡한 서비스라면 배울게 많으니 운이 좋다라고 생각할 수 있겠는...
AWS에서 NTP 설정
NTP(Network Time Protocol)은 지연이 있을 수 있는 네트워크 상에서, 컴퓨터와 컴퓨터간의 시간을 동기화 하기 위한 네트워크 프로토콜이다. 1985년부터 사용한 프로토콜로 가장 오래된 인터넷 프로토콜 중의 하나다. NTP는 계층적인 구조를 가지는데, 각각의 계층은 상위 계층으로 부터 시간을 동기화 한다. 계층은 지역을 기반으로 구성되는데,...
AWS Architecture
AWS ArchitectureAWS 구조를 분석한다. 하지만 아마존에서 일해본 경험이 있는 것도 아니니 AWS 구조 자체를 명확히 분석한다라기 보다는, 드러나는 모습을 보고 이러한 구조를 가지고 있겠거니 라고 짐작하는 정도라고 보면 될 것 같다. 왜 이런걸 하느냐면 ? 클라우드 인프라에 대해서 깊이 생각해 보기 위해서다. 내 분석 결과가 정확한지 아닌지는...
AWS Monitering
AWS MoniteringAWS에 있는 시스템과 서비스 모니터링에 zabbix를 사용하기로 했다. 뭐 zabbix agent 설치한 다음에, 모니터링 데이터 수집하고 분석해서 모니터링 정책을 세우고 문제를 해결해 나가는 전형적인 과정이겠으나 이번 시스템은 좀 복잡하다.글로벌 서비스이다 보니 여러 지역에 AWS 자원이 분산돼 있다. 게다가 VPC 영역과 일...
Amazon web service 분석
Amazon web service 분석Amazon Web Services(이하 AWS)는 클라우드 컴퓨팅을 위한 원격 컴퓨팅 서비스의 모음으로 Amazone.com이 제공한다. AWS의 핵심은 잘알려진 EC2와 S3이다. AWS는 물리적인 컴퓨터시스템과 네트워크 시스템과 같인 인프라를 "가상화"해서 제공한다. 즉 유저는 이들 인프라를 마치 원격에 있는 소...
Auto Scaling
Auto Scaling아마존 Auto scaling 가이드가 아니다. 아마존 Auto scaling을 분석을 하고 분석 결과를 토대로 구성방안을 세우는게 목적이다.Auto scaling는 사용자가 정의하는 조건에 따라서 컴퓨팅자원과 네트워크 자원을 자동으로 늘이거나 줄이는 기능이다. 퍼블릭 클라우드에 Auto scaling를 적용할 경우 얻을 수 있는 잇...