"AWS Big Data Technology Fundamentals - 모듈 2마법의 은탄환은 없다. 빅 데이터가 모든 문제를 해결해주지 못한다. 현장에서는 (간단한 서비스라고 하더라도) 3개 이상의 데이터베이스 모델을 섞어서 사용한다. 빅 데이터를 제대로 활용하기 위해서는 다양한 데이터베이스들의 특징들을 알고 있어야 한다.RDBMS(Relational D...
빅데이터 쪽은 드문드문 했다. AWS를 기반으로 개발활동을 하고 있으니, AWS 환경에서 빅데이터를 제대로 시작해보기로 한다. 하여 문서들을 정주행하기로 했다. 이 문서는 스터디노트 정도로 보면 되겠다. 가장 기본이 되는 빅 데이터 개요 문서 부터 시작한다. 빅 데이터 개요는 4개의 모듈로 구성된다. 1. 빅 데이터 개요 2. 데이터베이스 아키텍처 3. H...
우분투 리눅스 17.10 환경에서 Virtual Hosts를 설정해보려 한다. Nginx에서는 Server Blocks라는 이름으로 부르는 것 같은데, 아파치웹서버가 득세하던 시절에 virtual host라고 불렀던 까닭에 virtual host라고 하는게 좀 더 익숙하다. (2018년 2월)현재 최신 버전인 우분투리눅스 17.10을 기준으로 한다.테스트가...
와는 달리 전이중 통신 채널을 제공하는 프로토콜이다. HTTP와는 전혀 다른 프로토콜이지만 HTTP로 부터 유도되기 때문에, HTTP와 쎄트로 취급하는 경우가 많기는 하다. WebSocket을 이용하면 서버&클라이언트가 (마치 소켓 프로그램처럼) 자유롭게 메시지를 주고 받을 수 있다.NginX를 이용해서 WS를 프락시하는 방법을 살펴보려 한다. 테스트를 위...
몇 번의 버튼 클릭으로 만들 수 있다. Aurora는 AWS RDS의 서비스다. RDS를 찾아 들어가면 아래와 같이 설치 화면이 나온다. 1. Launch an Aurora DB instance 1. Restore Aurora DB cluster from S3두 가지 방법으로 데이터베이스를 만들 수 있다. 2번은 특히 빅데이터 처리를 통해서 분석된 데이터를...
웹 서버를 설정할 때 종종 액세스 자체를 제한해야 하는 경우가 있다. 물론 많은 웹 애플리케이션들이 독자적인 인증/권한 관리 시스템을 제공한다. 하지만 그러한 애플리케이션을 이용 할 수 없거나 "그냥 간단하게 웹 서버가 제공하는 기능을 이용해서" 접근제어를 하고 싶을 때가 있다. 회사 내부에서 사용하는 관리자 페이지가 이런 경우다. Nginx 웹 서버를 이...
주기적으로 수 시간안에 빌리언 데이터를 밀어 넣어야 하는 요구가 생겼다. 애초에 이런 대규모의 데이터를 주기적으로 밀어 넣어야 하는 상황이 있을까 하는 물음은 있을 수 있겠는데, 데이터가 커지는 요즘 이런 요구는 드물지 않게 생길 것 같다. 수집한 데이터를 분석 한 다음, 서비스 데이터베이스로 밀어 넣어야 하기 때문이다.데이터는 {Key,Value} 타입이...
AWS의 RDS는 관계형 데이터베이스(Relational Database)를 서비스한다. EC2, ELB, ElasticCache와 함께 가장 많이 사용하는 AWS 서비스 중 하나다.RDS는 Mysql, Postgresql, Oracle, Microsoft SQL Server 등과 같은 익숙한 데이터베이스 시스템을 제공하는데, 2015년경 Aurora라는 ...
654 POSTS HERE
데이터베이스 아키텍처
"AWS Big Data Technology Fundamentals - 모듈 2마법의 은탄환은 없다. 빅 데이터가 모든 문제를 해결해주지 못한다. 현장에서는 (간단한 서비스라고 하더라도) 3개 이상의 데이터베이스 모델을 섞어서 사용한다. 빅 데이터를 제대로 활용하기 위해서는 다양한 데이터베이스들의 특징들을 알고 있어야 한다.RDBMS(Relational D...
빅 데이터 개요
빅데이터 쪽은 드문드문 했다. AWS를 기반으로 개발활동을 하고 있으니, AWS 환경에서 빅데이터를 제대로 시작해보기로 한다. 하여 문서들을 정주행하기로 했다. 이 문서는 스터디노트 정도로 보면 되겠다. 가장 기본이 되는 빅 데이터 개요 문서 부터 시작한다. 빅 데이터 개요는 4개의 모듈로 구성된다. 1. 빅 데이터 개요 2. 데이터베이스 아키텍처 3. H...
AWS BigData
학습노트다. AWS를 사용하니, AWS 기반의 빅데이터 서비스들을 배워서 사용할 생각이다. 1. 1. 1. ...
Nginx VirtualHost
우분투 리눅스 17.10 환경에서 Virtual Hosts를 설정해보려 한다. Nginx에서는 Server Blocks라는 이름으로 부르는 것 같은데, 아파치웹서버가 득세하던 시절에 virtual host라고 불렀던 까닭에 virtual host라고 하는게 좀 더 익숙하다. (2018년 2월)현재 최신 버전인 우분투리눅스 17.10을 기준으로 한다.테스트가...
Nginx를 이용한 WebSocket reverse proxy
와는 달리 전이중 통신 채널을 제공하는 프로토콜이다. HTTP와는 전혀 다른 프로토콜이지만 HTTP로 부터 유도되기 때문에, HTTP와 쎄트로 취급하는 경우가 많기는 하다. WebSocket을 이용하면 서버&클라이언트가 (마치 소켓 프로그램처럼) 자유롭게 메시지를 주고 받을 수 있다.NginX를 이용해서 WS를 프락시하는 방법을 살펴보려 한다. 테스트를 위...
AWS S3
S3에 대한 내용을 다룬다....
Aurora 데이터베이스 만들기
몇 번의 버튼 클릭으로 만들 수 있다. Aurora는 AWS RDS의 서비스다. RDS를 찾아 들어가면 아래와 같이 설치 화면이 나온다. 1. Launch an Aurora DB instance 1. Restore Aurora DB cluster from S3두 가지 방법으로 데이터베이스를 만들 수 있다. 2번은 특히 빅데이터 처리를 통해서 분석된 데이터를...
NginX Password Authentication 설정
웹 서버를 설정할 때 종종 액세스 자체를 제한해야 하는 경우가 있다. 물론 많은 웹 애플리케이션들이 독자적인 인증/권한 관리 시스템을 제공한다. 하지만 그러한 애플리케이션을 이용 할 수 없거나 "그냥 간단하게 웹 서버가 제공하는 기능을 이용해서" 접근제어를 하고 싶을 때가 있다. 회사 내부에서 사용하는 관리자 페이지가 이런 경우다. Nginx 웹 서버를 이...
Aurora에 Billion 데이터 밀어 넣기
주기적으로 수 시간안에 빌리언 데이터를 밀어 넣어야 하는 요구가 생겼다. 애초에 이런 대규모의 데이터를 주기적으로 밀어 넣어야 하는 상황이 있을까 하는 물음은 있을 수 있겠는데, 데이터가 커지는 요즘 이런 요구는 드물지 않게 생길 것 같다. 수집한 데이터를 분석 한 다음, 서비스 데이터베이스로 밀어 넣어야 하기 때문이다.데이터는 {Key,Value} 타입이...
AWS Aurora 소개
AWS의 RDS는 관계형 데이터베이스(Relational Database)를 서비스한다. EC2, ELB, ElasticCache와 함께 가장 많이 사용하는 AWS 서비스 중 하나다.RDS는 Mysql, Postgresql, Oracle, Microsoft SQL Server 등과 같은 익숙한 데이터베이스 시스템을 제공하는데, 2015년경 Aurora라는 ...