S3기반의 클라우드 스토리지 개발

서비스에서 다루는 데이터의 크기와 갯수가 늘어나면서, "고가용성의 확장가능한 클라우드 스토리지"에 대한 수요도 늘어나고 있다. 단일 서비스에서도 와 같은 기능을 일반적으로 제공할 수 있어야하는 시대라는 거다. s3를 이용해서 드롭박스와 같은 서비스를 만들어보려고 한다. s3를 이용하는 이유는 아래와 같다. 가용성과 확장성을 고민 할 필요가 없다. OpenS...

AWS VPC

클라우드의 기본 개념은 1. 컴퓨팅,네트워크,스토리지 풀을 만들고 1. 유저가 자원을 요청하면 컴퓨팅,네트워크,스토리지를 제공 - IaaS 1. 유저가 소프트웨어를 요청하면 IaaS 위에 소프트웨어를 전개해서 제공 - SaaS 1. 유저가 개발환경을 요청하면 IaaS와 SaaS를 기반으로 개발 환경을 제공 - PaaS이다. 인터넷 공간에 "하드웨어와 ...

Hadoop 및 MapReduce

아파치 하둡(Hadoop)은 대량의 데이터를 용이하게 처리하기 위해서 분산 컴퓨터 네트워크 기술을 사용하는 오픈 소스 소프트웨어 유틸리티들의 모음이다. 수천개의 노드에서 실행 할 수 있으며, 테라바이트 혹은 페타바이트 단위의 데이터를 저장하고 처리 할 수 있다. 아파치 하둡의 핵심은 HDFS로 알려진 분산 파일 저장소와 분산 프로그래밍 모델인 MapRed...

MicroService on AWs

번역 마이크로서비스는 배포주기를 가속화 하고 응용 프로그램의 유지 관리성을 높여서 높은 품질의 제품을 만들기 위한 아키텍처 모델이다. 이 접근법은 개발방법 뿐만 아니라 소프트웨어와 서비스를 제공하는 조직의 변화도 포함하고 있다. 마이크로 서비스의 접근방식을 사용하는 소프트웨어는 잘 정의된 API로 통신하는 작고 독립적인 소프트웨어 컴포넌트들로 구성된다. ...

AWS S3

S3에 대한 내용을 다룬다....

S3 마운트

S3는 Simple Storage Server의 약자로 인터넷에서 사용 할 수 있는 오브젝트 스토리지다. ElasticCache, RDS와 함께 AWS에서 가자 유용하게 사용하는 서비스들 중 하나다.파일 관리 서비스를 만들려고 하는데, API 호출해서 사용하는게 영 귀찮다. 그냥 마운트하기로 했다. goofys와 s3fs를 주로 사용한다. s3fs는 예전에...

Golang를 이용한 S3 serv api 개발

S3에 있는 파일을 서비스하는 방법을 살펴보려 한다. AWS에서 제공하는 공식 말고 좀 더 편하게 쓸만한게 없을까 찾아봤는데 못찾았다. 그냥 aws go sdk 쓰기로 했다.구현을 위해서 아래와 같은 방법들을 고민했다. 1. S3 Static Web Hosting 1. EC2에 S3를 마운트해서 NginX로 파일 서비스 1. EC2에 S3 SDK를 기반으...

ECS와 다른 컨테이너 관리 시스템들

이 문서는 의 번역문서다. Kubernets, OpenShift Origin, DC/OS, Docker Swarm, Rancher 등의 훌륭한 컨테이너 클러스터 관리 플랫폼들이 있다. 이들 플랫폼은 대부분 AWS에서 사용 할 수 있다. 반면 AWS는 EC2 Container Services(ECS)라는 자체 컨테이너 클러스터 관리 플랫폼을 가지고 있다.개발...

AWS Lambda

API 서버의 경우, stateless하게 개발을 한다. Stateless는 서버로의 모든 요청과 응답이 다른 요청 혹은 응답과 독립적으로 이루어지는 것을 의미한다. 서버는 상태를 저장할 필요가 없으므로 요청처리부가 단순해지고, 요청을 자유롭게 분산할 수 있다. 각 요청이 독립적으로 실행이된다면, 클라이언트와 서버간의 요청&처리 프로세스는 함수의 실행으로...

빅 데이터 개요

빅데이터 쪽은 드문드문 했다. AWS를 기반으로 개발활동을 하고 있으니, AWS 환경에서 빅데이터를 제대로 시작해보기로 한다. 하여 문서들을 정주행하기로 했다. 이 문서는 스터디노트 정도로 보면 되겠다. 가장 기본이 되는 빅 데이터 개요 문서 부터 시작한다. 빅 데이터 개요는 4개의 모듈로 구성된다. 1. 빅 데이터 개요 2. 데이터베이스 아키텍처 3. H...