The Twelve Factors 

Joinc 위키 문서로 복사했습니다. 이 내용을 클라우드 환경에 맞게 해석해서, 아키텍처 문서를 만드는게 최종 목표입니다.이 방법론은 Heroku의 개발자가 초안을 작성했으며, 2011년에 Adam Wiggins가 처음 발표했다.클라우드가 널리 사용 되면서 소프트웨어를 서비스 형태로 제공하는 SaaS(Software As A Service) 혹은 웹앱이라...

Rtree 

R-Tree는 지리 좌표, 직사각형, 폴리곤과 같은 다차원 정보를 색인하기 위해서 사용하는 트리 데이터 구조다. R-Tree는 1984년 Antonin Guttman이 제안 했으며, 이론은 실제 상황에서도 중요하게 사용하고 있다. R-Tree의 일반적인 사용 용도는 해안선, 건물, 호수, 도로 등을 포함한 지도내에서 특정 객체의 위치를 신속하게 찾는 것이다...

Apache Hive 

아파치 하이브는 하둡위에 구축된 데이터 웨어하우스(Data warehouse)소프트웨어 프로젝트다. Hive는 하둡과 통합되며, SQL과 유사한 인터페이스를 이용해서 데이터를 질의 할 수 있다. 분산 시스템에서 SQL 응용 프로그램을 실해앟기 위해서는 MR을 이용해서 직접 SQL 쿼리를 구현해야 한다. 하이브를 이용하면 저수준의 쿼리를 구현할 필요 없이 S...

Kafka 디자인 

우리는 대기업이가지고 있는 모든 실시간 데이터를 처리 하기 위한 통합 플랫폼의 역할을 할 수 있도록 카프카를 설계했다. 이를 위해서 광범위한 유즈 케이스를 고려했다.실시간 로그 집계와 같은 대용량 이벤트 스트림을 처리하려면 높은 대역폭을 확보 할 수 있어야한다. 오프라인 시스템에서도 주기적인 데이터로드를 지원하기 위해서는 대규모의 백로그를 처리 할 수 있어...

YARN 

YARN은 HDFS와 함께 하둡의 가장 중요한 구성요소다. YARN은 자원관리, 작업의 스케쥴링과 모니터링의 기능을 가진 별도의 데몬이다. 일종의 분산 커널이라고 볼 수 있다. 기본 아이디어는 RM(ResourceManager)과 애플리케이션별로 AM(ApplicationMater)을 구성하는 거다.RM은 하둡 클러스터를 구성하는 모든 응용 프로그램을 위해...

HDFS 

를 끝냈다고 가정하고 진행한다.대량의 데이터를 HDFS에 저장한 다음, 맵리듀스를 이용 HDFS로 부터 데이터를 읽어서 처리하는게 하둡의 기본 기능이다. 다른 다양한 소프트웨어들은 이 두개의 핵심기능의 응용들이다. HDFS(Hadoop distributed file system)은 확장성 및 뛰어난 이식성을 가진 자바 기반의 분산 파일 시스템이다. POSI...

Hadoop 설치 

하둡은 3가지 설치모드가 있다. 1. Standalone 1. Pseudo distributed 1. Full distributed 버츄얼박스(VirtualBox)를 이용해서 Full distirubed 모드로 설치하기로 했다.하둡 설치환경은 아래와 같다. 호스트 운영체제 VirtualBox 5.1.6 게스트 운영체제 $ sudo apt-get in...

Hadoop 

Hadoop쪽은 관심 밖이였다. 딱히 사용해야 할 일이 없어서였다. 요즘 데이터 수집/처리 쪽 업무를 하게 되면서, 자연스럽게 하둡을 봐야하게 생겼다. 실제 써먹는 걸 목표로 실용적 관점에서 접근하려 한다.가장 유명한 아파치(Apache) 프로젝트 중 하나일 것이다. 안정적이고 확장 가능한 분산 컴퓨팅 구축을 위한 오픈 소스 소프트웨어다. 주요 모듈은 아래...

Lyft 

Lyft는 미국 센프란시스코에 본사를 둔 교통 네트워크 회사로, 미국 200개 도시에서 운영되고 있다. Lyft 모바일 응용 프로그램을 이용해서 자동차 운송을 요청할 수 있는 Lyft 소프트웨어를 개발해서 운영하고 있다. 또한 운전자는 음식을 배달하거나 승객을 수송함으로써 수입을 얻을 수 있다. 승객은 iOS 혹은 안드로이드 기반의 Lyft 앱을 다운로드 ...

CarPlay 

CarPlay는 아이폰의 주요 기능을 자동차의 헤드유닛 디스플레이로 이용 할 수 있다. 자동차에 iOS를 이식하는 대신, 대부분의 연산을 아이폰에 맡기고 헤드유닛은 조작과 출력만을 담당한다. 미러링 개념에 가까운 시스템이다. iPhone 5 이상에서 사용 할 수 있다. 이 방식은 사용자가 자신의 스마트폰 환경을 차에서 그대로 실현 할 수 있다는 장점을 가지...