Rancher 소개

Rancher는 컨테이너를 배포하고 관리하기 위한 오픈 소스 소프트웨어다. 특히 컨테이너의 생명주기를 관리하는 기능이 있어서 이녀석을 사용해 보기로 했다.3개의 노드를 준비했다. 두 개 노드에는 Rancher Agent가 설치되고, 한 노드에는 Rancher Server가 설치된다. Rancher Agent Rancher Server 운영체제 Virt...

HBase 소개

HBase(Hadoop database)는 하둡 기반의 분산 데이터베이스로 빅데이터를 저장하기 위해서 사용한다. NoSQL로 분류되는데, 많은 NoSQL 솔류션들이 그렇듯이 스키마 변경없이 자유롭게 데이터를 저장 할 수 있다. HDFS위에서 작동하기 때문에, HDFS의 데이터의 가용성과 확장성을 그대로 이용 할 수 있다. 데이터베이스 CAP 이론에서 HBA...

HBase 애플리케이션 개발

HBase 애플리케이션개발은 보통 Java를 이용하겠지만, go 언어를 이용해서 개발해 보려고 한다. 굳이 go를 이용하는 이유는 아직 java에 익숙치 않아서이다.(결국 java를 해야 할 것 같다.)virtualbox를 이용해서 하둡클러스터를 만들고 그 위에 hbase를 구성했다. 문서그대로 구성했으니 참고 한다.개발에 사용할 데이터베이스다.의 데이터베...

Hbase 설치

Hbase는 HDFS기반으로 작동한다. 따라서 반드시 Hadoop 환경을 구성해야 한다. 문서를 따라서 설치하자. 현재 Hadoop 환경은 다음과 같다. VirtualBox로 구성했다. 문서는 Hadoop 구성을 끝냈다고 가정하고 진행한다. hadoop01, hadoop02, hadoop03 3개의 노드로 구성한다. hadoop01은 Masternode, ...

HBase

HBase를 학습하기 위한 위키페이지다. 학습하는 이유는 다음과 같다. 1. IoT 플랫폼의 데이터 저장 과 분석을 위한 백앤드로 Kafka와 HBase를 고민하고 있다. 1. 아마 가장 일반적인 구성일 텐데, 실제 이들 환경을 만들어 본다. 1. 실제 IoT 플랫폼의 데이터 저장 / 분석 시스템을 구성한다. ...

Hadoop 설치

하둡은 3가지 설치모드가 있다. 1. Standalone 1. Pseudo distributed 1. Full distributed 버츄얼박스(VirtualBox)를 이용해서 Full distirubed 모드로 설치하기로 했다.하둡 설치환경은 아래와 같다. 호스트 운영체제 VirtualBox 5.1.6 게스트 운영체제 $ sudo apt-get in...

kafka를 이용한 chatting 프로그램 개발

Kafka 프로듀소와 컨슈머의 개발하는 법을 익힌다. 컨슈머 그룹에 대한 개념을 잡는다. 메시지 교환 프로그램의 구조를 개발한다. IoT응용을 찾는다.kafka의 구성을 끝냈다고 가정한다. 아직 kafka 구성을 마치지 않았다면 문서를 참고해서 구성을 끝내자.채팅 프로그램은 아래의 구조를 가진다. 가장 단순한 구조로 만들고, 이 구조를 확장해 나가자.쉽...

HDFS

를 끝냈다고 가정하고 진행한다.대량의 데이터를 HDFS에 저장한 다음, 맵리듀스를 이용 HDFS로 부터 데이터를 읽어서 처리하는게 하둡의 기본 기능이다. 다른 다양한 소프트웨어들은 이 두개의 핵심기능의 응용들이다. HDFS(Hadoop distributed file system)은 확장성 및 뛰어난 이식성을 가진 자바 기반의 분산 파일 시스템이다. POSI...

Zookeeper를 이용한 분산코디네이터 구성

본격적으로 주키퍼(zookeeper)를 활용 해야 할 때가 왔다. 활용전에 주키퍼의 기본 기능들을 살펴보려 한다.설치 환경은 다음과 같다. VirtualBox 주키퍼 클러스터 주키퍼 노드 아래와 같이 구성한다.3개의 주키퍼 노드로 주키퍼 클러스터를 만든다. 주키퍼 노드의 이름은 zk-01, zk-02, zk-03이다. 테스트를 위해서 두 개의 노드를 준비...

Zookeeper

Zookeeper Apache Zookeeper는 대규모의 분산시스템 관리를 도와주는 애플리케이션이다. 분산 설정 서비스, 서비스 동기화, 이름 관리(naming registry)등의 기능을 이용해서 분산시스템을 관리한다. Hadoop의 서브 프로젝트로 시작했는데, (2104년 12월)지금은 top-level 프로젝트다.예전부터 관심은 가지고 있었으나 분...