Zookeeper Watcher 개발의 구성을 고민하고 있다. MQTT Cluster를 구성하는 각 노드들은 다른 노드들과 서로 독립적이기 때문에, 엄격한 노드관리가 필요하지는 않다. 해서 굳이 주키퍼와 같은 소프트웨어의 도움없이, Zabbix를 이용해서 클러스터를 관리하는 걸로 설계를 했다. 자빅스로 클러스터를 구성하는 노드를 모니터링 하다가 이상이 생...
Zookeeper를 이용한 Chef Push 서버 만들기이 문서는 chef과 zookeeper에 대한 경험이 있다고 가정하고 썼다. 대단한 경험이 있어야 하는 건 아니고, chef는 설치 후 hello world cookbook을 만들 수 있는 정도, zookeeper는 기본 개념과 설치를 할 수 있는 정도면 된다. 문서를 참고하자. Chef를 이용해서 ...
Consistent hashingConsistent hashing는 Key의 집합을 K, 슬롯의 크기를 N라고 했을 때, N의 갯수가 바뀌더라도 대부분의 키들이 슬롯을 그대로 사용할 수 있는 해싱 기법을 의미한다. 슬롯이 추가되거나 삭제됐을 때, K/n만큼만 조정된다. 추가된 노드만큼 재 조정되는 것이니, consistent 하다고 할 수 있다. 다른 해...
분산 모니터링 시스템 계획이전에는 몇 개의 강력함 컴퓨터로 데이터를 처리했기 때문에, 이들 컴퓨터를 제어하는 것도 큰 문제가 되지 않았다.하지만 클라우드 컴퓨팅 시대의 돌입한 지금은 상황이 좀 다르다. 우리나라는 약 3년전인 2008년쯤 부터 공개소프트웨어를 중심으로 이 분야에 관심을 가지기 시작해서, 지금은 응용 단계에 이른 것으로 보인다. 관련 제품을...
MapReduceMapReduce는 대량의 자원을 다루는 분산/병렬 시스템의 효율적인 지원을 위한 목적으로 Google( 1. 병렬처리 1. fault-tolerance 1. 데이터분산 및 로드밸런싱 용어에서 알 수 있듯이 MapReduce(Map은 사용자 정의 자료구조이며, 입력데이터에서 Key/Value 쌍으로 이루어진 중간 데이터 형태의 데이터를...
35 POSTS HERE
Zookeeper Watcher 개발
Zookeeper Watcher 개발의 구성을 고민하고 있다. MQTT Cluster를 구성하는 각 노드들은 다른 노드들과 서로 독립적이기 때문에, 엄격한 노드관리가 필요하지는 않다. 해서 굳이 주키퍼와 같은 소프트웨어의 도움없이, Zabbix를 이용해서 클러스터를 관리하는 걸로 설계를 했다. 자빅스로 클러스터를 구성하는 노드를 모니터링 하다가 이상이 생...
Zookeeper를 이용한 Chef Push 서버 만들기
Zookeeper를 이용한 Chef Push 서버 만들기이 문서는 chef과 zookeeper에 대한 경험이 있다고 가정하고 썼다. 대단한 경험이 있어야 하는 건 아니고, chef는 설치 후 hello world cookbook을 만들 수 있는 정도, zookeeper는 기본 개념과 설치를 할 수 있는 정도면 된다. 문서를 참고하자. Chef를 이용해서 ...
Consistent hashing
Consistent hashingConsistent hashing는 Key의 집합을 K, 슬롯의 크기를 N라고 했을 때, N의 갯수가 바뀌더라도 대부분의 키들이 슬롯을 그대로 사용할 수 있는 해싱 기법을 의미한다. 슬롯이 추가되거나 삭제됐을 때, K/n만큼만 조정된다. 추가된 노드만큼 재 조정되는 것이니, consistent 하다고 할 수 있다. 다른 해...
분산 모니터링 시스템 계획
분산 모니터링 시스템 계획이전에는 몇 개의 강력함 컴퓨터로 데이터를 처리했기 때문에, 이들 컴퓨터를 제어하는 것도 큰 문제가 되지 않았다.하지만 클라우드 컴퓨팅 시대의 돌입한 지금은 상황이 좀 다르다. 우리나라는 약 3년전인 2008년쯤 부터 공개소프트웨어를 중심으로 이 분야에 관심을 가지기 시작해서, 지금은 응용 단계에 이른 것으로 보인다. 관련 제품을...
MapReduce
MapReduceMapReduce는 대량의 자원을 다루는 분산/병렬 시스템의 효율적인 지원을 위한 목적으로 Google( 1. 병렬처리 1. fault-tolerance 1. 데이터분산 및 로드밸런싱 용어에서 알 수 있듯이 MapReduce(Map은 사용자 정의 자료구조이며, 입력데이터에서 Key/Value 쌍으로 이루어진 중간 데이터 형태의 데이터를...