Mountpoint for S3를 이용한 S3 마운트

AWS 사용자들은 S3fs, goofys 등을 이용해서 S3를 마운트해서 사용했다. 2023년 8월에 AWS는 Mountpoint for Amazon S3를 정식으로 출시함으로써, 엔터프라이즈 환경에서 안정적으로 S3를 마운트해서 사용할 수 있게 됐다....

goofys를 이용한 Amazon S3 마운트

Amazon S3는 무한대의 확장성을 제공하는 오브젝트 스토리지다. 보통 API를 이용해서 파일을 관리하지만 로컬 파일 시스템처럼 관리하고 싶을 때가 있다. goofys 를 이용해서 리눅스에서 s3를 마운트해서 사용하는 법을 살펴보자....

도커 컨테이너 데이터 볼륨 관리

도커는 하나의 이미지로 부터 여러 컨테이너를 만들기 위해서 Union File system을 사용한다. 유니온 파일 시스템은 원본 이미지에 변경된 내용(diff)를 추가하는 방식이므로, 다른 컨테이너에서 사용 할 수 없다. 애플리케이션에 따라서는 데이터를 다른 컨테이너와 공유 하거나 혹은 호스트에서 접근 할 수 있어야 하는 경우가 있는데, 이때 데이터 볼륨...

NFS - Network File System

Network File System은 네트워크 상에 파일 시스템을 구현하는 것으로 1984년 Sun Microsystems에서 개발한 프로토콜이다 그 뒤 에서 네트워크로 파일시스템을 확장하기 위한 용도로 널리 사용있다. NFS는 서버/클라이언트 모드로 작동합니다.Ubuntu Linux 11.04를 기준으로 설명합니다. 예전에는 NFS 설정하는 것도 꽤 복잡...

예제로 살펴보는 Go : 파일 쓰기

파일 쓰기도 파일 읽기와 비슷하다.ioutil.WriteFile 메서드로 바이트 데이터를 파일에 저장했다. 데이터의 크기를 알고 있으며, 크기가 별로 크지 않다면 간단하게 사용 할 수 있다. 저수준에서 파일을 쓰려면 os.Create로 파일을 열고, Write, WriteString과 같은 저수준 메서드를 이용해서 쓰기작업을 해야 한다. Sync와 Flus...

iSCSI

iSCSI컴퓨팅 환경에서 iSCSI(Internet Small Computer System Interface)는 데이터 스토리지 시설을 이어주는 기반의 스토리지 네트워킹 표준이다. iSCSI는 IP 망을 통해 SCSI 명령을 전달함으로써 인트라넷을 거쳐 데이터 전송을 쉽게 하고 먼 거리에 걸쳐 스토리지를 관리하는 데 쓰인다. iSCSI는 근거리 통신망과 ...

컨테이너 기반 클라우드를 위한 도커 데이터 볼륨 관리

컨테이너 기반 클라우드를 위한 도커 데이터 볼륨 관리 도커는 데이터를 persistent 하게 저장하기 위해서 데이터 볼륨을 만든다. 실제 애플리케이션에서 만들어지는 데이터의 대부분은 데이터 볼륨에 저장이 된다. 애플리케이션이 만드는 로그나 데이터베이스의 데이터파일, 유저가 업로드한 파일등등이 모두 여기에 해당한다.컨테이너 볼륨은 읽기 전용으로, 보통 ...

AUFS와 Docker 파일 시스템

AUFS와 Docker 파일 시스템aufs(advanced multi layered unification filesystem)은 리눅스 파일 시스템의 union mount를 구현하기 위해서 시작한 프로젝트다. 2006년 junjiro Okajima가 개발을 시작했으며, UnionFS를 완전히 새로 만들었다. 안정성과 성능을 향상시키는 이외에도 writab...

JBOD - Just a Bunch Of Drives

JBOD - Just a Bunch Of DriveshttpJBOD는 여러 개의 하드 드라이브를 장착할 수 있는 하드 드라이브 인클로져다. 하드 드라이브는 각각 독립적으로 구성이 되며, 온라인(운영체제가 작동중인)상태에서 탈착이 가능하다. 따라서 디스크에 문제가 생기더라도 운영체제의 재설정 없이 문제가 되는 드라이브만 교체할 수 있다. 물론 이런 작업을 ...

윈도 파일 프로그래밍

윈도 파일 프로그래밍뭐니 뭐니 해도 시스템 프로그래밍의 핵심은 파일. 리눅스 프로그래밍에 익숙한 관계로 리눅스(윈도에서 파일은 커널 Object로 관리된다. 파일을 포함한 모든 커널 Object는 Create로 시작하는 함수로 handle을 얻을 수 있다. 핸들은 커널 Object를 가리킨다. 파일외에 관리하는 커널 객체로는 아래와 같은 것들이 있다. 1...