MLOps with Joinc - Kubeflow 설치

Recommanded Free YOUTUBE Lecture: <% selectedImage[1] %>

yundream
2025-03-09
2025-03-09
16

![](https://docs.google.com/drawings/d/e/2PACX-1vQo-IhuMP_xI_-OXlExG8Q9tZeqZQTG6ZOnNb4RjDeeM4VOKyEgck_XgzNbiFsTVNxKC4JtDiMJcpmb/pub?w=726&h=388)
## MLOps
MLOps(Machine Learning Operations)는 머신러닝 모델을 효율적으로 개발, 배포, 운영, 관리하기 위한 방법론, 프로세스, 관행을 의미한다. DevOps, Data Engineering, ML Engineering 의 개념을 결합하여 **자동화**, **재현성**, **관측가능성(모니터링)** 을 강화하는 것이 핵심 목표다.

## MLOps 의 주요 개념
머신러닝은 대량의 데이터를 이용해서 장시간의 작업을 반복적으로 해야 한다. MLOps를 통해서 반복적인 수작업을 줄여서 모델 배포 속도를 높여서 변화하는 환경에 신속하게 대응 할 수 있다. 여기에는 데이터 준비, 전처리, 모델 학습, 검증, 서빙(배포)의 모든 과정의 자동화를 포함하여 **효과적이고 지속적인 모델 개선**이 가능한 환경을 만든다.

많은 개념들이 나올 건데, 이런게 있구나 하고 가볍게 훑고 지나가면 된다.
##### 자동화(Automation)
* 데이터 준비, 모델 학습, 검증, 배포, 모니터링의 전체 과정을 자동화하여 일관된 워크플로우를 구축한다.
* CICD 파이프라인과 통합하여 모델을 신속하게 프로덕션에 반영 할 수 있다.

##### 재현성(Reproductibility)
* DVC(데이터 버전 관리) , 모델 및 실험의 추적 등을 통해 재현 가능한 실험 환경을 유지한다.
* 컨테이너(Docker, Kubernetes)등의 환경을 활용하여 모델을 일관되게 개발하고 배포 할 수 있다.
##### 관측가능성
* 모델의 성능저하(Drift Detection) , 데이터 품질 검증(Data Validation), 이상 감지(Anomaly Detection) 등을 모니터링하여 지속적으로 모델을 관리 한다.
* 프로덕션에 배포된 모델을 모니터링하고, 필요하면 재학습 및 재배포를 자동화 한다.

#### MLOps 파이프라인의 모습
![MLOps](https://docs.google.com/drawings/d/e/2PACX-1vR05-wY5wkdsnggPAL8z26nCsXQfPRSlqgwc4RsR84JxTojeCVv3siyb48NfLGtGu6FTohT221w45ps/pub?w=898&h=620)
MLOps 파이프라인의 전체 모습을 조망해보자.
#### Orchestrated experiment
개발자 및 데이터 사이언티스가 ML 모델 개발 및 실험을 하는 영역이다.
* Data Validation: 데이터의 정합성을 확인하여 모델 학습에 적절한지 검증한다.
* Data Preparation: 데이터 정제, 정규화, 피처 엔지니어링 등을 수행한다.
* Model Training: ML/DL 모델을 학습한다
* Model Evaluation: 학습한 모델의 성능을 평가하고 지표를 레포팅(정확도, F1-Score) 한다.
* Model Validation: 모델이 배포 가능한 품질을 갖추었는지를 검증한다.
* Model Analysis: 모델의 동작을 분석하고 개선점을 찾는다.

#### 소스코드 관리 및 배포
데이터 중심이라는 것을 제외하면 애플리케이션 개발 프로세스와 큰 차이는 없다. 이를 위한 코드 관리 및 배포 과정이 필요하다. 
* Source Code & Source Repository: 모델 학습 코드 및 MLOps 관련 코드를 저장하고 버전을 관리한다.
* Pipeline deployment: 모델을 자동화된 ML 파이프라인에 배포하여, 운영 환경에서 작도앟도록 한다.

#### Automated Pipeline(자동화된 파이프라인)
* Data Extraction: Feature Store에서 Feature와 데이터를 가져온다
* Data Validation: 데이터의 품질 검사를 수행한다.
* Data Preparation: 데이터를 정리하고 변환한다.
* Model Training: ML 모델 학습을 수행한다.
* Model Evaluation & Validation: 모델의 성능을 평가하고 기준을 만족하면 배포할 준비를 한다.

#### Model Registry & Continuous Deployment
데이터로 부터 모델을 만들었다면, 이제 이 모델을 배포해야 할 것이다. CICD에서 **CD(Continues Delivery)** 부분이다.
* Model Registry: 검증된 모델을 저장하고 버전 관리를 수행한다.
* Model Serving: 모델을 프로덕션 환경에 배포하여 사용자에게 서비스 한다.

#### Prediction Service & Performance Monitoring
* Prediction Service: 배포된 모델이 실시간 또는 배치 방식으로 작업을 수행한다.
* Performance Monitoring: 모델의 성능을 지속적으로 모니터링하여 데이터 드리프트, 성능 저하 등을 감지하고 대응한다.

## MLOps 기술 스택
DevOps가 ML 영역으로 확장된 개념이기 때문에 기술 스택의 많은 부분들이 DevOps와 겹친다. DevOps 경험이 있다면 쉽게 개념을 이해하고 기술 스택을 자신의 것으로 만들 수 있을 것이다. 
![MLOps Tech Stack](https://www.automat-it.com/wp-content/uploads/2024/04/%D7%A6%D7%99%D7%9C%D7%95%D7%9D-%D7%9E%D7%A1%D7%9A-2024-04-26-%D7%91-8.28.57.png)

MLOps의 주요 기술 스택에 대해서 알아보자.
1. 버전관리: Git, DVC, MLFlow, **KubeFlow**
2. 모델 관리: MLflow, Weights & Biases, KubeFlow
3. CI/CD: GitHub Action, GitLab CI/CD, Jenkins
4. 배포 및 서빙: Docker, Kubernetes, FastAPI, TensorFlow Serving
5. 모니터링: Prometheus, Grafana, Evidently AI
데이터 수집에서, 서빙/모니터링까지를 다루기 때문에 다양한 기술들이 사용되는 것을 알 수 있다. MLOps는 머신러닝과 서빙에 필요한 GPU 인프라, 웹 애플리케이션 서비스에 필요한 CPU 인프라, 애플리케이션 개발/배포/모니터링 광범위한 영역에 대한 정보가 필요하다. 한마디로 DevOps + 머신러닝 이라고 볼 수 있다.

따라서 툴 한 두개 배웠다고 할 수 있는 것이 아니다. "하나의 여정"이라고 생각하면 된다. 여기에서는 **Kubeflow** 를 기준으로 MLOps를 살펴볼 생각이다.
## Kubeflow
Kubeflow는 **쿠버네티스(Kubernetes)** 기반의 **MLOps 플랫폼** 으로 머신러닝 모델의 개발, 학습, 배포, 모니터링을 자동화할 수 있도록 지원하는 오픈 소스 프로젝트이다. 원래는 Google이 TensorFlow 모델을 쿠버네티스에서 쉽게 실행하기 위해서 개발했지만, 현재는 **PyThorch, XGBoost** 등 다양한 프레임워크를 지원하는 범용 MLOps 플랫폼으로 발전했다.

![Kubeflow](https://docs.google.com/drawings/d/e/2PACX-1vStcWg3qB3wYG8MBdaG4syDDLdzCIG4U84HC-DyMYjn4Y4oEnwI0PNNsO7ddsyMfdy2JZ85Y6lBLYCp/pub?w=673&h=302)

Kubeflow는 Kubernetes를 기반으로 하여, GPU, TPU, CPU에 대한 관리, 격리, 모니터링, 할당은 Kubernetes에 위임하고 모델의 관리/개발/배포에 집중하게 된다.

##### Kubeflow 파이프라인
![Kubeflow Pipeline](https://docs.google.com/drawings/d/e/2PACX-1vSB6DQYgbgW36eZJ3jRaXeBhVGy20p-BNAsKTwZmvF2ZEwTycwTvFpIdwQiZOLDUmkExFKOCKrDbT3x/pub?w=1110&h=500)

Kubeflow는 데이터 준비에서 훈련, 패키징의 전 과정을 지원한다. 이 중 모델 훈련과 테스트에는 GPU가 필요하므로 NVIDIA GPU를 지원하는 도커 런타임이 설치되어 있어야 한다.

##### Kubeflow 핵심 기능
여기에서는 주요 기능을 간단히 나열 할 것이다. 자세한 내용은 실제 설치하고 모델을 돌리면서 살펴볼 것이다.

**파이프라인(Kubeflow Pipelines, KFP)
* 머신러닝 워크플러우를 컨테이너 기반으로 자동화
* 단계별 실행, 실패시 재시도, 파라미터 튜닝 등 지원
* GUI 대시보드를 통해 워크플로우 관리

**Jupyter Notebook 관리**
* 쿠버네티스위에 Jupyter Notebook을 손쉽게 생성 및 관리
* 개발자 및 데이터 사이언티스트간 협력 촉진

**분산 학습(Kubeflow training Operators**
* TensorFlow, PyTorch, XGBoost 등의 분산학습을 지원
* Horovod 등을 활용한 멀티 GPU 학습

**모델 서빙(Kuberflow Serving)**
* KServe(KFServing) 를 통해 모델을 실시간 서빙
* TensorFlow Serving, TorchServe, Triton Inference Server 등의 서빙 엔진 지원
* 오토 스케일링, A/B 테스트, Canary 배포 지원

**실험 및 모델 관리(ML Metadata, Katib)**
* 실험 결과를 추적 및 저장
* Katib를 활용하여 자동화된 하이퍼파라미터 최저화 지원

##### Kubeflow를 사용하는 이유
쿠버네티스 환경에 최적화되어 있어서 클라우드/온-프레미스에 상관없이 사용 할 수 있다. 초기 설정이 다소 복잡하다는 단점이 있기는 하지만, 기능 측면에서도 부족함이 없는 툴이다.

| 기능         | Kubeflow | MLflow | SageMaker | Vertex AI |
| ---------- | -------- | ------ | --------- | --------- |
| 쿠버네티스 기반   | ✅        | ❌      | ❌         | ✅         |
| ML 파이프라인   | ✅        | ✅      | ✅         | ✅         |
| 하이퍼파라미터 튜닝 | ✅        | ✅      | ✅         | ✅         |
| 모델 서빙      | ✅        | 일부 지원  | ✅         | ✅         |
| 모니터링       | ✅        | ✅      | ✅         | ✅         |

## Kubeflow 테스트 환경 
아래와 같은 사양의 로컬 PC에서 Kubeflow를 설치하고 테스트할 것이다.
* 운영체제: Ubuntu 24.10 
* Docker Engine: 27.4.0
* CPU: AMD Ryzen 5 5600X 6-Core Processor
* RAM: 32G
* GPU: NVIDIA GeForce RTX 4060 VRAM 16G 
* Kubernetes: Minikube를 이용해서 로컬 PC에 쿠버네티스 환경을 구성한다

## NVIDIA GPU 드라이버 설치하기
🚧 크지 않은 데이터를 이용해서 학습목적으로 MLOps를 테스트 할 경우 GPU는 필수가 아니다. GPU가 없거나 설정하기 귀찮다면 이 부분은 넘어가도 된다.

우분투 리눅스에서는 *ubuntu-drivers* 를 이용해서 최적의 드라이버를 자동으로 추천하고 설치 할 수 있다.
```
sudo ubuntu-drivers autoinstall
```

이 명령을 내리면 시스템에 맞는 최적의 NVDIA 드라이버를 자동으로 설치한다. 설치 후에는 시스템을 재부팅한다.

설치가 완료되면 *nvidia-smi* 명령을 이용해서 GPU가 제대로 인식되는지 확인 할 수 있다.
```
$ nvidia-smi
Sun Mar  9 14:27:58 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off |   00000000:0B:00.0  On |                  N/A |
|  0%   43C    P8             20W /  165W |     464MiB /  16380MiB |     12%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

```

## NVIDIA Container Toolkit 설치
🚧 크지 않은 데이터를 이용해서 학습목적으로 MLOps를 테스트 할 경우 GPU는 필수가 아니다. GPU가 없거나 설정하기 귀찮다면 이 부분은 넘어가도 된다.

[Installing the NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html)

```shell
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
```

저장소를 업데이트 한다.
```
sudo apt-get update
```

NVIDIA Container Toolkit 패키지를 인스톨 한다.
```
sudo apt-get install -y nvidia-container-toolkit
```

도커를 리스타트 한다.
```
sudo systemctl restart docker
```

도커 컨테이너가 GPU를 인식하는지 테스트한다. 아래와 같이 GPU 정보가 출력되면 성공이다.
```
$ docker run --gpus all ubuntu nvidia-smi
Sat Mar  8 01:23:34 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off |   00000000:0B:00.0  On |                  N/A |
|  0%   45C    P8             19W /  165W |     531MiB /  16380MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
+-----------------------------------------------------------------------------------------+

```

## Minikube
Kubeflow를 사용하기 위해서는 쿠버네티스 클러스터가 있어야 하는데, **minikube**를 이용하면 개인 PC에도 간단하게 쿠버네티스 환경을 구성 할 수 있다.

여기에서는 Minikube 설치를 위한 최소한만 소개한다. Minikube와 Kubernetes에 대해서 자세히 알고 싶다면 [Minikube와 함께하는 Kubernetes Study 문서를 참고하자](https://www.joinc.co.kr/w/kubernetes_minikube_index) 
#### kubectl 
Minikube를 설치하려면 Kubernetes를 관리하는 **kubectl** 을 설치해야 한다. 우분투 리눅스에서는 아래와 같이 간단하게 설치 할 수 있다.

저장소를 등록하고
```
sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl
curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo tee /etc/apt/trusted.gpg.d/kubernetes.asc
```

kubectl 패키지를 설치한다.
```
sudo apt update
sudo apt install -y kubectl
```

kubectl이 잘 설치됐는지 확인해보자. 실행되면 성공이다.
```
$ kubectl version                                     
Client Version: v1.31.6-dispatcher
Kustomize Version: v5.4.2
Unable to connect to the server: dial tcp 192.168.49.2:8443: connect: no route to host
```
아직은 (minikube를 이용해서) 쿠버네티스 환경이 구성되지 않았기 때문에 connect 에러가 떨어질 것이다.
#### Minikube 설치
minikube를 다운로드 하고 설치한다.
```
curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube
```

버전을 확인해보자.
```
$ minikube version
minikube version: v1.35.0
commit: dd5d320e41b5451cdf3c01891bc4e13d189586ed-dirty
```

minikube를 실행한다.
```
 minikube start --cpus 4 --memory 8192 --disk-size=50g
```

minikube를 이용해서 만들어진 네트워크는 private 네트워크로, 로컬 PC에서 직접 접근 할 수 없다. minikube tunnel 명령을 이용해서 로컬에서 접근 가능하도록 한다.
```
$ minikube tunnel
Status:
        machine: minikube
        pid: 114312
        route: 10.96.0.0/12 -> 192.168.39.132
        minikube: Running
        services: []
    errors: 
                minikube: no errors
                router: no errors
                loadbalancer emulator: no errors

```

kubectl을 이용해서 쿠버네티스 환경이 잘 만들어졌는지 확인한다.
```
$ kubectl cluster-info             
Kubernetes control plane is running at https://192.168.49.2:8443

$ kubectl get nodes                                   
NAME       STATUS   ROLES           AGE   VERSION
minikube   Ready    control-plane   21h   v1.32.0
```

## Kubeflow
#### Kubeflow 설치
Kubeflow는 **kubeflow/manifests** 저장소를 사용하여 설치 할 수 있다.
#### Kustomize 설치
Kubeflow는 **Kustomize** 를 사용하여 배포한다. Kustomize는 Kubernetes 객체 구성을 정의하는 도구다. Kustomize를 이용하면 기존 Kubernetes 매니페스트 파일을 기반으로 애플리케이션 배포를 구성할 수 있다.

```
curl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh" | bash
sudo mv kustomize /usr/local/bin/
```

#### Kubeflow Manifest 다운로드
```
git clone https://github.com/kubeflow/manifests.git
git checkout v1.8.0
cd manifests
```

#### 설치 및 실행
kubeflow 배포를 위해서 "kubeflow" 네임스페이스를 만든다.
```
kubectl create namespace kubeflow
```
kustomize를 이용해서 kubeflow를 설치한다.
```
while ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done
```

#### Kubeflow 상태 확인
```
$ kubectl get pods -n kubeflow

NAME                                                     READY   STATUS    RESTARTS         AGE
admission-webhook-deployment-69976d468d-ldb8d            1/1     Running   1 (12h ago)      12h
cache-server-54dd59f65c-bl4q7                            2/2     Running   2 (12h ago)      12h
centraldashboard-76965b8847-469ck                        2/2     Running   2 (12h ago)      12h
jupyter-web-app-deployment-69995b57db-6ft76              2/2     Running   2 (12h ago)      12h
katib-controller-78f4cbc88f-lgwh7                        1/1     Running   2 (2m36s ago)    12h
katib-db-manager-5ddf8fd5f4-b6pfr                        1/1     Running   10 (48s ago)     12h
katib-mysql-5dfcbbc87f-qwknq                             0/1     Running   2 (12h ago)      12h
katib-ui-6887769bf8-d7zkm                                2/2     Running   2 (12h ago)      12h
kserve-controller-manager-9b9ff6875-dbbgl                2/2     Running   2 (12h ago)      12h
kserve-models-web-app-965b75bdf-8dbbt                    2/2     Running   2 (12h ago)      12h
kubeflow-pipelines-profile-controller-68469d866f-x7n7f   1/1     Running   1 (3m15s ago)    12h
metacontroller-0                                         1/1     Running   2 (2m32s ago)    12h
metadata-envoy-deployment-5f5d6986b9-trpnj               1/1     Running   1 (12h ago)      12h
metadata-grpc-deployment-76d6fb49f8-rmjkv                2/2     Running   11 (2m23s ago)   12h
metadata-writer-765c7b9664-2v92p                         2/2     Running   7 (12h ago)      12h
minio-847b65dd88-4nw2k                                   2/2     Running   2 (12h ago)      12h
ml-pipeline-64f8c78ddc-lz2cv                             2/2     Running   5 (12h ago)      12h
ml-pipeline-persistenceagent-744467d649-ggkz6            2/2     Running   2 (12h ago)      12h
ml-pipeline-scheduledworkflow-5f55545d8c-vwd82           2/2     Running   2 (12h ago)      12h
ml-pipeline-ui-776b8f4456-mfgnv                          2/2     Running   2 (3m15s ago)    12h
ml-pipeline-viewer-crd-644ddd8f94-jzcs6                  2/2     Running   5 (2m41s ago)    12h
ml-pipeline-visualizationserver-76495876dc-424sn         2/2     Running   2 (3m15s ago)    12h
mysql-767f4d9f9b-fzthf                                   2/2     Running   2 (12h ago)      12h
notebook-controller-deployment-76445ffdf9-jmt22          2/2     Running   5 (2m40s ago)    12h
profiles-deployment-576bc6dc96-4njrj                     3/3     Running   7 (2m20s ago)    12h
pvcviewer-controller-manager-6fc5985fd9-mzmrs            3/3     Running   7 (2m24s ago)    12h
tensorboard-controller-deployment-66f4ff67b9-vljbf       3/3     Running   6 (2m40s ago)    12h
tensorboards-web-app-deployment-7b78c4d6c-4sc79          2/2     Running   2 (12h ago)      12h
training-operator-549d6b4bfb-fcc8j                       1/1     Running   1 (12h ago)      12h
volumes-web-app-deployment-55cd5bbd4f-cgsdj              2/2     Running   2 (12h ago)      12h
workflow-controller-7dd7dfd785-crmgv                     2/2     Running   5 (2m37s ago)    12h

```

#### Kubeflow Dashboard
포트포워딩을 통해서 kubeflow dashboard 에 접근 할 수 있다.
```
kubectl port-forward -n istio-system svc/istio-ingressgateway 8080:80
```
localhost:8080 으로 접근한다. 기본 아이디 패스워드는 아래와 같다.
* User name: user@example.com
* 비밀번호: 12341234

![Kubeflow Dashboard](https://docs.google.com/drawings/d/e/2PACX-1vSgYS0EQaz9-KwcPw_GvvTU9dRIt1uLvt9Ecw1vFFPpPeWbZ_yhNuUX2hsa_gB01I6pHt-cWmWLjGCY/pub?w=930&h=501)

개발자 및 데이터 사이언티스트는 kubeflow를 이용해서 머신러닝 워크플로우를 시각적으로 관리하고 모니터링 할 수 있다. 사용자는 아래와 같은 일들을 할 수 있다.

#### Kubeflow 구성요소 관리
1. Notebooks: Jupyter 노트북 서버를 관리하고 생성해서 데이터 탐색, 모델 개발 및 실험을 수행 할 수 있다.
2. **Pipelines**: 머신러닝 워크플로우를 파이프라인 형태로 시각화하고 실행, 모니터링 할 수 있다.
3. Katib: 하이퍼파라미터 튜닝 작업을 관리하고 결과를 시각적으로 확인할 수 있다.
4. KFServing: 모델 서빙을 관리하고 배포된 모델의 상태를 모니터링 할 수 있다.
5. Volumes: Kubeflow에서 사용하는 persistant 볼륨을 관리한다
6. TensorBoards: 텐서보드 인스턴스를 관리하고 학습 과정을 시각화 할 수 있다.
7. 파이프라인 실행 상태, 모델 배포 상태, 리소스 사용량 등 Kubeflow 워크플로우의 전반적인 상태를 실시간으로 모니터링 할 수 있다.

## 정리
오늘은 MLOps의 개념을 살펴보고 대표적인 오픈소스 MLOps 플랫폼인 Kubeflow를 설치했다. 다음 포스트에서는 Pipeline을 개발하고 간단한 ML 워크로드를 실행해보겠다.

Search For:

BY TAGS

Recent Posts

Archive Posts

Tags

About

Get in Touch

Categories