LLama-3.2-Vision 테스트

Recommanded Free YOUTUBE Lecture: <% selectedImage[1] %>

yundream
2025-02-09
2025-02-09
175

## LLama 3.2-Vision
LLama는 메타에서 개발하고 있는 오픈소스 LLM 제품이다. 오픈소스이기 때문에 연구 및 학습 목적으로 자유롭게 사용 할 수 있으며, 특히 컴퓨팅 성능이 제한적인 환경에서도 활용할 수 있도록 다양한 크기의 버전이 제공되고 있다.

메타는 OpenAI에 비해서 LLM에 늦게 뛰어들었지만 2023년 2월 Llama 출시 후   2024년 12월 까지 불과 2년만에 3.3 까지 출시하며 생성-AI에 역량을 집중하고 있다.

| 이름        | 출시일          | 매개변수                 | 컨텍스트 길이(토큰) |
| --------- | ------------ | -------------------- | ----------- |
| Llama     | 2023년 2월 24일 | 6.7B 13B 32.5B 65.2B | 2048        |
| Llama 2   | 2023년 7월 18일 | 6.7B 13B 69B         | 4096        |
| 코드 Llama  | 2023년 8월 24일 | 6.7B 13B 33.7B 69B   |             |
| Llama 3   | 2024년 4월 18일 | 8B 70.6B             | 8192        |
| Llama 3.1 | 2024년 7월 23일 | 8B 70.6B 405B        | 128,000     |
| Llama 3.2 | 2024년 9월 25일 | 1B 3B 11B 90B        | 128,000     |
| Llama 3.3 | 2024년 12월 7일 | 70B                  | 128,000     |
숨가쁘게 달려왔음을 알 수 있다.

오늘 테스트할 **Llama 3.2-Vision** 은 제품으로 **이미지 이해, 분석, 추론** 이 가능한 멀티모달 제품이다.

![Llama 3.2 vison](https://docs.google.com/drawings/d/e/2PACX-1vSblPrA4k0XFhZmoeo-ZPyWT54oqkzXs1a3k0KU9V-4HVfxzCB5LotI3IPTcfodVoukifV6uqbvEYbz/pub?w=1572&h=934)

### 테스트 환경
개인 데스크탑에서 테스트 했다. 테스트 환경은 다음과 같다.
* CPU: AMD Ryzen 5 5600x 6-Core Processor   
* GPU: NVIDIA GeForce RTX 4060 Ti VRAM 16G 
* 운영체제: 우분투 리눅스 24.10
* ollama 0.4.6
* Llama 3.2 vision
* Python 3.12.7
* vscode

데스크탑에서 생성-AI 모델 테스트는 RTX 4060Ti 가 슈퍼 가성비라고 할 수 있다. VRAM 16G이고 가격도 (2025년 2월 현재)60만원 정도인데, 이 정도면 20B 정도의 모델을 돌릴 수 있다.  그 위로는 70B 모델로 사이즈가 커지는데, 700 만원에 육박하는4090 사봤자 24GB 라서 2대를 묶어서 1000만원 이상으로 구성해야 하기 때문이다.

### ollama 설치 및 Llama 3.2 vision 모델 설치
ollama를 이용하면 개인 데스크탑 환경에서 간단하게 생성-AI 모델을 다운로드 / 실행 하여 테스트 할 수 있다.

**다운로드 및 설치**
```
sudo curl -fsSL https://ollama.com/install.sh | sh
```

**실행**
```
ollama serve
```

**모델 Pull**
모델을 다운로드한다. ollama가 지원하는 모델은 https://ollama.com/library 에서 확인 할 수 있다.
```
ollama pull llama3.2-vision:11b
```

**모델 확인**
로컬에 설치된 모델을 확인해 보자.
```
ollama list                    
NAME                   ID              SIZE      MODIFIED     
llama3.2-vision:11b    38107a0cd119    7.9 GB    2 months ago    
llama3.2:latest        a80c4f17acd5    2.0 GB    3 months ago    
llama3.2:3b            a80c4f17acd5    2.0 GB    3 months ago    
```

**모델 테스트**
모델이 잘 실행되는지 테스트 한다.
```
$ ollama run llama3.2-vision:11b
>>> 안녕하세요.
안녕하세요! 오늘 뭐 계세요?

>>> 당신은 누구인가요.
저는 인공지능 기반의 언어 모델입니다. 여러 가지 질문이나 대화를 나눌 수 있는 서비스를 제공하는 플랫 폼에 포함된 AI입니다. 다양한 주제에 대한 정보나 도움을 드릴 수 있어요!

>>> Send a message (/? for help)
```

### OCR과 멀티모달 이미지 처리의 차이 
멀티모달 전에도 OCR을 이용해서 이미지를 처리했다. LLM의 멀티모달과 OCR과는 아래와 차이를 가지고 있다.

| 특징  | OCR                                            | 멀티모달                                               |
| --- | ---------------------------------------------- | -------------------------------------------------- |
| 원리  | 이미지의 텍스트를 변환하여 분석                              | 텍스트, 이미지 등 다양한 데이터를 통합 분석                          |
| 활용  | 텍스트 중심                                         | 텍스트-이미지 통합                                         |
| 능력  | 텍스트 추출                                         | 맥락, 의미 파악                                          |
| 장점  | 텍스트의 추출에 특화, 문서 이미지, 간판, 영수증 등에 효과적            | 이미지 맥락, 의미파악능력 우수, 객체인식, 장면 이해, 요약/분석 등 까다로운 능력    |
| 단점  | 이미지 전체 내용 이해 부족, 텍스트 위주 분석으로 이미지 자체의 정보 활용 제한적 | OCR에 비해 텍스트 영역을 특정하는 정확도가 낮을 수 있음, 더 많은 컴퓨터 리소스 소비 |
가장 중요한 차이는 "멀티모달은 이미지의 맥락과 의미를 파악 할 수 있다는 점" 일 것이다. 이 차이를 이해하고 테스트를 진행해보자.

### 이미지 분석 테스트
LLM 테스트 할 때는 영어를 사용하는 경우가 많은데, 한국어 능력도 테스트할 겸 한국어로 테스트를 했다.

**테스트 코드 만들기**
작업 디렉토리로 이동해서 python 가상환경을 설정한다. 
```
cd workspace/vision
virtuanenv venv
source venv/bin/activate
pip install ollama
```
**python 코드**
```python
import ollama

response = ollama.chat(
    model='llama3.2-vision:11b',
    messages=[{
        'role': 'user',
        'content': '이미지를 설명 해주세요',
        'images': ['image.jpg']
    }]
)

print(response)
```
이미지를 바꿔가며 테스트를 진행했다.

### 테스트

##### 이미지 객체 식별
![](https://watermark.lovepik.com/photo/20211208/large/lovepik-fresh-fruit-still-life-photography-picture_501585392.jpg)

**💬 Input** 
Please find objects in the image.

**🤖 OutPut** 
The image depicts a variety of fruits and vegetables, including:
* Lemons
* Grapes
* Apples
* Strawberries
* Pineapple
* Oranges
* Bananas
* A bowl or pot
* A knife
* A cutting board
* A brown cloth
* A wooden tray

There are also some leaves visible in the image, likely from a plant or tree

----
이미지에 포함된 객체 대부분을 잘 인식하고 있다.

##### 텍스트 추출
![](https://docs.google.com/drawings/d/e/2PACX-1vS0noto7XD96uvxSG_Nqctl6i9aWTo4AHeKKQdvA_BsB4FRH72ZJgG3bnzdCVOv3J3QWaTHhDQOvZI8/pub?w=1568&h=1114)

**💬 Input** 
이미지의 내용을 한국어로 설명해주세요

**🤖 OutPut** 
이미지는 "User Manual for Cassie Robinson"이라고 적혀있는 제목과 함께, 사용자에 대한 정보를 담고 있는 표입니다.

표는 9개의 카테고리로 나누어져 있으며, 각 카테고리는 다음과 같습니다.
1. **Conditions I like to work in**: 
	- 조용한 환경
	- 집에서 일할 수 있는 공간
	- 따뜻한 방
2. **The times/hours I like to work**:
	- 10시부터 14시까지 일하기를 좋아함
	- 주말에는 일하지 않음
3. **The best ways to communicate with me**:
	- Slack을 사용하여 빠른 응답을 받기 원함
	- 텍스트 메시지를 통해 연락하기를 원함
4. **The ways I like to receive feedback**:
	- 피드백이 직접적인 것과 간접적인 것을 모두 좋아함
	- 피드백의 형식에 대한 예시는 제공되지 않음
5. **Things I need**:
	- 아이디어 세션을 위해 다른 사람들과 함께 일하기를 원함
	- 시간을 반영하여 일할 수 있는 환경이 필요함
6. **Things I struggle with**:
	- 비판적이고 논리적인 사고가 어려움
	- 목표와 이유에 대한 이해가 부족함
7. **Things I love**: 다른 사람들과 함께 일하기를 좋아함
	- 팀을 구성할 때는 개인의 특성을 고려해야 함
8. **Other things to know about me**:
	- INFP/INFJ 타입임
	- 차가운 음료를 마시지 않음
	
이미지는 사용자의 취향과 선호도에 대한 정보를 제공합니다. 사용자는 조용한 환경에서 일하고, 집에서 일할 수 있는 공간을 좋아하며, 따뜻한 방에서 일하기를 원합니다. 또한, 10시부터 14시까지 일하기를 좋아하고, 주말에는 일하지 않습니다. 사용자는 Slack을 통해 빠른 응답을 받기 원하고, 텍스트 메시지를 통해 연락하기를 원합니다. 피드백에 대한 선호도는 직접적인 것과 간접적인 것을 모두 좋아하며, 예시는 제공되지 않습니다. 사용자는 아이디어 세션을 위해 다른 사람들과 함께 일하기를 원하고, 시간을 반영하여 일할 수 있는 환경이 필요합니다. 비판적이고 논리적인 사고가 어려우며, 목표와 이유에 대한 이해가 부족합니다. 또한, 다른 사람들과 함께 일하기를 좋아하며, 팀을 구성할 때는 개인의 특성을 고려해야 합니다. 사용자는 INFP/INFJ 타입이며, 차가운 음료를 마시지 않습니다.

----
문서의 내용을 한글로 번역하여 추출/요약하고 있다.

#### 맥락 및 감성 분석 
![트럼프](https://docs.google.com/drawings/d/e/2PACX-1vQ6-aj-MP0TYwaqxaaq4ZDpxUoO_nwFW8LxVIL1lQcDstXCjWrya7INjCxL_1odK5BqY12LTcbu3w2T/pub?w=1028&h=682)

**💬 Input** 
이미지를 설명 해주세요

**🤖 OutPut**
이 사진은 뉴욕의 타임스 스퀘어이다. 이 곳은 미국에서 가장 붐비는 지역 중 하나로, 많은 관광객들이 방문한다.

이 사진에는 여러 가지 요소가 있다. 첫 번째로, 타임스 스퀘어에 있는 빌딩과 광고판이 보인다. 이 건물들은 뉴욕의 대표적인 랜드마크 중 하나이며, 타임즈 스퀘어의 중심부를 차지하고 있다.

두 번째로, 사진에는 많은 사람들로 가득 찬 거리가 보인다. 이 곳은 뉴욕에서 가장 붐비는 지역 중 하나로, 많은 관광객들이 방문한다. 사람들이 주로 걸을 뿐만 아니라 타워링을 타고도 있다.

세 번째로, 사진에는 여러 광고판이 보인다. 이 광고판들은 타임스 스퀘어의 주요 특징 중 하나이다. 이 곳은 광고판의 도시라고 불리며, 많은 회사들이 여기서 광고를 한다.

마지막으로, 사진에는 미국 국기가 보인다. 이 국기는 타임스 스퀘어에 있는 여러 건물과 함께 사진 속에서 가장 눈에 띄는 요소 중 하나이다.

이미지의 배경은 뉴욕의 타임스 스퀘어를 보여주고 있다. 이 곳은 미국에서 가장 붐비는 지역 중 하나로, 많은 관광객들이 방문한다. 이 곳에는 여러 가지 요소가 있는데, 빌딩과 광고판, 사람들, 그리고 미국 국기가 포함되어 있다.

----
장소, 주요 오브젝트, 주변 분위기를 잘 설명하고 있다.

![Test2](https://docs.google.com/drawings/d/e/2PACX-1vQ-6ksCvbGymoARX3ltv0fByfgbIzNwHOP4wolGnfEGiIpUNoqrlQg3mpIyYVK1BQ7eg1sd7VHrX6L4/pub?w=654&h=440)

**💬 Input** 
이미지의 감성/느낌을 설명해주세요.

**🤖 OutPut** 
이 사진은 스포츠 경기장에서 관중들이 열렬하게 응원하는 장면입니다. 관중들은 모두 빨간색의 티셔츠를 입고 있으며, 대부분이 손을 들고 응원하고 있습니다. 관중들의 표정은 흥분과 감동으로 가득 차 있으며, 모두가 함께 한 번에 외치는 듯한 모습을 보이고 있습니다. 이 사진 속의 장면은 스포츠 경기에서 가장 중요한 요소 중 하나인 관중들의 열렬한 응원을 잘 표현하고 있습니다.

#### 상태분석
![](https://docs.google.com/drawings/d/e/2PACX-1vTuX6f_LU5crpAP1dr2_Ix_yexaEmwF0-E1RSqGHsY-cMpCQdy5mvLZulxOHcAkmq5IfZJOdgKs-Az5/pub?w=618&h=393)
**💬 Input** 
You are an inspector who inspects the package for damage. Please report if there is any damage to the package. The report includes the following information. If there is no damage, please print it as normal.
* Damage type: tear, hole, crumpled
* Damage level: 1 to 5

**🤖 OutPut** 
* Damage Type: Tear
* Damage Level: 3

The package has a noticeable tear on one side, which is approximately 2-3 inches long and 1 inch wide. The tear appears to be caused by rough handling during transit, as it does not seem to have been pre-existing or intentional.

---
![](https://docs.google.com/drawings/d/e/2PACX-1vTicjr2m-82cQaGEH_AzZ3lG2BPNV3vLiFI1yyLbk7ry663Q3-88dQR087KHL-flgtuKFx1k37YrMY_/pub?w=642&h=484)

**🤖 OutPut** 
**Damage Report**
The package does not exhibit any visible signs of damage. Therefore, I do not observe any tears, holes, or crumpling that would warrant a damage report.

**Inspection Result:** No Damage Found

----
Flux.1 으로 생성한 테스트 이미지

![](https://docs.google.com/drawings/d/e/2PACX-1vRjwQo3Mbqfcowldq3v6p6r1sspEJWckeuSOlqd1E5YpLQ97-FrQtAcmByaKmuMM7pgwMG_NBQOim3m/pub?w=898&h=1152)

**🤖 OutPut** 
**Damage Report**

Upon inspecting the package, I did not observe any visible signs of damage. The packaging appears to be intact and free from any tears, holes, or crumpling.

* ***Damage Type:** None
* ***Damage Level:** N/A

The package is in good condition, with no noticeable defects or imperfections.

---

![](https://docs.google.com/drawings/d/e/2PACX-1vQpLh7TZOxWaPAb5fr3fAivP80Rco8c-k1ZraWmmzZSYq1ZgGlpx5oT_GI0iOzjUpu1nUSqvwnhMZan/pub?w=706&h=507)

**💬 Input** 
Please analyze and report if you have sickle cell symptoms.

**🤖 OutPut** 
Based on the image, it appears that the blood smear shows a high percentage of red blood cells with sickled shapes. This is consistent with sickle cell disease (SCD), which is caused by a mutation in the hemoglobin gene that leads to abnormal hemoglobin production and red blood cell deformation.

**Answer:** Yes

----
인터넷에서 겸상적혈구 사진을 하나 찾은 다음 분석을 맡겼다. 단순히 "혈액 셈플을 분석해 주세요" 했을 때는 겸상적혈구를 검출하지는 못했다.

![](https://docs.google.com/drawings/d/e/2PACX-1vRDI433YGoYVf1EYmTxZzNB0xPImIV-Yah9-hX-87rmN0Rpow-R-ZXyveKxAxjC_PcUKoCEKPOcEw32/pub?w=602&h=393)

**💬 Input** 
Please analyze my MRI scan images.

**🤖 OutPut** 
MRI 스캔 이미지에 대한 포괄적인 분석을 제공하기 위해 다음 단계를 따릅니다.
* **MRI 시퀀스 유형 식별**: 이미지는 일반적으로 뇌의 병변과 이상을 감지하는 데 사용되는 T2 가중 MRI 시퀀스인 것으로 보입니다.
* **병변의 위치와 모양 분석**:
	* 병변은 오른쪽 전두엽에 위치합니다.
	* 경계가 잘 정의되어 있으며 주변 뇌 조직에 비해 약간 저신호입니다.
	* 병변과 관련된 상당한 덩어리 효과나 부종이 없습니다.
* **위치와 모양에 따른 감별 진단 고려**:
	* 전두엽에 위치한다는 점을 감안할 때 가장 먼저 고려해야 할 사항 중 하나는 과소교종과 같은 저등급 신경교종입니다.
	* 경계가 잘 정의되어 있으면 양성이거나 느리게 자라는 종양을 시사할 수 있습니다.
* **다른 이상 여부 평가**:
	* 이 이미지에서 다른 중요한 이상은 보이지 않습니다.
* **추가 영상 또는 임상 정보 고려**:
	* 조영 증강 MRI, 확산 강조 영상(DWI) 또는 자기 공명 분광법(MRS)을 사용한 추가 평가는 병변의 특성과 범위에 대한 더 자세한 정보를 제공할 수 있습니다.
	* 임상 병력 및 증상도 진단에 영향을 미칠 수 있지만 이 이미지에만 근거하면 저등급 신경교종이 타당한 고려 사항입니다.
* **결론**: 전두엽의 위치와 병변의 모양이 약간의 저신호로 잘 정의되어 있으므로 추가 조사를 위한 주요 고려 사항 중 하나는 저등급 신경교종입니다. 그러나 확실한 진단을 위해서는 추가 영상 또는 임상 정보가 필요합니다.

## 정리
11b 의 작은 크기를 가졌지만 인상적인 성능을 보여줬다. Fine-Tunning 까지 한다면, 의료/제조/이-커머스/소셜 네트워크 등에서 활용 할 수 있을 것으로 예상 된다. 
1. AI 기반 이미지 설명 생성: 이미지를 설명하는 자연어를 생성 할 수 있다. 멀티모달은 텍스트 추출 뿐만 아니라 장소, 인물, 분위기를 추출 할 수 있기 때문에 이를 다양한 서비스에 접목 할 수 있을 것이다.
2. 이미지 검색 및 필터링: 이미지 내용에 대한 분석을 통해서 사용자 맞춤형 검색 결과를 제공 할 수 있을 것이다.
3. 스마트 쇼핑: 이미지 인식과 텍스트 추천을 결합하여 사용자가 업로드한 이미지 혹은 묘사한 내용을 기반으로 유사 제품을 추천할 수 있다.
4. 의료: 의료 이미지에 대한 분석이 가능 하다. 다만 ML 기반의 Vision API를 사용하는 것이 더 나을 수 있는데, 왜냐하면 의료 이미지는 "맥락" 추출 보다는 정확한 정보를 추출 하는게 중요하기 때문이다. 멀티모달이 비 결정적이라는 점도 의료와 같이 엄격한 정보를 필요로 하는 분야에서 ML을 대체 할 수는 없을 것이다. 하지만 의료 업무 프로세스에서 텍스트와 결합한 부분에서 보조자 역할로 사용 할 수 있을 것이다.

## 참고
* [Deploy and Chat with Llama 3.2-Vision Multimodal LLM Using LitServe, Lightning-Fast Inference Engine](https://lightning.ai/bhimrajyadav/studios/deploy-and-chat-with-llama-3-2-vision-multimodal-llm-using-litserve-lightning-fast-inference-engine?section=featured)

Search For:

BY TAGS

Recent Posts

Archive Posts

Tags

About

Get in Touch

Categories