Ollama - Llama 3 한글 모델 테스트

Recommanded Free YOUTUBE Lecture: <% selectedImage[1] %>

yundream
2024-07-20
2024-07-20
1467

### Ollama
Ollama는 로컬 머신에서 LLM을 실행할 수 있는 플랫폼을 제공하는 오픈 소스 프로젝트다. Ollama를 이용하면 LLM에 간단하게 접근 해서 학습 할 수 있다는 장점도 제공하지만 sLLM 으로 활용 가능하다는 점도 큰 장점이 될 수 있다.

여기에서는 Llama3를 기본 모델로하여 한글 프리트레이닝(Pre-training)된 모델을 로컬 PC에서 실행해 보려한다.

### 테스트 환경
* 우분투 리눅스 24.04
* GPU: NVIDIA GeForce GTX 1660 SUPER
* AMD Ryzen 5 5600X
* Memory: 32G
* LLM: llama-3-Korean-Bllosoom-8B-gguf-Q4_K_M
### Ollama 설치
```
curl -fsSL https://ollama.com/install.sh | sh
```
실행 하면 리눅스 서비스로 등록되고 바로 실행된다. systemctl 명령으로 관리 할 수 있다.
```
sudo systemctl status ollama
sudo systemctl start ollama
sudo systemctl stop ollama
```
Ollama 서비스가 작동 중인지 테스트해보자.
```
$ curl localhost:11434 -i
HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Date: Fri, 12 Jul 2024 11:37:28 GMT
Content-Length: 17

Ollama is running%                     
```

### Llama 3
Llama 3는 Meta에서 2024년 출시한 LLM이다. 이전 버전인 Llama2에 비해서 성능이 크게 향상됐으며, 80억 개의 매개변수를 가지고 있는 **8B**와 700억 매개변수를 가지는 **70B** 두 개 버전을 제공하고 있다.

70B는 **GPT-4 보다 뛰어난 성능**을 가지고 있다고 한다. 테스트를 해보고 싶지만 상당한 비용과 시간을 투자해야 하니 로컬 PC에서도 돌릴 수 있는 Llama 3 8B를 가지고 테스트를 진행했다.
##### Llama 3 테스트
한글 모델을 테스트하기 전에 Llama 3 모델을 테스트해보기로 했다. llama3 모델을 설치한다.
```
ollma run llama3 
```
이제 llama3 모델이 보일 것이다.
```
$ ollama list
NAME         	ID          	SIZE  	MODIFIED           
llama3:latest	365c0bd3c000	4.7 GB	About a minute ago	
llama2:latest	78e26419b446	3.8 GB	4 months ago      	
```

현재 내 로컬 PC에는 llama3와 llama2 2 개의 모델이 설치돼 있다. ollama run 명령으로 CLI 기반에서 테스트를 할 수 있다.
```
$ ollama run llama3
>>> POST 방식으로 API를 호출하는 GoLang 예제 코드를 알려줘.
GoLang에서 POST 방식으로 API를 호출하는 예제 코드는 다음과 같습니다.

package main

import (
    "bytes"
    "fmt"
    "io/ioutil"
    "net/http"
)

func main() {
    // API URL
    url := "https://api.example.com/api"

// Request Body
    requestBody := []byte(`{"name": "John", "age": 30}`)

// Create a new HTTP request
    req, err := http.NewRequest("POST", url, bytes.NewBuffer(requestBody))
    if err != nil {
        fmt.Println(err)
        return
    }

// Set the content type of the request body to JSON
    req.Header.Set("Content-Type", "application/json")

// Create a new HTTP client
    client := &http.Client{}

// Send the request and get the response
    resp, err := client.Do(req)
    if err != nil {
        fmt.Println(err)
        return
    }
    defer resp.Body.Close()

// Read the response body
    body, _ := ioutil.ReadAll(resp.Body)

// Print the response status code and body
    fmt.Println(resp.StatusCode)
    fmt.Println(string(body))
}

위 코드에서는 `net/http` 패키지를 사용하여 POST 요청을 보내는 것을 보여줍니다. `NewRequest` 함수를 사용하여 새로운 
HTTP 요청을 생성하고, 요청의 메서드(`POST`)와 URL을 설정합니다. 또한 요청 바디의 콘텐츠 유형을 JSON으로 설정합니다.

이후에는 이 요청을 서버에 보낼 수 있습니다. 그리고 받은 응답의 상태 코드와 바디를 출력합니다.

참고: 위 코드에서는 API의 실제 URL과 요청 바디를 교체해야 합니다.
```

매우 훌륭해 보이지만 몇 번 테스트하다보면 한국어 품질이 떨어지는 걸 체감 할 수 있을 것이다.
```
>>> 대한민국의 제헌절에 대해서 설명해줘. 한국어로 대답해줘.
🇰🇷
제헌절은 대한민국의 헌법이 제정된 날을 의미하는 기념일입니다. 1948년 7월 17일에 제헌절이 제정되었습니다. 이날에는 대한민국의 헌법이 제정되면서 대한민국의 새로운 정치 체제가 출범하게 되었으며, 이에 따라 자유민주체제를 표방하는 새로운 국가체제가誕生했습니다.

제헌절은 모든 국민이 참여하여 헌법을 제정하고, 이를 기념하는 날입니다. 이날에는 각종 행사와 축하 행사가 열리며, 국가의 헌법을 존중하는 정신을 함축합니다.

따라서 제헌절은 대한민국의 헌법과 민주주의 체제를 기념하는 중요한 날로, 모든 국민이 함께 참여하여 헌법의 뜻을 되새기고 새로운 국가를 건설하는 데 적극적으로 활동할 것을 요구합니다.
```
중간에 한자를 확인할 수 있다.(그래도 이 정도면 상당히 양호한 결과물이다.)

### OpenWeb-UI
CLI로 테스트 할 수도 있긴 하지만 불편하다. 웹 기반의 OpenWeb-UI를 설치하면 편하게 테스트 할 수 있다. Docker로 설치했다.
```
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
```
http://localhost:8080 접근하면 아래와 같이 "ChatGPT"와 매우 유사한 방식으로 LLM을 사용 할 수 있다.
![OpenWeb-UI](https://docs.google.com/drawings/d/e/2PACX-1vRWY1nX_GjkHIJ3SCDLcLszSB0G5sPz0MZ_MjCzhBMcSxAKmfEaYlIfA3PHbUwN3Rmlep2yGERRjW6_/pub?w=929&h=628)
### Llama 3 Korean Bllosoom 모델 설치
##### Llama 3 Korean Bllossom 모델
Llama 3 8B 정도만 해도 GPT-3.5 보다 우수한 성능을 보인다고 (주장)하지만 [Llama 3(8B) - Quality, Performance & Price Analysis](https://artificialanalysis.ai/models/llama-3-instruct-8b) 어디까지나 영어를 대상으로 하는 비교이고 한글은 성능이 매우 떨어진다.

![](https://docs.google.com/drawings/d/e/2PACX-1vQ90AqGc06rpdmZTt2fWXiK1sXwaJa9H1Ye4r1jRJVQWwsbvpFcjwilK3NSfZFY9GScRUU-dV_uaTtL/pub?w=1354&h=400)
(출처: [Llama 3(8B) - Quality, Performance & Price Analysis](https://artificialanalysis.ai/models/llama-3-instruct-8b))

그래서 사전학습량을 250G까지 늘린 [Bllossom](https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B) 모델을 사용하기로 했다. 또한 낮은 사양에서 구동하기 위해서 양자화된 모델인 [llama-3-Korean-Bllossom-8B-gguf-Q4_K_M](https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M) 로 테스트 했다. 이 사이트에서 gguf 파일을 다운로드 받자.

![Bllossom 양자화 모델](https://docs.google.com/drawings/d/e/2PACX-1vRQHeCsGedjCVv-3TYZRgu9GTw0MNI9iUwwRHZZASIAWMRSGFJka5pFi9mS10VKFIxL-RDwlOs2rW1p/pub?w=1346&h=444)

이제 gguf 파일이 있는 디렉토리에서 **Modelfile**을 작성한다.
```
FROM llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

TEMPLATE """{{- if .System }}
&lt;s&gt;{{ .System }}&lt;/s&gt;
{{- end }}
&lt;s&gt;Human:
{{ .Prompt }}&lt;/s&gt;
<st>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. 모든 대답은 한국어(Korean)으로 대답해줘."""

PARAMETER temperature 0.6
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop &lt;s&gt;
PARAMETER stop &lt;/s&gt;
```

ollama create 명령을 이용해서 Modelfile로 부터 모델을 만든다.
```
$ ollama create llama-3-ko-bllossom-8b -f Modelfile
```

모델이 만들어졌는지 확인해보자.
```
$ ollama list                                       
NAME                         	ID          	SIZE  	MODIFIED       
llama-3-ko-bllossom-8b:latest	d035bc20f557	4.9 GB	11 seconds ago	
llama3:latest                	365c0bd3c000	4.7 GB	32 minutes ago	
llama2:latest                	78e26419b446	3.8 GB	4 months ago  	
```
### 테스트
한국어 성능을 테스트해보자. OpenWeb-UI에서 모델을 바꿔준다. 
![Model 선택](https://docs.google.com/drawings/d/e/2PACX-1vSr9pDZWfQb1wwYBlwQfob6xRB1n3ObbKkhVh7t5V1Jr46RQ8YUeH-dw9AerXRoNxDHMz5538iCwq2n/pub?w=998&h=466)

그리고 몇 개 질문을 만들어서 테스트를 진행했다.

### 문제
##### 초등학교 수학
👦 사과가 4개 있는데 3개를 먹었습니다. 몇 개가 남았을까요 ? 
🤖 사과가 4개 있었고, 3개를 먹었다면, 사과가 1개 남았습니다

👦 할머니, 어머니, 두 딸이 함께 야구장에 가기 위해서 티켓 한 장씩 샀습니다. 총 몇장의 티켓을 샀나요 ?
🤖 할머니와 어머니는 각각 한 명씩, 두 딸도 각각 한 명씩이라서 총 4명입니다. 따라서 티켓을 샀으면 4장입니다

👦 계란은 하나에 500원 입니다. 만원으로 계란을 몇개나 살 수 있나요 ?  
🤖 계란이 하나에 500원이라면, 만원으로 계란을 살 수 있는 개수는 만원 ÷ 500 = 2개입니다

##### 중학교 수학
👦 핸드폰과 핸드폰 케이스의 총 가격은 100만원입니다. 핸드폰은 핸드폰 케이스보다 90만원 더 비쌉니다. 핸드폰은 얼마인가요 ?

🤖 핸드폰과 핸드폰 케이스의 총 가격이 100만원입니다. 그리고 핸드폰은 케이스보다 90만원 더 비쌉니다. 이 정보를 바탕으로 계산해보면, 핸드폰의 가격은 (100 - 가격) + 90 = 가격입니다.  
따라서 핸드폰의 가격은 55만원입니다

### 추론
👦 괄호에 가장 맞는 단어를 고르세요: 깃털은 새와 관련있습니다. 비늘은 ( )과 관련있습니다.
A) 파충류
B) 개
C) 스마트폰  
D) 식물
🤖 깃털은 새와 관련이 있습니다. 비늘이라는 단어는 '파충류'와 가장 잘 맞습니다. 따라서 정답은 A) 파충류입니다

### 일반 질의
👦건강한 삶을 살기 위해서는 어떤 생활 습관을 가져야 할까요 ?

🤖 건강한 삶을 유지하기 위해 몇 가지 중요한 생활 습관이 있습니다. 첫째, 균형 잡힌 식단을 유지하는 것이 중요합니다. 다양한 채소와 과일, 단백질이 풍부한 음식을 섭취해야 합니다. 둘째, 충분한 수면을 취하는 것이 중요합니다. 하루에 7-9시간의 수면이 권장됩니다. 셋째, 규칙적인 운동을 하는 것이 좋습니다. 주당 최소 150분의 중간 강도 또는 75분의 고강도의 신체 활동이 필요합니다. 넷째, 스트레스를 관리하는 것도 중요합니다. 명상, 요가, 산책 등 다양한 방법으로 스트레스를 줄일 수 있습니다. 다섯째, 금연과 건강한 음주를 유지해야 합니다. 그리고 마지막으로, 정기적인 체력을 유지하고, 진단 검사를 자주 받는 것이 좋습니다

👦 코딩을 잘 하기 위한 4가지 방법을 알려줘.

🤖 코딩을 잘 하기 위해서는 여러 가지 요소를 고려해야 합니다. 다음은 코딩을 효과적으로 배울 수 있는 4가지 방법입니다:

1. **실습**: 코드를 작성하는 것이 가장 중요한 부분입니다. 이론만 이해하면 안 됩니다. 실제로 프로젝트나 문제를 해결하면서 코드를 작성하는 것이 중요합니다.
2. **학습 플랫폼 활용**: 온라인 코딩 학습 플랫폼(예: 코드캠프, FreeCodeCamp, Coursera 등)을 활용해 다양한 언어와 기술을 배울 수 있습니다. 이들은 체계적인 교육 과정을 제공하며 실전 경험을 쌓을 수 있는 기회를 줍니다.
3. **커뮤니티 참여**: 코딩 커뮤니티에 참여하는 것도 중요합니다. GitHub, Stack Overflow 등에서 다른 개발자들과 소통하고 질문할 수 있습니다. 이는 문제 해결 능력을 향상시키고 새로운 아이디어를 얻는 데 도움이 됩니다.
4. **책과 문서 읽기**: 최신 기술 트렌드와 알고리즘을 이해하기 위해서는 관련 책과 문서를 정기적으로 읽어야 합니다. '클린 코드' 같은 고전적인 책부터 시작해, 최신의 '프로그래머의 길'이나 '인공지능의 기초' 같은 책까지 다양한 분야에 관심을 가져보세요.

이러한 방법들을 통해 꾸준히 노력하면 코딩 실력을 향상시킬 수 있습니다. 중요한 것은 지속적인 연습과 학습입니다!

### 코딩
👦 POST 방식으로 REST API를 호출하는 간단한 python 코드
🤖 POST 방식으로 REST API를 호출하는 간단한 Python 코드입니다:
```python
import requests

# API 엔드포인트와 데이터
url = "https://api.example.com/endpoint"
data = {
    'key1': 'value1',
    'key2': 'value2'
}

# POST 요청 보내기
response = requests.post(url, json=data)

# 상태 코드 확인
if response.status_code == 200:
    print("성공적으로 데이터를 전송했습니다.")
else:
    print(f"오류 발생: {response.status_code}")
```
이 코드는 `requests` 라이브러리를 사용하여 POST 요청을 보내고, 응답의 상태 코드를 확인합니다. 필요에 따라 API 엔드포인트와 데이터를 수정하면 됩니다.

예시로, `data` 딕셔너리에 포함된 값들을 실제 API 호출에 맞게 변경해야 할 수 있습니다. 또한, API가 JSON 형식으로 데이터를 기대한다면 `json=data` 파라미터를 사용해야 합니다.

### 요약

👦 아래의 내용을 간단하게 요약해줘
```
우리은하의 구상성단 중 가장 거대한 오메가 센타우리(ω 센타우리) 성단에서 중간질량 블랙홀의 존재를 찾아냈다.  
  
독일 막스플랑크 천문학연구소, 포츠담 라이프니츠 천체물리학연구소를 중심으로 미국, 이탈리아, 호주, 칠레, 영국, 오스트리아 7개국 연구진으로 구성된 공동 연구팀은 우리은하 내 ω 센타우리 성단에서 빠르게 움직이는 별들을 관측하는 데 성공해 중간질량 블랙홀의 존재에 대한 간접 증거를 발견했다고 밝혔다. 이 연구 결과는 과학 저널 ‘네이처’ 7월 11일자에 발표됐다.  
  
블랙홀은 태양 질량의 5~150배에 불과한 항성질량 블랙홀부터 은하 중심에서 발견되는 태양 질량의 10만 배 이상인 초질량 블랙홀에 이르기까지 다양한 크기로 존재하는 것으로 알려졌다. 그렇지만 태양 질량의 150~10만 배 사이의 중간질량 블랙홀은 거의 발견되지 않았다.  
  
ω 센타우리는 핼리 혜성을 발견한 1677년 영국 물리학자 에드먼드 핼리가 훗날 나폴레옹의 유배지로 유명해진 세인트헬레나섬에서 발견한 구상성단이다. 지구에서 약 1만 5800광년 떨어져 있고, 지름만 약 150광년에 달하며 약 1000만개의 별들이 포함돼 있고 총 질량은 태양의 400만 배에 이른다. ω 센타우리는 큰 질량과 복잡한 항성군 등의 특성으로 인해 중간질량 블랙홀이 있을 것으로 추정된 곳이다. 실제로 2008년에 처음으로 ω 센타우리 중심에 중간질량 블랙홀이 존재할 수 있다는 분석 결과가 발표되기도 했다.  
  
연구팀은 허블 우주 망원경의 관측 자료를 바탕으로 ω 센타우리 성단 중심 근처 별의 움직임을 분석했다. 그 결과 ω 센타우리 성단 중심 지역에서 별 7개가 빠르게 움직이는 것이 관찰됐다. 이는 ω 센타우리 중심에 중간질량 블랙홀이 존재한다는 것을 시사한다고 연구팀은 설명했다. 연구팀은 이 블랙홀의 질량이 최소 태양 질량의 8200배일 것으로 추정했다.
```

🤖 우리은하의 구상성단 중 가장 거대한 오메가 센타우리 성단에서 중간질량 블랙홀의 존재를 찾아냈다. 독일 막스플랑크 천문학연구소, 포츠담 라이프니츠 천체물리학연구소를 중심으로 미국, 이탈리아, 호주, 칠레, 영국, 오스트리아 7개국 연구진이 공동 연구를 통해 빠르게 움직이는 별들을 관측했다. 이는 중간질량 블랙홀이 존재한다는 간접 증거로 해석된다. 블랙홀의 질량은 최소 태양 질량의 8200배에 이른다. 이 연구 결과는 ‘네이처’ 과학 저널에서 발표되었다

👦 아래 대화 내용을 요약해줘.
```
홍길동: 오늘 뭐 할 계획이야 ?
아무개: 영화 보려가려고.
홍길동: 무슨 영화 볼건데 ?
아무개: 브레이드러너를 볼거야.
홍길동: 아 그 영화 나도 이름은 들어봤어. 어떤 영화야 ?
아무개: 사이버펑크의 고전이라고 할 수 있지. 디스토피아적인 미래 세계에서 인간보다 더 인간다운 안드로이드와 인간과의 관계를 그리면서, 인간성이란 무엇인가에 대한 고찰을 담고 있는 영화야.
홍길동: 본적이 있는 것처럼 말하네 ?
아무개: 예전에 본적이 있지.
홍길동: 그런데 또 보는 거야 ?
아무개: 아 이번에 새로 리메이크되서 나왔어.
```
🤖 홍길동과 아무개 간의 대화를 요약하면 다음과 같습니다:  
홍길동은 아무개에게 오늘 뭐 할 계획이냐고 물었고, 아무개는 영화 보려고 하다고 대답했습니다. 홍길동은 어떤 영화를 볼 것인지 물어보고, 아무개는 브레이드러너를 볼 거라고 말했습니다. 홍길동은 브레이드러너라는 영화가 본적이 있는 것처럼 말하고, 아무개는 예전에 본 적이 있다고 했습니다. 또한 아무개는 이번에 리메이크된 브레이드러너를 보고 싶다고 밝혔습니다

👦 아래 글을 요약해 주세요.
```
대한민국은 저출산 현상이 심각한 사회적 문제로 대두되고 있습니다. 저출산 문제는 경제, 사회, 문화 등 다양한 요인에 의해 발생하며, 그로 인한 결과는 매우 복합적입니다. 아래에 대한민국의 저출산 현상에 대한 주요 내용들을 정리하였습니다.

저출산 현황
출생률 감소: 대한민국의 합계출산율(여성 1명이 평생 낳을 것으로 예상되는 평균 자녀 수)은 2022년 기준으로 0.78명으로 세계에서 가장 낮은 수준을 기록했습니다. 이는 인구 유지에 필요한 합계출산율 2.1명에 훨씬 못 미치는 수치입니다.

인구 고령화: 출생률 감소와 함께 고령화도 급속히 진행되고 있습니다. 이는 경제 활동 인구 감소와 연금, 의료비 등 사회적 부담 증가로 이어질 수 있습니다.

원인
경제적 요인: 높은 주거비, 교육비, 양육비 등 경제적 부담이 젊은 세대가 출산을 꺼리게 만드는 주요 요인입니다. 안정적인 직업을 구하기 어려운 상황도 출산을 미루게 만듭니다.

사회적 요인: 결혼과 출산에 대한 사회적 인식 변화도 중요한 요인입니다. 많은 젊은 세대가 결혼과 출산을 필수적이라고 여기지 않으며, 개인의 삶과 커리어를 중시하는 경향이 강해졌습니다.

직장 문화: 일과 가정 생활의 균형을 맞추기 어려운 직장 문화도 문제입니다. 긴 근로 시간, 불안정한 고용, 양육휴직 및 육아휴직 제도의 미비 등이 출산율 저하의 원인이 됩니다.

주거 문제: 수도권을 중심으로 한 높은 주거비용도 중요한 요인입니다. 많은 젊은이들이 경제적 부담 때문에 결혼과 출산을 미루거나 포기하게 됩니다.

영향
인구 구조 변화: 저출산으로 인해 어린이와 청년 인구는 줄어들고, 노인 인구는 늘어나는 인구 구조 변화가 발생합니다. 이는 노동 인구 감소와 연금 및 복지 비용 증가로 이어집니다.

경제 성장 둔화: 노동 인구의 감소는 경제 성장에 부정적인 영향을 미칠 수 있으며, 이는 장기적으로 국가 경쟁력 약화로 이어질 수 있습니다.

사회적 부담 증가: 고령 인구가 증가함에 따라 의료비, 연금, 복지 비용 등의 사회적 부담이 증가합니다. 이는 국가 재정에 큰 압박을 가할 수 있습니다.

정부 대응
출산 장려 정책: 대한민국 정부는 다양한 출산 장려 정책을 시행하고 있습니다. 육아휴직 제도 강화, 보육 시설 확충, 출산 장려금 지급 등이 그 예입니다.

주거 지원: 청년과 신혼부부를 위한 주거 지원 정책도 강화되고 있습니다. 공공임대주택 공급 확대, 주택 구입 자금 대출 지원 등이 포함됩니다.

일·가정 양립 지원: 일과 가정 생활의 균형을 맞출 수 있도록 하는 정책도 중요합니다. 유연 근무제 도입, 육아휴직 확대 등이 추진되고 있습니다.

사회적 인식 개선: 결혼과 출산에 대한 긍정적 인식을 확산시키기 위한 다양한 캠페인과 교육 프로그램도 시행되고 있습니다.

저출산 문제는 단기간에 해결하기 어려운 복합적인 사회 문제로, 지속적이고 종합적인 접근이 필요합니다. 정부의 정책적 지원과 더불어 사회적 인식의 변화가 중요합니다.
```
🤖 대한민국의 저출산 현상을 요약하면 다음과 같습니다:

- 합계출산율이 0.78명으로 매우 낮음
- 인구 고령화로 경제 활동 인구 감소와 연금, 의료비 증가 문제 발생
- 경제적 부담(주거비, 교육비, 양육비), 사회적 인식 변화, 직장 문화의 불안정성, 주거 문제 등이 주요 원인
- 저출산으로 인해 인구 구조 변화(어린이와 청년 인구 감소, 노인 인구 증가) 및 경제 성장 둔화, 사회적 부담 증가
- 정부는 출산 장려 정책(육아휴직 제도 강화, 보육 시설 확충, 출산 장려금 지급 등), 주거 지원(공공임대주택 공급 확대, 주택 구입 자금 대출 지원 등), 일·가정 양립 지원(유연 근무제 도입, 육아휴직 확대 등) 및 사회적 인식 개선(캠페인과 교육 프로그램 등)을 추진 중

저출산 문제는 단기간에 해결하기 어려운 복합적인 사회 문제로, 지속적이고 종합적인 접근이 필요합니다. 정부와 사회의 협력이 중요합니다

### 번역
👦 아래 문장을 한글로 번역해줘.
Obama was born in Honolulu, Hawaii. He graduated from Columbia University in 1983 with a Bachelor of Arts degree in political science and later worked as a community organizer in Chicago. In 1988, Obama enrolled in Harvard Law School, where he was the first black president of the Harvard Law Review. He became a civil rights attorney and an academic, teaching constitutional law at the University of Chicago Law School from 1992 to 2004. He also went into elective politics; Obama represented the 13th district in the Illinois Senate from 1997 until 2004, when he successfully ran for the U.S. Senate. In the 2008 presidential election, after a close primary campaign against Hillary Clinton, he was nominated by the Democratic Party for president. Obama selected Joe Biden as his running mate and defeated Republican nominee John McCain.

🤖 바라크 오바마는 호놀룰루, 하와이에 태어났습니다. 1983년 코넬 대학교를 정치학 학사로 졸업하고, 이후 시카고에서 지역사회 조직자로서 활동했습니다. 1988년 하버드 로스쿨에 입학했으며, 그곳에서 하버드 로스쿨의 첫 흑인 회장으로 임명되었습니다. 그는 민권 변호사와 학문가로 발전하며, 시카고 대학교 로스쿨에서 1992년부터 2004년까지 헌법 법률을 강의했습니다. 또한 입법 정치에 진출했으며, 오바마는 1997년부터 2004년까지 일리노이 주 상원에서 13번 선거구를 대표했습니다. 그는 2008년 대통령 선거에서 힐러리 클린턴과의 유권자 투표에서 단점을 극복하고, 민주당으로부터 대통령 후보로 지명되었습니다. 오바마는 조 바이든을 러닝 메이트로 선택하고, 존 mccain에 의해 공화당 후보로 도전받아 승리했습니다.

### 정리
"컴포넌트가 아닌 시스템을 최적화하라"이게 시스템 아키텍처에 대한 내 생각이다. GPU를 극한으로 밀어 붙여서 추론 성능을 높이는 것보다는 전체 시스템 관점에서 다양한 방법들을 동원해서 구성을 하는 것을 선호한다. 어차피 하나의 거대한 LLM이 모든 것을 다 처리 해줄 수는 없을 것이다. RAG, Advanced RAG, 특정 도메인에 특화된 프리 트레이닝된 작은 모델들과 이러한 작은 모델을 기반으로 하는 제한된 데이터의 효과적인 학습 이러한 방법을 통해서 목적에 맞는 LLM 구축이 내가 생각하는 방향이다.

다음 번에는 이렇게 한국어 프리트레이닝된 모델에 RAG를 적용해서 작은 시스템에서도 적당한 수준의 품질의 응답을 주는 LLM 시스템을 구축해보려 한다.

Search For:

BY TAGS

Recent Posts

Archive Posts

Tags

About

Get in Touch

Categories