📢 로컬 PC에서 오픈소스 LLM 서비스 구축하기: VLLM과 Gemma 3 활용 가이드 📢 최근 LLM(거대언어모델) 기술, 특히 GPT-4, Gemini 등은 뛰어난 성능을 보여주지만, 막대한 컴퓨팅 자원으로 인해 접근성이 제한되는 문제가 있습니다. 😥 본 포스트에서는 VLLM 추론 엔진과 오픈소스 LLM을 활용하여 로컬 PC에서도 LLM 서비스를 구축...
이 문서는 Vertex Gemini를 활용한 LLM(대규모 언어 모델) 기반 생성 AI 애플리케이션 개발에 대해 다루며, Google의 다양한 서비스(Gmail, Drive, Search 등)와의 통합을 통해 데이터의 최신성과 정확성을 확보하고, 멀티모달 데이터(텍스트, 이미지, 동영상 등)를 처리하여 실시간 분석과 보고서를 생성하는 강력한 워크플로우를 제...
ChatGPT, Claude, Gemini 등 다양한 LLM이 등장하면서 이를 활용한 서비스 개발이 더욱 중요해지고 있다. 이 글은 Gemini 모델 기반의 LLM Native App을 개발에 필요한 실전 가이드를 제공한다. 또한 LLM Native Application의 개념과 기존 애플리케이션 개발과의 차이점도 함께 소개하고 있다....
🚀 MLOps와 Kubeflow를 한눈에! 이 블로그에서는 MLOps의 개념부터 Kubeflow를 활용한 자동화된 ML 파이프라인 구축까지 실전 중심으로 다룹니다. ⚙️ 모델 개발, 배포, 운영까지 한 번에! DevOps와 머신러닝을 결합하여 효율적인 ML 시스템을 만드는 방법을 소개합니다. MLOps의 핵심 원칙과 Kubeflow 활용법을 배우고 싶은 분...
이 블로그 시리즈는 Vertex Gemini를 이용하여 LLM Native 애플리케이션을 개발하는 방법을 소개합니다. 여기에서는 Gemini 기반의 LLM 애플리케이션을 개발하기 위한 준비 단계를 다룹니다. GCP에 가입하고, GCP의 ML/AI 플랫폼인 Vertex AI 플랫폼의 주요 기능들을 살펴봅니다....
🚀 LLama 3.2-Vision, 이미지 이해의 새로운 지평 🌐 LLama 3.2-Vision은 메타에서 개발한 최신 멀티모달 AI 모델로, 이미지 분석과 추론을 동시에 처리할 수 있는 강력한 기능을 제공합니다. 이를 통해 텍스트와 이미지를 통합적으로 이해하고 다양한 데이터를 분석할 수 있습니다.
💡 OCR과 차별화된 멀티모달 기능 🔍 기존 OCR 기술...
RAG 시스템에서 Reranker는 중요한 역할을 합니다. 다양한 문서 중에서 가장 관련성 높은 정보를 선택해줘야 하기 때문에, 이를 통해 LLM의 응답 품질을 극대화할 수 있습니다. 💡 이 글에서는 문서 순위를 재조정하는 Reranker의 원리와 사용법을 탐구하며, 이를 통해 RAG 응답을 어떻게 더 똑똑하게 만들 수 있는지 살펴봅니다.📚 RAG를 더 잘...
27 POSTS HERE
vLLM을 이용해서 오픈소스 LLM 서비스 구축하기
📢 로컬 PC에서 오픈소스 LLM 서비스 구축하기: VLLM과 Gemma 3 활용 가이드 📢 최근 LLM(거대언어모델) 기술, 특히 GPT-4, Gemini 등은 뛰어난 성능을 보여주지만, 막대한 컴퓨팅 자원으로 인해 접근성이 제한되는 문제가 있습니다. 😥 본 포스트에서는 VLLM 추론 엔진과 오픈소스 LLM을 활용하여 로컬 PC에서도 LLM 서비스를 구축...
Vertex Gemini 기반 AI 에이전트 개발 01. 소개
이 문서는 Vertex Gemini를 활용한 LLM(대규모 언어 모델) 기반 생성 AI 애플리케이션 개발에 대해 다루며, Google의 다양한 서비스(Gmail, Drive, Search 등)와의 통합을 통해 데이터의 최신성과 정확성을 확보하고, 멀티모달 데이터(텍스트, 이미지, 동영상 등)를 처리하여 실시간 분석과 보고서를 생성하는 강력한 워크플로우를 제...
Vertex Gemini 기반 AI 에이전트 개발 05. 첫 번째 LLM 애플리케이션 개발
ChatGPT, Claude, Gemini 등 다양한 LLM이 등장하면서 이를 활용한 서비스 개발이 더욱 중요해지고 있다. 이 글은 Gemini 모델 기반의 LLM Native App을 개발에 필요한 실전 가이드를 제공한다. 또한 LLM Native Application의 개념과 기존 애플리케이션 개발과의 차이점도 함께 소개하고 있다....
최신 경량 LLM Gemma 3 테스트
📢 25.3월 공개된 Google의 야심작, Gemma 3를 파헤쳐 봅니다. 🔎 Gemini 아성에 도전하는 강력한 성능, 140개 언어를 지원하며 특히 한국어도 잘 지원하고 있습니다. 또한 멀티모달 능력을 이용해서 이미지와 비디오에 대한 분석이 가능합니다. ...
MLOps with Joinc - Kubeflow 설치
🚀 MLOps와 Kubeflow를 한눈에! 이 블로그에서는 MLOps의 개념부터 Kubeflow를 활용한 자동화된 ML 파이프라인 구축까지 실전 중심으로 다룹니다. ⚙️ 모델 개발, 배포, 운영까지 한 번에! DevOps와 머신러닝을 결합하여 효율적인 ML 시스템을 만드는 방법을 소개합니다. MLOps의 핵심 원칙과 Kubeflow 활용법을 배우고 싶은 분...
Vertex Gemini 기반 AI 에이전트 개발 03. Vertex AI Gemini 둘러보기
이 블로그 시리즈는 Vertex Gemini를 이용하여 LLM Native 애플리케이션을 개발하는 방법을 소개합니다. 여기에서는 Gemini 기반의 LLM 애플리케이션을 개발하기 위한 준비 단계를 다룹니다. GCP에 가입하고, GCP의 ML/AI 플랫폼인 Vertex AI 플랫폼의 주요 기능들을 살펴봅니다....
LLama-3.2-Vision 테스트
🚀 LLama 3.2-Vision, 이미지 이해의 새로운 지평 🌐 LLama 3.2-Vision은 메타에서 개발한 최신 멀티모달 AI 모델로, 이미지 분석과 추론을 동시에 처리할 수 있는 강력한 기능을 제공합니다. 이를 통해 텍스트와 이미지를 통합적으로 이해하고 다양한 데이터를 분석할 수 있습니다. 💡 OCR과 차별화된 멀티모달 기능 🔍 기존 OCR 기술...
생성 AI 모델 Flux.1 설치 및 사용
Flux.1을 처음 접하는 분들을 위한 친절한 가이드입니다. 설치부터 프롬프팅까지, 실제 예시와 함께 상세히 설명하여 누구나 쉽게 따라할 수 있도록 구성했습니다....
GPT를 이용한 Reranker 테스트
RAG 시스템에서 Reranker는 중요한 역할을 합니다. 다양한 문서 중에서 가장 관련성 높은 정보를 선택해줘야 하기 때문에, 이를 통해 LLM의 응답 품질을 극대화할 수 있습니다. 💡 이 글에서는 문서 순위를 재조정하는 Reranker의 원리와 사용법을 탐구하며, 이를 통해 RAG 응답을 어떻게 더 똑똑하게 만들 수 있는지 살펴봅니다.📚 RAG를 더 잘...
5분만에 만들어보는 Streamlit 챗봇
Streamlit 은 데이터 애플리케이션을 빠르고 쉽게 만들 수 있도록 도와주는 오픈소스 프레임워크다. 데이터 사이언티스트, 머신 러닝 엔지니어들이 모델을 시각화 하기 위해서 널리 사용한다. streamlit 을 이용해서 chatgpt를 이용한 챗봇을 만들어보자....