기존 오버 스펙으로 맞춘 서버를 어떤식으로 굴릴 수 있을까 고민해본결과 이만한게 없지 않을까 생각이 들어 진행해 본다.

기존에 구성 하던 VM보다 성능 상 CT가 더 좋지않을까? 싶어 CT로 추가

할당 자원

cpu : 18core

ram : 24g

Ollama

설치

curl -fsSL https://ollama.com/install.sh | sh

Ollama

Get up and running with large language models.

외부 접속허용 (환경변수 설정)

sudo vim /etc/systemd/system/ollama.service

추가

Environment="OLLAMA_HOST=0.0.0.0"

리로드

sudo systemctl daemon-reload
sudo systemctl restart ollama

시작

ollama serve

모델 다운로드

ollma pull [모델명] 

Ollama

Get up and running with large language models.

다운받은 모델 정보

ollma list

모델 실행

ollama run [모델명]

Open-WebUI

version: '3.8'
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - 81:8080
    volumes:
      - ./data:/app/backend/data
    restart: always          

관리자 패널 (Ollama api 설정)

llama3.2-vision 11b 기준 부하 테스트

뭔가 어딘가에서 병목현상이 생기고 있는걸로 생각됨

이후에 ssd 구성 및 GPU 연동 (3070) 후에 관련수치 다시 체크 해 볼 예정

이후 사이드 프로젝트를 진행할때 활용하거나

n8n 연동시 openAI 대용으로 사용하거나

응용해볼곳은 많을거같다 ㅇㅅㅇb