OLLAMA로 로컬 API 서버 돌려보기

로컬 LLM 서버를 돌려보려고 이리저리 뒤져보다가, 올라마를 쓰면 생각보다 쉽게 구동이 가능하다는 것을 확인했다.

 

바로 PC 세팅해주고, 설치를 해보았다.

 

작동도 매우 간단하더라.

 

그냥 올라마 설치 해주고, 모델 pull 해서 받아주고, ollama serve 명령어를 실행시키면 끝....

 

일단 48GB 의 VRAM 환경이라, 

 

deepseek-r1 80B를 돌려봤는데 일단 돌아가긴 하더라.

 

추가로 32B도 돌려봤는데, 이런저런 작업을 해서 잘 되는지도 확인해봐야겠다.

 

다만 ollama serve 시 포트가 하나만 쓰일 수 있다는 에러가 나는데, (윈도우즈 환경)

 

그 경우에 화면 우하단에 ollama가 사용되고 있는지 체크한 후 그 녀석을 지워줘야 한다.

 

그냥 커맨드 창에서 바로 ollama serve를 해야 단 하나의 ollama가 작동하게 되는 것

 

아무튼 생각보다 매우 간단하게 LLM 서버를 만들어봤다. 

 

잘 되나 테스트해보자.

 

일단 11434가 기본 포트라는건 알아두자.

 

import requests

# Ollama 서버 주소 및 API 엔드포인트
OLLAMA_URL = "http://192.168.1.177:11434/api/generate"
MODEL_NAME = "deepseek"

def query_ollama(prompt):
    payload = {
        "model": MODEL_NAME,
        "prompt": prompt,
        "stream": False  # 스트리밍 응답을 비활성화
    }

    response = requests.post(OLLAMA_URL, json=payload)

    if response.status_code == 200:
        return response.json().get("response", "No response received.")
    else:
        return f"Error: {response.status_code}, {response.text}"

# 테스트 실행
if __name__ == "__main__":
    prompt_text = "인공지능이란 무엇인가?"
    result = query_ollama(prompt_text)
    print(result)

 

위 코드를 한번 실행해본다.

 

어라 에러가 난다. 

 

왤까?

 

찾아보니 위와 같은 이유가 있다고 한다.

 

ollama serve OLLAMA_HOST=0.0.0.0:11434   를 입력시키고 해봤는데, 왜 잘 안돼지?? 

 

setx 라는 키워드도 써봤는데 잘 안된다....

 

환경변수에 들어가서 체크도 해봤는데, OLLAMA_HOST가 들어간건 확인이 되었는데도 연결이 안되어서, 그냥 껏다 켜봤다.

 

그럼 되려나? 

 

 

일단 접속은 된다. 모델이 안찾아진다고 하니, 수정해보자.

 

최종적으로 환경변수는

 

 OLLAMA_HOST  "0.0.0.0:11434" 를 넣었고

 OLLAMA_ORIGINS *

 

을 넣고 진행했다. 

 

 

모델의 경우 deepseek-r1:8b 처럼 구체적인 내용까지 삽입을 하니 결과물이 잘 나오는 것을 확인할 수 있었다.

 

그런데 두가지 모델이 있으면 어떤걸 가져다 쓰려나?

 

알겠다.... 외부에서 요청한 모델을 올려서 쓴다......

 

그러니까 올라마 상에서는 연결성만 제시해주고, 

 

그 내부의 모델을 뭘 쓸지는 사용자가 정하는 거다.

 

내가 mistral을 쓰고 싶다고 전달하면, ollama는 내부에 mistral이 있는지 체크한 후 그걸 적용한 결과물을 알려주거나, 해당 모델이 없음을 피드백 하는 방식!!!

 

이제 좀 이해가 된다.

 

오늘의 포스트는 여기까지