LM Studio 로 오픈소스 LLM 사용하기.
ollama로도 오픈소스 LLM을 사용할 수 는 있지만, 터미널 환경이라 긴 결과를 보여 준다든지 또는 길게 이어지는 대화를 보고 필요한 부분을 발췌하는것이 편리하지는 않다. 웹환경에서 chat-gpt나 gemini를 사용할 때처럼 편리한 환경에서 사용하려면 LM studio를 사용하면 된다.
LM studio는 https://lmstudio.ai/ 에서 다운로드 할 수 있다.
LMStudio 를 설치하고 처음 실행하면, 아래 그림처럼 나온다. GetStarted를 눌러 다음 화면으로 넘어간다.
여기서, User, Power User, Develper 중 하나를 선택한다.
다음화면에서는 모델을 설치하도록 하는데, 내가 원하는 모델이 아니므로, 오른쪽 위의 Skip을 눌러 넘어가도록 한다.
다음화면에서 Ok를 누르거나 창을 닫으면 아래 화면을 볼 수 있다.
이제 원하는 llm 모델을 설치한다. 화면 왼쪽의 검색 버튼을 누르면 사용가능한 모델이 나온다. 여기서 ministral을 선택하고 다운로드한다.
모델 다운로드가 완료되면, 모델을 로드한다.
이제, 모델을 사용하면된다. 창 위쪽에 현재 사용중인 모델이 표시되며, 필요시 변경할 수 있다.
이제, ollama보다 더 편리한 local PC환경에서 원하는 LLM을 사용할 수 있다.