LM Studio로 나만의 AI 만들기, 라마 3, 파이 2

2022년 12월 OpenAI가 ChatGPT를 런칭한지 1년 반정도가 흘렀습니다.

 

엔비디아는 무섭게 성장했고 마이크로소프트는 오픈AI에 엄청난 투자와 협력을 하고 있습니다.

애플, 구글, 아마존, 메타 등등 빅테크 기업은 말할 것도 없고

국내도 삼성전자, 네이버, 카카오, SKT 등등 AI에 사활을 걸고 있는 모습입니다. 

이외에도 앤트로픽, 퍼플렉시티 AI 같은 다양한 회사도 AI 서비스를 하고 있습니다.

 

2024년 5월 13일 오픈AI는 보고 듣고 말하는 새로운 AI 모델 GPT-4o 공개했으며,

2024년 5월 14일 구글은 연례개발자회의(Google I/O 2024)에서 대규모 언어모델(LLM) 제미나이(Gemini)를 검색, 메일, 클라우드 등 구글 제품 전반에 적용하겠다고 발표했습니다.

 

애플은 2024년 5월 7일 아이패드를 강력한 인공지능 기기로 만들어줄 M4 칩을 공개했으며, 6월 10일부터 열리는 WWDC24에서 애플표 AI 기술에 대한 윤곽이 드러날 것으로 예상됩니다.

메타는 자체 개발한 대규모 언어 모델(LLM)을 오픈소스 방식으로 공개하고 있는데, 얼마 전에는 라마 3(Llama 3)을 출시하고 Meta AI에 적용하였습니다.

 

오픈AI 챗GPT, 구글 제미나이, 앤트로픽 클로드 3 등등은 써봤는데 메타 라마 3가 궁금합니다.

 

그런데.. 2024년 5월 현재 아직 우리나라에서는 메타 AI를 사용할 수가 없네요.

 

라마는 오픈소스죠.

그래서 해봤습니다.

내 컴퓨터에서 AI를 구동하자!

 

LM Studio를 사용하면 간단하게, 심지어 오프라인으로 LLM을 구동할 수 있습니다.

LM Studio는 아래 플랫폼에서 실행할 수 있습니다.

• Windows (x86, x64, AVX2)
• macOS (Apple Silicon - M1/M2/M3)
• Linux (x86, Ubuntu 22.04, AVX2)

우선  iMac M1 8GB 모델에서 LM Studio를 설치하고 실행하였습니다.

제일 위에 Llama 3가 보입니다.

모델을 다운로드합니다.

 

모델 다운로드가 완료되었습니다.

4.92GB 정도 용량을 차지합니다.

 

좌측의 AI Chat 메뉴로 이동해서 다운로드한 Llama 모델을 선택합니다.

 

드디어 첫번째 채팅입니다.

"Hi."

 

그런데..

답변이 너무 느립니다.

간단한 인사에 간단하게 답하는데 1분이 넘게 걸렸습니다.

그래서 이번에는 마이크로소프트가 오픈소스로 출시하여 노트북이나 모바일 기기에서 구동 가능한

소형 언어모델(SLM) 파이 2를 테스트해보았습니다.

 

파이 2 모델을 다운로드하여서 선택하였습니다.

용량은 1.62G입니다.

"Hi."

동일한 질문에 1초도 안 걸려서 대답합니다.

아무래도 기기의 성능에 따라 LM Studio 설정, 사용할 언어 모델, 사이즈 등을 고려해서 선택해야 할 것 같습니다.

아이맥 M1 8GB 메모리 성능으로는 라마3 모델은 무리였나 봅니다.

 

최근에 조립한 윈도우 PC에서는 LM Studio에서 라마 3 모델도 순식간에 대답을 해주었습니다.

(라이젠 5600, DDR4 16GB, 지포스 RTX 4060)

 

오늘은 여기까지입니다.

인터넷 연결 없이,

서비스 가입 없이,

이렇게 손쉽게 나만의 AI를 구성해 보았습니다.