[AI] Meta Llama 3 적용 후기

 

요즘 신규 프로젝트를 하면서 Meta Llama 3 모델을 활용할 기회가 있어서 개발해 보았다.

웹프레임워크 Next.js / UI/UX Shadcn

인증 및 인가 Auth.js

AI모델 Meta Llama3(ollama base)

 

일반 모델을 로컬에서 동작시키면 상당한 리소스가 필요한데 라즈베리파이에서도 모델을 돌릴 수 있게 해주는 ollama를 사용하여 Meta Llama3를 동작 시켰다. api 서버를 제공하기에 fetch를 통하여 값을 스트림 형식으로 받아 오면 된다. 스트림으로 찍으면서 출력하기에 ChatGPT와 동일한 효과를 얻을 수 있다.

 

모델의 학습의도에 따라 엄청난 편차가 있다는 것을 느꼈다. 풀스택 개발을하다보면 api 설계에서 시간이 상당이 잡아 먹는것 같다. 그리고 디테일을 따지고 접근하는 나의 성격이 또 개발속도를 느리게 한다.

 

막상 구현하니 모델에서 내가 의도한 것이 뭐가 부족한지 학습시켜보고 싶다는 생각을 했다. 비지니스 로직에 맞게 재학습을 하지 않은 LLM을 프로덕션 상 의도한대로 동작하는 서비스를 만들 수 있을지는 미지수 이다.

 

Ps. 개발환경이랑 프로덕션 환경에서의 발생하는 문제는 언제나 골치 아프다 CloudFlare 아래에서 CORS 해결에 골머리를 앓고 해결했다.(ollama api 서버 CORS * 처리 / CloudFlare Response Packet CORS 헤더 추가)

 

Ps. ChatGPT처럼 데이터를 실시간으로 작성하는 모습은 로컬에서 접근할 때만 가능했고  fetch 스트림으로 하다보니 CloudFlare 서버를 거치면서 데이터 속도가 느려서 프로덕션 환경에서 뭉터기로 데이터가 갱신되었다. 아래 사진은 로컬에서 접근해서 글자가 다다다다 출력된다. 웹소켓으로도 구현하면 좋을 것 같은데 ollama api 종속적이라 현재는 여기까지가 최선이다. 직접 모델을 실행해서 소켓서버에 올려서 데이터 통신하면 빠를 듯 하다.

AI Model 인터페이스

 

 

개발 중 홈페이지