일반 기업용 LLM 도입시 고려 사항

Llama 3.3 70B를 기준으로 작성된 의견 입니다.

70B의 LLM을 동작시키기 위해서는 정확도 지표(양자화)에 따라서 아래와 같이 필요한 GPU의 수가 달라지게 됩니다.
FP16(140GB/GPU 8대) - INT8(70GB/GPU 4대) - INT4(35GB/GPU 2대)

Llama 70B와 같은 대형 모델은 FP16으로 학습되며, 사용할 때 INT8 양자화 시 정확도는 약 1% 내외로만 감소시키면서도, 메모리 사용량은 50%나 줄이고 속도는 최대 2배까지 향상시킬 수 있습니다.
RTX 4090 4대 구성은 메모리 총량(96GB)이 INT8 양자화된 70B 모델(약 70GB 필요)을 충분히 수용할 수 있으며, LoRA와 같은 PEFT 기법을 사용하면 추가 학습도 효율적으로 수행할 수 있습니다. 따라서 향후 원본의 0.1-1%, 약 70M-700M 파라미터 추가 학습 계획을 고려하여 RTX 4090 4대 구성을 선정했습니다.
A100이나 H100 같은 고가의 데이터센터급 GPU 대신 RTX 4090을 사용함으로써 비용을 크게 절감하면서도, INT8 양자화를 통해 필요한 성능을 확보할 수 있어 매우 효율적인 선택으로 보입니다.

또한 속도 및 시간을 고려하여 INT4로 양자화 하여 최적화 할 수 있습니다.


예상 서버 비용은 3,000만원 이하로 예상됩니다.


[견적참고대상]
https://www.baroai.com/spec_H
https://itmaya.co.kr/server_view.php?idx=358
https://www.ryansys.co.kr/goods/goods_view.php?goodsNo=1000018466

[RTX 3090 x4 Llama3.3 시연 영상(Q4/Int4 양자화)]
https://www.youtube.com/watch?v=f7i3vtbMjHM&t=983s

[LLM의 각 작업에 필요한 GPU 산정 참고표]
https://aifusion.company/gpu-llm