사내 LLM 개발 flow Open Model 설정(OpenSource LLM)목적과 용도와 자원에 맞는 open model을 허깅페이스에서 가져와서 학습시킨다. 제로베이스의 모델을 pre-train 시키는건 쉽지않은 방법이라, open model을 가져와서 의도에 맞게 튜닝시킨다. 1. Tunning크게는 3가지의 flow로 이루어져있다 NTP, SFT,RLFT NTP(Next token prediction) 기본 상식에 대한 훈련은 필요없고, 특정 도메인에 대한 훈련을 실행했을 때 성능이 좋다.SFTFull FT 또는 LoRA, Adapter, PrefixRLFT 두가지의 답변을 두고 선호하는 성향을 주입하여, 올바른 방향으로 답변하게 끔 훈련시키는 부분,DPO를 많이 사용한다고 알려짐.단계..