쉽고 빠르게 익히는 실전 LLM - CHAPTER 4. 맞춤형 파인튜닝으로 LLM 최적화하기

 

파인튜닝 훈련을 위한 데이터 준비

LLM의 언어 이해 능력을 특정 분야의 작업에 더 잘맞게 조정하는 파인튜닝을 통해 관련성이 높고 정확한 답변을 효율적으로 생성하기 위함

[훈련셋]을 통해 데이터의 패턴과 관계를 학습하고 인식, [검증셋]을 통해 모델의 성능을 평가, [테스트셋]을 통해 모델의 능력이 새로운 데이터를 접해도 편향되어 있지 않은지 최종 평가

[손실 함수]를 통해 모델 예측 값과 실제 목표 값 사이 차이를 정량화해 오차를 계산하고 이를 최소화해 더 나은 예측을 달성하는 지표 역할

 

파인튜닝 모델 훈련 전략

목표를 위한 훈련, 검증, 테스트 데이터셋 수집 > 하이퍼파라미터 설정(모델 가중치 결정 + 단일 업데이트 훈련셋 사이즈 결정 + 훈련셋 반복 학습 수 설정)을 통한 과적합, 과소적합 문제 방지 > 모델 아키텍처 수정을 통한 목표 작업 적응 > 검증셋을 이용해 평가 (성능 지표 이용) > 피드백을 얻을 수 있도록 기존 실제 환경에 통합 및 모니터링

ex) 리뷰 제목과 리뷰 본문을 결합, 새로운 완성 영을 생성하여 영어 리뷰만 포함하도록 필터링, 

 

파인튜닝 모델 어플리케이션 통합

파인튜닝 모델의 식별자를 OPEN API를 사용하여 교체 > 프롬프트 구조나 출력 형식의 로직 업데이트 > 성능 모니터링 및  사용자 피드백 수집을 통한 평가