쉽고 빠르게 익히는 실전 LLM - CHAPTER 8. 고급 오픈 소스 LLM 파인튜닝

 

맞춤형 손실 함수 정의

- 작업의 목표와 데이터 특성에 대한 이해를 바탕으로 모델이 학습하는 방식과 예측을 의미 있고 유용한 방식으로 실제 목표와 어떻게 비교할 수 있는지 이해

- 음의 로그 기능도 손실을 통해 선호하는 결과에 더 높은 확률을 할당하고, 덜 선호하는 결과에는 더 낮은 확률을 할당하도록 만듦 > 더 애매한 이해를 학습하도록 유도

 

배치 크기

최적의 배치 크기를 찾아야 함

모델의 메모리 사용량과 안정성 사이 균형을 맞추는 필수적인 파인튜닝 방법

메모리 제한이 문제라면 기울기 누적을 통해 배치 크기를 분할하여 사실상 더 큰 배치 크기를 효과적으로 훈련하고, 각 과정에 필요한 메모리를 줄일 수 있음

 

동적 패딩

다양한 길이의 시퀀스가 많은 경우 낭비되는 계산 자원을 줄일 수 있는 기술

각 배치마다 패딩의 양을 별도로 조정하여 평균적으로 더 적은 패딩을 사용하여 계산을 효율적을 ㅗ만듦

보통 데이터셋 전체에서 가장 긴 시퀀스의 길이로 패딩하기 때문에 효율성이 떨어짐

 

모델 동결

사전 훈련된 모델의 파라미터나 가중치는 훈련 중에 일정하게 유지되어 업데이트 되지 않음

모델이 이미 학습한 일반적인 언어 이해를 유지한 채로, 작업에 맞게 특수화된 몇 개의 계층만 훈련

---

장르 예측 엔진 구축

 

맞춤형 지표 설정

- 자카드 점수: 샘플의 유사성과 다양성 평가, 점수가 높을 수록 모델의 예측이 실제 레이블과 유사

- F1 점수: 모델의 정확도를 측정, '긍정' 또는 '부정'으로 분류하는 이진 분류 시스템 평가에 이용, 최고 값은 1, 최악 값은 0

- ROC/ZUC: 모델의 클래스를 얼마나 잘 구분하는지 측정

- 정확도: 예측된 레이블이 실제 레이블과 정확히 일치하는 빈도 정량화

 

단순 파인튜닝 과정

데이터셋 준비 및 분할 > 데이터 콜레이터를 이용하여 모델이 이해할 수 있는 형식으로 변환(토큰화, 패딩, 배치) > 하이퍼파라미터와 옵션 지정(학습률, 배치 크기, 훈련 에포크 수 등) > 훈련 과정 추적 및 시각화로 모델 성능 평가

---

답변 생성기 구축

 

1단계: 질문을 입력 받고 답변을 출력하는 패턴을 인식하기 위해 지시사항에 따라 파인튜닝

- 사전 훈련된 GPT 모델을 가져와 질문에 대한 답변 개념을 이해하게 함

- 특정 질문이나 프롬프트에 대한 답변을 제공해야 한다는 것을 모델이 이해하도록 하는 과정

 

2단계: 사람이 선호하는 답변을 높게 평가하도록 만들어진 보상 모델 정의

- 보상 모델을 통해 성능을 평가할 수 있는 시스템 설정

 

3단계: GPT-2의 답변을 향상시키는 강화 학습 루프 설정

- 시간이 지남에 따라 GPT 모델이 개선될 수 있도록 도와주는 피드백 매커니즘 생성