쉽고 빠르게 익히는 실전 LLM - CHAPTER 1. LLM이란

 

LLM (대규모 언어 모델)

트랜스포머 아키텍처에서 파생된 AI 모델

사람의 언어, 코드 등을 이해하고 생성하기 위해 설계됨

의료 산업의 전자 의무 기록(EMR)처리, 임상시험 매칭, 신약 발견, 사기 탐지, 감정 분석, 트레이딩 전략 등에 사용

 

임베딩

텍스트를 기계가 읽을 수 있도록 변환

고차원 공간에서 단어, 구절, 또는 토큰의 수학적 표현

 

토큰화

텍스트를 가장 작은 이해 단위인 토큰으로 분해하는 과정

토큰들은 의미를 가진 정보 조각으로 어텐션 계산에 입력으로 사용됨

토큰 > 초기 임베딩 > 어텐션 계산

 

셀프 어텐션

시퀀스 내 각 단어가 다른 모든 단어에 '주의를 기울이게' 하여 단어 간 장거리 종속성과 문맥 관계를 포착

어텐션 이전에는 대부분의 신경망이 모든 입력을 동등하게 처리하고, 예측을 위해 입력의 고정된 표현에 의존

모델이 동적으로 입력의 다른 부분에 집중할 수 있게 하여 가장 중요한 정보를 우선시하고 강조

ex) 언어학적인 구문과 문법 규칙에 BERT의 어텐션 계산이 일치함

 

언어 모델링

NLP의 하위 분야로, 지정된 어휘 내 토큰 시퀀스 가능성을 예측하기 위한 통계/딥러닝 모델

 

자기회귀 언어 모델

문장에서 이전 토큰만을 기반으로 다음 토큰을 예측하도록 훈련

사실여부를 알지 못함, 일관성 있는 텍스트를 생성

트랜스포머 모델의 디코더 부분에 해당

 

자동 인코딩 언어 모델

손상된 버전의 입력 내용으로부터 기존 문장을 재구성하도록 훈련됨

전체 문맥을 양방향으로 이해, 텍스트 분류 작업에 이용

트랜스포머 모델의 인코더 부분에 해당

 

디코더

수정된 형식의 어텐션을 사용하여 다음에 올 최적의 토큰을 예측

텍스트를 생성하는 데 사용

ex) GPT 계열

 

인코더

원시 텍스트를 받아들여 핵심 구성요소로 분리하고 벡터로 변환

어텐션을 사용해 텍스트의 맥락을 이해함

ex) BERT 계열

 

전이학습

머신러닝에서 한 작업에서 얻은 지식을 활용하여 다른 관련 작업의 성능을 향상시키는 기술

ex 한 텍스트 데이터에서 사전 훈련된 LLM을 이용해 텍스트 분류나 텍스트 생성과 같은 특정한 '실제' 작업을 위해 작업 특정 데이터로 모델의 파라미터를 업데이트하여 파인튜닝하는 것

 

파인튜닝

LLM을 작업에 특화된 작은 크기의 데이터셋에서 훈련시켜, 특정 작업을 위한 파라미터를 조정하는 것

1. 파인튜닝하려는 모델과 파인튜닝 파라미터를 결정

2. 학읍 훈련 데이터 수집

3. 손실(오류 판단 기준)과 기울기(오류 최소화를 하기 위한 정보)를 계산

4. 오류를 최소화하기 위해 모델 파라미터를 업데이트(가중치 최적화)

 

정렬

모델이 사용자의 기대에 부합하는 입력 프롬프트에 얼마나 잘 답변할 수 있는지 나타냄

잘 정렬된 LLM은 사용자의 의도와 일치하는 목표를 가짐

강화 학습을 통해 훈련됨

 

인간 피드백 기반 강화 학습 (RLHF)

사람의 피드백을 사용하여 사전 훈련된 LLM을 정렬하는 것

LLM의 출력을 사람에 의해 고품질의 피드백 단계에서 학습하게 하여 지도 학습의 일부 한계를 극복

 

전통적인 자연어 처리(NLP)

1. 텍스트 분류: 감정 분석에 흔히 이용되어 텍스트를 긍정적, 부정적 또는 중립으로 분류함

>  BERT와 같은 모델로 상대적으로 적은 레이블링 데이터로 파인튜닝하여 분류가 가능해짐

2. 번역 작업: 의미와 맥락을 유지하며 한 언어의 텍스트를 다른 언어로 번역

> 두 언어의 예제와 도메인 지식이 충분하지 않아도 효율적인 어텐션 계산으로 쉽게 수행 가능

3. SQL 생성