태태개발일지 - LLM(Prompting)

Prompting

문장생성을 가이드하기 위한것, LLM만이 아닌 pre-trained 된 모델에게도 사용할 수 있다.

 

 

* 파인튜닝 없이 파라메트릭 작업 없이, 우리 출력을 입맛대로 적용할 수 있는 기법이다 *

 

 

Prompt Engineering 

원하는 결과를 얻기 위해서 표현 하나하나를 수정하며 instruct를 찾는 기법이다.

 

Prompt Tuning

 

model tuning과 학습가능한 벡터를 통한 벡터(soft vector)를 통한 튜닝, 자연어로 된 instruction(hard prompt)를 가진 튜닝 이렇게 3가지로 나뉜다.

 

 

 

벡터를 통한 벡터를 통한 튜닝은, 역전파를 통해서 성능을 높혀 나간다.

 

 

 

PEFT

아예 파라메타를 건들지 안고 튜닝하는 방법이다.

 

 

 

델타 Wx를 특정 모듈로 만들어서 기존에 적용하는 방법이다.

 

LORA

그 많은 파라메타가 전부 필요하진 않다, 다 필요한 건 아니다. 전부 update할 필요는 없고 기저벡터만으로 충분히 가능하다 라는 가정을 가진다.

 

출처: https://jiogenes.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/2024/03/05/lora-loha-lokr.html

 

결국 이미 트레인 되어있는 W에 AB 행렬을 추가만 해주는 방식이다.

A와 B만 학습하고, A는 저차원, B는 원래차원으로 복원하는 방식을 이용한다.

 

A는 가우시안 랜덤분포를 가지고 x와의 특징을 추출하고, B는 0으로 시작해서 역전파 과정에서 갱신이 된다.

 

LLM Decoding

다음에 나올 토큰을 어떻게 셈플링 하는게 좋은가?

 

Greedy Decoding

 

다음에 나올 토큰의 확률을 예측할 수 있으니, 가장 확률이 높은 것을 고르는 것이다.

 

장점

1.    간단하다
2.    언제나 같은 output 이나오고 효율적이다

단점

1.     다양성이 없다.
2.     좋은 답변에서 멀어질 수 있다.

Top-K

가능 성이 높은 K개만 셈플링을 하자. 보통 5-10사이

 

1-top k 의 확률을 연산하고, 확률 분포로 부터 셈플링을 하는 것이다.

 

Nucleus Top-p

확률이 높은 순서대로 토큰을 정렬한 뒤, 누적 확률의 합이 특정 임계값(p, 보통 0.8~0.95 사이)을 넘을 때까지만 후보군을 만들고 그 분포 안에서 샘플링을 하는 것이다. 즉, 고정된 개수를 정하는 Top-K와 달리 상황에 따라 후보군의 개수가 유동적으로 변한다는 것이 특징이다.

 

장점

• 상황에 맞는 유연함: 확실한 토큰이 있는 문맥(확률 분포가 뾰족할 때)에서는 소수의 후보만 남기고, 다양한 표현이 가능한 문맥(분포가 평평할 때)에서는 많은 후보를 남겨 자연스러운 문장을 만든다.
• 엉뚱한 단어 차단: Top-K처럼 무조건 K개를 고정하지 않으므로, 확률이 극단적으로 낮은 이상한 토큰이 억지로 후보에 끼어들어가는 것을 효과적으로 방지한다.

단점

• 연산 비용 증가: 매번 토큰들의 누적 확률을 계산하고 동적으로 후보군을 잘라내야 하므로 Greedy Decoding 등에 비해 계산이 더 복잡하다.
• 하이퍼파라미터 의존도: 적절한 다양성과 품질을 얻기 위해 알맞은 p값을 찾는 과정(튜닝)이 필요하다.

Temperature Sampling

모델이 다음 토큰을 예측할 때 계산한 확률 분포의 '모양' 자체를 변형하여 다양성을 조절하는 기법이다. 수식적으로는 Softmax 함수를 통과하기 전의 값(Logit)을 온도(T) 값으로 나누어 확률을 계산한다.

 

• T < 1 (낮은 온도): 확률 분포가 뾰족(Sharp)해진다. 원래 확률이 높았던 토큰은 확률이 더 높아지고, 낮았던 토큰은 거의 0에 수렴한다. (안전하고 결정론적인 답변)
• T = 1: 모델이 학습한 원래의 확률 분포를 그대로 사용한다.
• T > 1 (높은 온도): 확률 분포가 평평(Flat)해진다. 원래 확률이 낮았던 토큰들도 선택될 가능성이 크게 올라간다. (창의적이고 다양한 답변)

장점

• 다른 방식과 호환성: 단독으로 쓰이기도 하지만, 보통 Top-K나 Top-p를 적용하기 전에 확률 분포를 다듬는 용도로 함께 사용되어 시너지를 낸다.

단점

• 품질 저하 위험: 온도를 너무 높게 설정하면 문법이 파괴되거나 완전히 문맥에 맞지 않는 단어(Hallucination)가 튀어나올 확률이 급격히 높아진다.
• 극단적 선택: 온도를 0에 가깝게 너무 낮추면 사실상 Greedy Decoding과 똑같이 작동하여 동어 반복에 빠지기 쉽다.