언어모델의 역사 언어모델 언어모델은 가장 자연스러운 다음 단어를 예측하는 모델.정의에 따르면 딥러닝일 필요는 없다.다만 요즘 딥러닝으로 구현하는 추세일 뿐이다. 모델의 역사 통계적언어모델 ➡ RNN 언어모델 ➡ 트랜스포머 ➡ BERT Vs GPT Vs T5 ➡ GPT의 잠재능력 LLM 트랜스포머 구글에서 AI번역기를 만들기 위해서 트랜스포머 구조를 제안 트랜스포머는 인코더-디코더로 구성된 아키텍쳐번역하고자하는 문장이 인코더로 입력되면, 디코더로 번역되어 출력된다. 인코더 ➡ 자연어의 이해디코더 ➡ 자연어의 생성 동작과정 인코더로 데이터가 들어가게되면, 디코더로 이동을하고 디코더의 값 하나하나가 다시 디코더의 입력으로 들어가서 생성 bertbert는 기존 트랜스포머 아키텍쳐에서 인코더만 추출하여 사..