태태코딩

프롬프트 엔지니어링 프롬프트 엔지니어링은 AI언어 모델에게 원하는 결과를 얻기 위해 입력(프롬프트)를 설계하는 기술이다. 중요한이유같은 요청이라도 물어보는 방식에 따라 답변의 품질이 크게 바뀐다.GPT-4 API로 LLM 학습데이터를 만들 때 중요하다.LLAMA나 여러가지 파인튜닝할때도 프롬프트 엔지니어링이 중요하다. 프롬프트 엔지니어링 기초 프롬프트 엔지니어링의 기본적인 원칙은 사람에게 설명하듯 잘 설명해줘야한다. 1.명확한 지시사항ex)"다음 텍스트를 3개의 핵심 포인트로 요약해줘"(o)"다음텍스트를 요약해줘"(X) 2.컨텍스트 제공(배경 정보와 상황 설명을 주거나 예시작성)ex)"예시를 줄게~ 예시는 다음과같아 ex) {~~~~}""너는 과학기술에서 뛰어난 학자야 ~~답변해줘"3. 형식의 제약ex)..

언어모델의 역사 언어모델 언어모델은 가장 자연스러운 다음 단어를 예측하는 모델.정의에 따르면 딥러닝일 필요는 없다.다만 요즘 딥러닝으로 구현하는 추세일 뿐이다. 모델의 역사 통계적언어모델 ➡ RNN 언어모델 ➡ 트랜스포머 ➡ BERT Vs GPT Vs T5 ➡ GPT의 잠재능력 LLM 트랜스포머 구글에서 AI번역기를 만들기 위해서 트랜스포머 구조를 제안 트랜스포머는 인코더-디코더로 구성된 아키텍쳐번역하고자하는 문장이 인코더로 입력되면, 디코더로 번역되어 출력된다. 인코더 ➡ 자연어의 이해디코더 ➡ 자연어의 생성 동작과정 인코더로 데이터가 들어가게되면, 디코더로 이동을하고 디코더의 값 하나하나가 다시 디코더의 입력으로 들어가서 생성 bertbert는 기존 트랜스포머 아키텍쳐에서 인코더만 추출하여 사..