[NLP] Prompt Engineering / 프롬프트 엔지니어링

ChatGPT가 나온 이후로 언어모델의 대한 관심 급증하기 시작하고 기업들은 너도 나도 할것없이 이 언어모델을 개발하고 도입하기 시작한다. 이와 동시에 "Prompt Engineering. / 프롬프트 엔지니어링" 이라는 분야가 생겨나고 각광 받기 시작한다.

 

테슬라의 전 AI 책임자가 ‘가장 있기 있는 새로운 프로그래밍 언어는 영어’라고 할 정도로 프롬프트 엔지니어링의 중요성이 높아지고 있다. Anthropic AI가 올해 초 프롬프트 엔지니어 채용 공고 에서는 제시한 연봉이 무려 25만에서 33만 달러 (대략적으로 한화 3억 2천만원에서 4억 3천만원)이라고 한다.

 

그럼 왜 프롬프트 엔지니어링이라는 분야가 생겨났고 어떤 기술을 사용하는지 알아보자

 

1. 생겨난 이유

프롬프트 엔지니어링이 중요하고 생겨나게 된 이유에는 언어모델의 한계에 있다. 

1. 문맥을 이해하는 능력이 제한적

2. 훈련 데이터에 기반하여 예측에 대한 답변

 

이 한계들 때문에 문맥을 이해할수 있게 도와주고 훈련 데이터에만 기반 하지않고 기업의 목적에 맞는 모델을 사용할수있게 해주는 기술이 필요한것이다. 그래서 생겨난게 프롬프트 엔지니어링인것이다. 

 

2. 프롬프트 엔지니어링 기술

프롬프트 엔지니어링 기술중에는 여러개가 있는데 그 중 대표적인 것들은 Zero shot, One shot, Few shot, Chain Of Thought, Fine Tuning이 있다. 

 

이것들에서 간략하게 설명하겠다

 

Zero Shot

뜻: 말 그대로 예제를 주지않고 테스크를 수행하게 하는것이다

 

예)

 

 

Translate Korean to English

음식 ->

 

One Shot

뜻: 예제를 한번 주고 테스크를 수행하게 하는것이다.

 

예)

Translate Korean to English

음식 -> food

노래 ->

 

Few shot

뜻: 예제를 여러개 주고 테스크를 수행하게 하는것이다

 

예)

Translate Korean to English 

음식 -> food 

노래 -> song

책 ->

---

보기에는 간단하고 별거 없어보이지만 실제로 성능 차이가 뚜렷하게 난다.

 

---

Chain Of Thought(COT)

뜻: 최종 예측 이전에 설명을 생성하여 복잡한 추론 작업을 해결하는 것이다

 

최종 예측전에 단계별로 논리적으로 문제를 풀게 하여 정확도가 올라간다

---

ex) Prompt: 나는 시장에 갔고 사과 10개를 샀다. 이웃에게 사과 2개를 주고 수리공에게도 2개를 주었다. 그리고 5개의 사과를 더 샀고 1개를 먹었다. 나에게 남은 사과는 얼마나 있을까요?

 

이 프롬프트를 gpt에 넣었을때 오답이 나온다.

Gpt 결과: 11개

 

하지만 단계별로 생각을 하게 하면 결과는 달라진다

---

ex) Prompt: 나는 시장에 갔고 사과 10개를 샀다. 이웃에게 사과 2개를 주고 수리공에게도 2개를 주었다. 그리고 5개의 사과를 더 샀고 1개를 먹었다. 나에게 남은 사과는 얼마나 있을까요?
한 단계씩 생각해 봅시다.

 

 

GPT 결과: 먼저, 10개의 사과를 가지고 시작했습니다.

이웃에게 2개의 사과를 주고, 수리공에게도 2개의 사과를 주었으므로 남은 사과는 6개가 되었습니다.

그런 후에 사과 5개를 더 구매하여 총 11개의 사과가 되었습니다.

마지막으로, 1개의 사과를 먹었기 때문에 남은 사과는 10개가 됩니다.

---

Fine Tuning

 

파인튜닝은 사전학습된 모델을 한 specific 한 task를 위해 추가학습하는 과정을 말한다.

 

이 방법을 통해 한 언어모델을 목적에 맞게 사용할수 있는것이다.