챗GPT를 알기위해 프롬프트 엔지니어링을 왜 이해해야 하나?

서문

2023년에 가장 핵심적인 키워드는 AI입니다. YouTube나 각종 포털사이트에서 초거대 AI, ChatGPT, BARD 등 인공지능 관련한 기사 및 영상은 어느 때 보다도 쉽게 접하는 것 같습니다. 그중에서 가장 핫한 AI의 기술의 주인공은 누가 뭐라해도 챗GPT 입니다. 10대에서 70대까지 아니면 유초등부에서 그 윗세대까지 모두가 하나의 챗봇을 알게 된 것은 이번이 처음인 것 같습니다. 심지어, IT를 전혀 모르는 사람들도 챗GPT를 알고, 자기 공부에 활용하고 있는 것을 심심찮게 볼 수 있습니다. 

 

2016년 알파고가 이세돌을 이겼을 때 도 많은 사람에게 신선한 충격을 주었지만,

이번만큼 많은 사람이 사용하고 찾아보게 된 것은 Google, Facebook, Instagram과 같이 새로운 시대를 이끄는 기술과 같아 보입니다.

 

챗GPT 하면 AI기술을 생각하는 것은 너무나도 자연스러울 것입니다.

어벤저스에서 아이언맨의 인공지능 비서 자비스가 생각나는 것은 너무나 자연스러울 것입니다.

 

자비스에 대해 추가로 설명하자면, 자비스는 토니 스타크가 개발한 인공지능 비서 시스템으로, 스타크 타워와 아이언맨 슈트 등에 내장되어 있습니다. 인간의 언어를 이해하고 응답하는 인공지능으로, 토니 스타크의 일상생활부터 아이언맨 슈트를 제어하고 추가적으로 필요한 기술 연구 보조도 합니다. 또한 전 세계에 배치된 인공지능 비서 브랜드를 경쟁시키는 유일한 존재이기도 합니다.

 

이후에는 터미네이터 영화에서처럼 인공지능의 지배를 받을까 하는 두려움이 뒤따르는 것은 어찌 보면 자연스러운 모습이 아닌가 싶네요

728x90

ChatGPT이야기

일단 챗GPT 에 대해서 이야기하고자 합니다. 2017년 구글에서 발표한 논문(Attention is All you need)에서 Transformer 알고리즘이 그 모체가 되어 GPT 알고리즘이 나왔습니다 (참고) Transformer는 Encoder  Decoder로 구성되어 있는데,  Encoder에서 발전되어 나온 것이 BERT,  Decoder에서 발전되어 나온 것이  GPT입니다. 그 외에도 Transformer 기반하여 다양한 알고리즘이 발전되었습니다) Transformer에 대해 상세하게 이야기하기에는 어려운 내용들이 많습니다. 이미 충분히 좋은 자료들도 많이 공유되고 있기 때문에 여기서는 따로 언급하지 않으려고 합니다.

 

GPT에서 시작해서 현재(23년 상반기) 챗GPT는 GPT-4 버전을 사용하고 있습니다. 상당기간동안 AI 기술은 오픈소스로서 함께 기술을 공유하고 발전시켜 왔습니다. 하지만, OpenAI에서 GPT3 버전부터 알고리즘을 공개하지 않으면서 많은 논란을 가져왔습니다. ClosedAI라는 소리를 듣기까지 했지요. 결론으로 이야기하면, GPT는 단어 생성 모형에 집중한 형태로, 지금과 같이 자연스럽게 답변해주는 데 23년 상반기 기준으로서는 최적의 선택으로 보입니다.물론 생성 모델의 발전은 지금도 끊임없이 진행되고 있습니다. GPT는 언어 모델이지만, Dall-E 나 Diffusion Model 등 이미지에서도 놀라운 성능을 보여주고 있습니다. 

 

챗GPT를 설명하기 앞서 초거대AI 모델은 하나의 프로그래밍된 다차원의 언어 바구니(bag of words 또는 Word Embedding) 형태로 되어 있습니다. 반복적이고, 많은훈련을 하면서 다차원의 형태로 단어들 사이의 관계를 만들어 준 형태로 되어있습니다. 복잡하게 만들어진 모델을 직접적으로 사용하기에는 어려움이 있었습니다. 특히나, 딥러닝 기술이 적용되면서 인과관계 추론이 더욱더 어려워졌습니다. 초거대 AI 모델을 연구하던 과정에서 적절한 입력을 주는 간단한 훈련만 진행해도, 좋은 결과를 내는 것을 알게 되었습니다. 그러다 보니, 이러한 모델에서 내가 원하는 결과를 얻기 위해, 사용하는 방법이 프롬프트 엔지니어링입니다. 프롬프트란 사용자가 언어모델에 입력값이고 얼마나 최적화하느냐에 따라 결과를 좌지우지한다고 이해하는 편이 더 좋습니다. 

반응형

프롬프트 이야기

우리가 컴퓨터와 대화하는 방법이 자바, C++, 파이썬과 같은 프로그래밍(컴퓨터 사이언스)인 것처럼 챗GPT와 잘 대화하는 방법이 프롬프트 엔지니어링입니다. 예를 들어, 챗GPT 모델로 작성된 대화가 자연스럽게 이어지지 않는다면, 새로운 데이터나 특정한 Prompt engineering 기법을 적용하여 대화의 자연스러움을 높일 수 있습니다. 한동안 챗GPT를 와이프로 삼은 인플루언서가 많은 관심을 끈 것을 보면, 프롬프트를 잘 다루는 것이 앞으로의 초거대AI 시대를 맞이하는 방법인 것 같습니다

https://techrecipe.co.kr/posts/49369

챗GPT‧스테이블 디퓨전으로 만든 ‘가상 아내’ - 테크레시피

 

2023년 기준으로 발표된 논문을 보면, 거대AI 모델을 가장 최적화하는 방법이 프롬프트 튜닝을 적용한 방법입니다.

연구논문을 따르면, 초거대AI 모델 이전 Transformer 계열 모델들도 Finetuning 보다 Zero-shot을 추구하는 프롬프트 튜닝이 더 좋은 성능과 효율적인 관리가 가능하다는 것을 지속적으로 보여줬습니다. 그래서, 프롬프트엔지니어링이 초거대 AI 단어와 함께 계속 따라다니는 것입니다.

 

프롬프트 엔지니어링 관련한 논문은 다음 포스팅에서 공개하였습니다. 대부분이 영어로 되어 있어서 처음 접하시는 분들은 이해하기 어려울 수 있겠지만, 그 흐름만 가져가는 것도 충분히 초거대AI 시대를 맞이하는 좋은 자세로 보입니다. 그리고 프롬프트 엔지니어링에 사용되는 주요 프롬프트 소개를 하겠습니다.

2023.05.19 - [최신IT 정보/IT 개발정보] - 초거대 AI 프롬프트 배우기 좋은 사이트 소개

초거대 AI 프롬프트 배우기 좋은 사이트 소개

2023.05.22 - [최신IT 정보/IT 개발정보] - Few shot prompt 이해하기

Few shot prompt 이해하기

2023.07.08 - [최신IT 정보/IT 개발정보] - 생성AI 학습 방법 설명 및 Prompting의 패러다임 변화 (23년 상반기 기준)

생성AI 학습 방법 설명 및 Prompting의 패러다임 변화 (23년 상반기 기준)