[168호] Attention is all you need, 인공지능 혁명 Chat-GPT

편집장 장 혜 연

 

 

<출처: pixabay>

 

* 본 기사는 한국수출입은행의 2023 이슈보고서 <생성형 인공지능으로 인한 인공지능 혁명 및 산업 변화(이현진, 2023)>를 토대로 재구성한 글임을 밝히는 바임. 

 

  뛰어난 성능을 가진 초거대 AI를 기반으로 혁신적인 생성형 AI 구현이 가능해짐에 따라 이를 기반으로 혁신적인 생성형 인공지능 서비스가 출시되었다. 기존에도 챗봇 등 생성형 AI 서비스가 존재하였으나, 초거대 AI로 인간의 능력 수준에 도달한 생성형 AI는 콘텐츠, 금융, 의료, 법률 등의 분야에서 적극적으로 활용되고 있다. 이는 경제와 사회 전반의 변곡점으로 평가되는 바이며 생성형 인공지능 혁명의 시작은 이미 시작되었고 이에 빠르게 적응하는 것이 산업사회에서의 생존 여부를 결정할 수 있게 된 것이다. 

 

  AI 분야의 최고 석학인 뉴욕대 얀 르쿤(Yann LeCun) 교수에 의하면, 모든 분야에서 인공지능의 지적 수준이 인간의 지능을 뛰어넘을 것이라는 점은 대부분의 인공지능 전문가가 동의하며 이제는 ‘언제’, ‘어떻게’ 뛰어넘을 지 예측하는 것이 중요하다고 이야기한다(얀 르쿤, 2023). 즉, 생성형 AI는 언어이해, 콘텐츠 생산, 기억 및 추론 등 범용적인 분야에서 인간 수준의 성능을 보이며 이미 그 효용성이 입증되고 있다. 

 

  인공지능과 관련한 연구와 개발은 긴 역사를 가지고 있다. 하지만 눈부신 성장을 이룬 것은 불과 얼마 되지 않았다. 2017년 당시 ‘Attention is all you need’라는 제목의 논문 발표를 시작으로 Transformer 아키텍처가 세상에 공유되었다. 해당 아키텍처는 Attention 메커니즘을 사용하여 문장 전체를 병렬 처리하여(순차적인 데이터를 분석할 때 전체 부분을 한꺼번에 계산하여 문장 뒤에 올 단어를 예측하는 방식) 더 큰 문맥을 이해할 수 있게 만들었다. 해당 아키텍처의 등장은 자연어 처리 분야에 혁명을 일으키게 되었다. 2018년 이 Transformer 아키텍처를 기반으로 Open AI에서 GPT-1을 세상에 내보였다. 

 

  Transformer 아키텍처의 특징은 “Attention Mechanism”이다. 이는 모델이 입력 데이터의 어떤 부분에 집중해야 하는지를 자기주도적으로 학습(self-supervised learning)하게 하는 메커니즘이다. 예를 들어, 언어 문장을 번역할 때 입력된 문장의 단어들이 출력 문장의 단어들과 어떤 관계를 가지는지에 대해 모델이 학습하게 되는 것이다. Tranformer 모델은 크게 Encoder와 Decoder 두 부분으로 구성되어 있다. 먼저, Encoder는 입력 시퀀스를 받아 연속적인 벡터 표현으로 변환하여, 이 과정에서 각 단어가 전체 문장의 어떤 부분에 주목해야 하는지 결정하는 ‘Self-Attention’ 메커니즘을 사용한다. 그 후 Decoder는 Encoder가 생성한 벡터 표현을 바탕으로 출력 시퀀스를 생성하게 된다. 이 과정도 동일하게 ‘Self-Attention’ 메커니즘을 사용하게 되며, 추가적으로 Encoder의 출력에 대한 Attention 메커니즘을 사용하여 입력 문장과 출력 문장 사이의 연관성을 학습하게 된다. 

 

  생성형 ai는 방대한 양의 데이터를 기반으로 학습하고 학습된 내용을 통해 새로운 콘텐츠를 생성하는 인공지능(generative AI)이다. 생성형 인공지능은 홍보물 디자인, 제품개발, 교육, 번역, 챗봇 서비스 등에 활발하게 이용되고 있다. 생성형 AI의 특징은 크게 생성형 모형, 대용량 데이터, 새로운 콘텐츠로 요약할 수 있다(해외경제연구소, 2023). 생성형 인공지능은 대규모 모형 구축을 통해 엄청난 양의 학습 데이터를 학습시켜 실제로 활용할 수 있는 수준의 콘텐츠 생성이 가능하다. 생성형 인공지능 구축을 위해서 기존의 AI와는 다르게 데이터의 패턴이나 연관성과 같은 본질적인 원리를 학습한다. 

 

  대부분의 생성형 모형의 경우 수천 개에서 수조 개의 파라미터로 구성되어 있다(파라미터는 두뇌의 시냅스에 해당하는 역할을 수행한다). 각 파라미터를 제대로 학습시키기 위해서는 대용량의 데이터가 필요하다. 대용량의 데이터를 토대로 학습한 AI는 학습된 내용을 기반으로 콘텐츠를 생산할 수 있다. 기존의 AI는 데이터와 알고리즘을 통해 아웃풋을 산출해 냈다면 생성형 AI는 대용량의 데이터와 생성형 모형을 통해 고도로 정교화된 수준의 산출물에 도달했다는 특징점이 존재한다.

 

  일례로 대표적인 생성형 AI, Chat GPT-1은 1,700만 개의 파라미터를 가지며, 대량의 텍스트 데이터를 기반으로 비지도 학습을 통해 언어 모델을 학습시킨 후 다양한 자연어 처리 태스크(Task)에 대해 미세 조정을 실시하였다. 이를 통해 GPT-1은 한 가지 구체적인 태스크에 특화된 학습을 한 것이 아니라, 일반적인 언어 이해 능력을 바탕으로 광범위한 분야의 태스크를 수행할 수 있게 되었으며, Chat GPT의 개발 시기와 파라미터는 다음과 같다. 

년도	버전	파라미터 수(log)	특징
2018년	GPT-1	1,700만 개	-
2019년	GPT-2	15억 개	-
2020년	GPT-3	1,750억 개	-
2022년	GPT-3.5	1,750억 개	GPT-3 개량을 통해 편향성과  문장 생성 정밀도 향상
2023년	GPT-4	100조 개	GPT Plus 구독자만 사용 가능

 <김병헌(2023)의 글을 도표로 재구성>

 

  생성형 인공지능은 과거에 발생했던 인터넷 혁명이나 모바일 혁명과 유사하게 인공지능 혁명의 시작점이 될 수 있다. 인터넷 보급으로 인해 인터넷 검색이나 광고, e-커머스 산업이 번창했으며 이에 따라 마이크로소프트, 구글, 아마존과 같은 거대 IT 기업이 탄생했다. 이후 스마트폰의 보급으로 정보 이동성이 증가하면서 플랫폼, OTT, 핀테크 등 새로운 산업의 발굴로 이어지며 애플, 구글, 메타, 넷플릭스 등 SNS와 OTT 산업이 폭발적으로 성장하게 된다. 그리고 현재, 생성형 AI의 등장으로 이를 활용하여 정보를 습득하거나 창작, 요약, 번역, 재구성 등 창의성과 관련된 업무까지 폭넓게 이용되고 있다. 

 

  생성형 인공지능은 여러 산업 분야에서 활용되고 있으며 경제 및 사회 전반의 변곡점으로 평가된다. 미국 내 인공지능 관련 인력 공고의 비중은 지속적으로 증가하였다. 인공지능 관련 인력공고 비율은 18년 하반기 이후로 급격히 증가하였다. 21년 하반기 기준으로 제조업, 광업, 유틸리티, 건설업 순으로 전체 공고 대비 인공지능 인력공고의 비중이 높은 것으로 나타났으며 그중에서도 특히 제조업 분야가 가장 꾸준하고 높은 인공지능 인력 수요를 요구하고 있는 것으로 확인되었다(SPRi, 2022).

 

  생성형 인공지능의 활용 범위는 무궁무진하다. 마케팅, 금융, 의료, 법률, 제조, 교육 등 각각의 산업 분야에서 활용되고 있으며, 특히 마케팅과 광고 산업에서 생성형 인공지능을 적극적으로 활용하고 있다. 가트너에서는 2025년까지 생성형 AI가 대기업 마케팅 메시지(카피라이터 업무) 30%를 작성할 것으로 전망하였다. 아스타컴퍼니의 모카, 뤼튼테크놀로지스의 뤼튼 등은 상품에 대한 키워드와 이미지를 기반으로 상품 설명과 광고 문구를 생성하고 실제로 현대백화점, CJ 등의 대기업에서도 성향 맞춤 AI 카피라이터를 채용하여 활발한 활동을 하고 있다. 미디어콘텐츠 분야에서도 생성형 인공지능에 따라 작곡, 영상, 이미지, 디자인 같은 창작물 생성이 가능해지면서 방송, 영화, 드라마 등 분야에서 또한 생성형 AI의 창의성을 적극적으로 이용하는 추세이다. 

  

  그러나 황금빛 미래만 존재하는 것은 아니다. 초거대 AI 구축에 필요한 비용이 증가함에 따라 글로벌 빅테크 기업을 중심으로 생성형 인공지능 생태계가 구축되었고, 기존에 존재하는 AI보다 더 우수한 인공지능을 만들기 위해서는 거대한, 양질의 데이터와 컴퓨팅 파워가 요구된다. 이는 AI로 바뀌는 산업 생태계 전반에 대한 가치사슬이 권력화될 수 있음을 시사한다. 한편, 발전하는 기술에 반해 실제로 인공지능 기술을 배포하는 기업에 대한 규제가 거의 존재하지 않는다. 이에 EU는 생성형 AI의 학습 데이터를 공개하는 ‘AI 법안’을 추진 중이다. 

 

  2023년 12월 과학기술정통부와 한국인터넷진흥원(KISA)에서 발표한 <2023년 사이버 보안 위협 분석과 2024년 사이버 보안 위협 전망>에 의하면, 2024년에는 생성형 AI를 악용한 사이버 범죄 가능성이 증가할 것으로 전망했다. 전문 지식 없이 악성코드 제작, 음성 위변조가 가능해 피싱 범죄에 적극적으로 활용될 수 있으며, 기존 백신이 탐지하기 어려운 변종 악성코드 개발에 이용될 수 있을 것으로 예상된다. 한국AI교육협회에서 추산한 전 세계 AI 범죄 피해액은 1,500억 달러(약 190조 500억 원)에 육박할 것으로 추산된다. 생성형 AI의 발전의 명과 암을 파악하여 현명한 소비자가 되길 바란다. 

 

 

 

< 참고문헌 > 

 

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

김병헌. (2023). ChatGPT의 탄생 배경. URL: https://blog.deeplink.kr/?p=947

이예린. (2023). AI 악용 범죄, 올 전세계 피해액 190조원. URL: https://munhwa.com/news/view.html?no=2023071801070907275001

한국수출입은행. (2023). 이슈보고서 <생성형 인공지능(Generative AI)으로 인한 인공지능 혁명 및 산업 변화. URL: https://eiec.kdi.re.kr/policy/domesticView.do?ac=0000178053