[Part 1] Attention Is All You Need — AI 시대를 연 한 편의 논문
- Part 1 — AI 시대를 연 한 편의 논문 (← 지금 이 글) 논문의 역사, 저자들의 뒷이야기, 세상을 바꾼 영향력
- Part 2 — 트랜스포머 원리 완전 해설 Q·K·V, Multi-Head, Encoder/Decoder의 작동 원리
- 2017년, 구글의 8명이 쓴 한 편의 논문이 지금의 ChatGPT, Claude, Gemini를 모두 만들어냈습니다.
- 이 논문은 "AI가 글을 한 단어씩 천천히 읽던 시대" 를 끝내고, "한 번에 전체 맥락을 파악하는 시대" 를 열었습니다.
- 9년이 지난 지금, 저자 8명은 모두 흩어져 각자의 AI 제국을 세우고 있습니다. 그리고 이 이야기는 아직 끝나지 않았습니다.
The Beatles - All You Need Is Love 논문 제목이 이 곡에서 따왔다는 사실, 본문 3장에서 만나보세요.
🌟 1. 프롤로그: 9년 전, 구글의 어느 회의실에서
여러분이 오늘 아침에 사용한 AI를 떠올려보세요.
ChatGPT에게 보고서 초안을 부탁했거나, 번역기를 돌렸거나, 검색창에 자연어로 질문을 던졌을지도 모릅니다. 어쩌면 이 글을 클릭하기 전, AI가 추천해준 영상 하나를 보고 오셨을 수도 있죠.
그 모든 것의 시작이 단 한 편의 논문이었다고 하면 믿어지시나요?
2017년 6월, 구글의 연구자 8명이 한 논문을 세상에 내놓았습니다. 제목은 도발적이었습니다.
(어텐션만 있으면 된다)
— 2017년 6월, Vaswani et al.
당시 AI 학계의 통념을 정면으로 거스르는 제목이었습니다. 그리고 9년이 지난 지금, 이 논문은 21세기 가장 많이 인용된 논문 TOP 10 안에 들어갑니다. 인용 횟수가 무려 17만 회를 넘었죠.
이 글에서는 그 논문이 무엇이었고, 어떻게 세상을 바꿨는지, 그리고 그 글을 쓴 8명이 지금 어디서 무엇을 하고 있는지를 함께 살펴보려 합니다. 논문 내용을 100% 이해하실 필요는 전혀 없습니다. 그저 "아, 이런 일이 있었구나" 하고 한 시대의 풍경을 함께 둘러보는 시간이 되었으면 합니다.
자, 그럼 시작해볼까요?
📜 2. 그 시절 AI는 어땠을까 — 트랜스포머 이전의 세계
논문 이야기를 하기 전에, 잠깐 시간을 거슬러 올라가봅시다. 2017년 이전의 AI는 어땠을까요?
한 단어씩 천천히 읽던 시대
당시 AI가 문장을 처리하는 방식은 마치 이런 모습이었습니다.
"두꺼운 책을 한 글자씩 외우면서 읽는 학생"
RNN(순환 신경망)이나 LSTM(장단기 기억 신경망) 같은 기술이 주류였는데요, 이 모델들의 가장 큰 특징은 순차적이라는 것이었습니다. 즉, 문장의 첫 단어부터 마지막 단어까지 한 단어씩 차례대로 읽어야 했어요.
그래서 무엇이 문제였나?
이 방식에는 세 가지 큰 문제가 있었습니다.
한 단어를 처리해야 다음 단어로 넘어갈 수 있으니, 여러 작업을 동시에 처리할 수가 없었습니다. GPU가 아무리 빨라도 소용이 없었죠. 마치 8차선 고속도로에 차를 한 대씩만 보내는 것과 같았습니다.
사람도 긴 글을 읽다 보면 앞부분을 잊어버리죠? AI도 마찬가지였습니다. 문장이 길어질수록 첫 부분의 정보를 잃어버리는 "장거리 의존성(Long-range dependency)" 문제가 있었어요.
예를 들어 "어제 시장에서 산 빨갛고 신선한 사과는 정말 ___" 같은 문장에서, AI가 빈칸을 채우려면 앞의 "사과"를 기억해야 하는데, 문장이 더 길어지면 잊어버리기 일쑤였습니다.
당시 번역기를 써본 분들은 기억하실 거예요. 단어는 다 맞는데 어딘가 어색한, 직역 같은 문장이 나왔죠. 챗봇은 동문서답하기 일쑤였고, AI가 쓴 글은 한눈에 봐도 "이거 사람이 쓴 거 아니네" 가 표가 났습니다.
연구자들은 답답해했습니다. "더 빠르고, 더 똑똑한 방법은 없을까?" 그러던 차에, 8명의 연구자가 들고나온 한 가지 아이디어가 모든 것을 바꿉니다.
트랜스포머 이전 AI는 느리고, 기억력이 짧고, 그래서 결과물이 어색했습니다.
✨ 3. "Attention Is All You Need" — 제목부터 도발이었다
이제 논문이 어떻게 탄생했는지, 그 뒷이야기를 들어보실 차례입니다. 사실 이 논문에는 의외로 재미있는 일화들이 많이 숨어있어요.
🎵 제목의 비밀 — 비틀스 노래에서 따왔다
논문 제목 "Attention Is All You Need" — 어디서 들어본 듯한 리듬 아닌가요?
맞습니다. 비틀스의 명곡 "All You Need Is Love" 에서 영감을 받은 제목입니다. 학술 논문 제목치고는 굉장히 도전적이고 자신감 넘치는 표현이었죠. "다른 거 다 필요 없고, 어텐션 하나면 충분하다" 는 선언이었으니까요.
🤖 "Transformer"라는 이름은 어떻게 정해졌나?
여기서 또 하나의 재미있는 일화. 이 새로운 AI 아키텍처의 이름이 왜 Transformer(트랜스포머)가 됐을까요? 무슨 거창한 학술적 이유가 있을 것 같지만, 진실은 의외로 단순합니다.
"Jakob Uszkoreit(저자 중 한 명)가 그 단어 어감이 좋아서 그냥 그렇게 부르자고 했다."
심지어 초기 설계 문서에는 영화 〈트랜스포머〉의 로봇 캐릭터 6개 그림이 그려져 있었다고 합니다. 팀 이름도 자연스럽게 "Team Transformer" 가 됐고요. 인류의 미래를 바꾼 기술의 이름이 영화 캐릭터에서 왔다니, 어쩐지 재밌지 않나요?
👨🏫 아버지조차 의심했다
또 다른 흥미로운 일화 하나. Jakob Uszkoreit이 "순환 구조(RNN) 없이 어텐션만으로 충분할 거야" 라고 주장했을 때, 가장 먼저 회의적이었던 사람은 의외의 인물이었습니다.
바로 그의 아버지, Hans Uszkoreit — 세계적으로 유명한 전산언어학자였죠. 아들의 아이디어를 듣고 "그건 말이 안 된다" 며 고개를 저었다고 합니다. 당시 학계 통념상 너무 파격적인 발상이었거든요.
🔧 부품을 빼봤더니 오히려 더 좋아졌다
그리고 이 일화가 가장 충격적입니다. 연구가 한창 진행되던 어느 날, 팀은 호기심에 모델에서 일부 구성요소를 하나씩 떼어내 보기 시작했습니다. "이 부분이 정말 필요한가? 없으면 얼마나 나빠지나?" 확인해보려고요.
그런데 놀라운 일이 벌어집니다.
"우리가 모델에서 부분을 떼어내기 시작했는데, 놀랍게도 성능이 더 좋아지더군요."
복잡한 구조를 덜어낼수록 모델이 더 똑똑해지는 역설. 결국 이 "빼고, 빼고, 또 빼는" 과정의 끝에 남은 것이 바로 "Attention"이었습니다. "이거 하나만 있으면 정말 충분하구나" 라는 깨달음. 그것이 그대로 논문 제목이 됐죠.
📅 그리고 2017년, 세상에 등장하다
2017년 6월, 논문은 arXiv에 처음 공개되었고, 같은 해 12월 NeurIPS(세계 최대 AI 학회)에서 정식 발표됩니다. 발표 당시만 해도 "기계 번역을 좀 개선한 논문" 정도로 받아들여졌어요.
하지만 그 안에 담긴 아이디어는, 9년에 걸쳐 AI의 모든 것을 다시 쓰게 됩니다.
🧠 4. 핵심 아이디어, 어렵지 않게 풀어보기
자, 이제 가장 어려울 수 있는 섹션입니다. 하지만 걱정 마세요. 수식이나 어려운 용어 없이, 비유를 통해 직관만 잡아볼 거예요.
이 섹션을 100% 이해하지 못하셔도 정말 괜찮습니다. 다음 섹션부터 나오는 "그래서 세상이 어떻게 바뀌었나" 가 진짜 중요한 부분이니까요.
4.1 그래서 "Attention(어텐션)"이 도대체 뭔데?
"어텐션"이라는 단어를 그대로 번역하면 "주의" 또는 "주목" 이에요. AI 용어로는 "어떤 정보에 더 집중해야 하는지를 스스로 판단하는 메커니즘" 입니다.
쉽게 비유해볼까요?
교실에서 선생님 설명을 들을 때를 떠올려보세요. 우리는 선생님의 모든 단어에 똑같이 집중하지 않습니다. 중요한 키워드, 시험에 나올 부분, 이해 안 되는 개념에 더 주의를 기울이죠.
AI에게 이런 '선택적 집중' 능력을 준 것이 바로 어텐션입니다.
기존 RNN은 모든 단어를 동등하게, 그리고 차례대로 처리했습니다. 반면 어텐션은 "이 문장에서 진짜 중요한 단어가 뭐지?" 를 스스로 판단합니다.
4.2 Self-Attention — 문장 안에서 누가 누구를 보고 있나
논문의 진짜 핵심은 Self-Attention(셀프 어텐션)입니다. 이름 그대로 "자기 자신에게 어텐션을 적용" 한다는 뜻이에요.
예시를 하나 들어볼게요.
"그 동물은 너무 피곤해서 길을 건너지 않았다. 그것은 정말 지쳐 보였다."
여기서 "그것" 은 무엇을 가리킬까요? 사람이라면 당연히 "동물" 이라고 알아맞히죠. 하지만 AI에게는 이게 굉장히 어려운 일이었습니다.
Self-Attention은 이 문제를 우아하게 해결합니다. 문장 속의 모든 단어가 모든 단어와 서로를 동시에 바라보면서, "내가 진짜 가리키는 게 누구야?" 를 한 번에 계산하거든요.
"파티장에서 사람들이 서로 누구를 쳐다보는지 한꺼번에 지도로 그려보는 것"
이렇게 생각하시면 쉬워요. "그것" 이 "동물" 을 가장 강하게 쳐다본다면, AI는 "아, '그것'이 '동물'을 의미하는구나" 를 알아챕니다.
4.3 Multi-Head Attention — 8개의 눈으로 동시에 보기
여기서 한 발 더 나아갑니다. 어텐션을 한 번만 하는 게 아니라, 여러 번 동시에 합니다. 보통 8번을 동시에 하죠.
왜 그럴까요? 같은 문장이라도 여러 관점으로 볼 수 있기 때문입니다.
"한 문장을 문법 선생님, 의미 선생님, 감정 선생님이 동시에 분석하는 것"
- 어떤 어텐션 헤드는 문법적 관계(주어-동사)에 주목하고
- 다른 헤드는 의미적 연결(누가 누구를 가리키는지)에 주목하고
- 또 다른 헤드는 감정이나 톤에 주목하고...
이렇게 8개의 시선이 동시에 작동해 문장을 입체적으로 이해합니다. 이게 Multi-Head Attention 의 핵심 아이디어예요.
4.4 Positional Encoding — 순서를 기억하는 똑똑한 방법
여기서 문제가 하나 생깁니다. 어텐션은 모든 단어를 동시에 보는 게 장점인데, 그러면 단어의 순서를 어떻게 알 수 있을까요?
"나는 너를 좋아해" 와 "너는 나를 좋아해" 는 단어가 똑같지만 의미는 완전히 다르잖아요.
해결책은 의외로 간단했습니다. 각 단어에 "위치 스티커"를 붙여주는 것이죠.
"영화관 좌석 번호 같은 것"
각 단어에 "너는 1번 자리, 너는 2번 자리, 너는 3번 자리" 식으로 위치 정보를 함께 넣어줍니다. 이렇게 하면 모든 단어를 동시에 보면서도 순서 정보는 잃지 않아요.
이것이 Positional Encoding 입니다.
4.5 Encoder-Decoder — "이해"와 "표현"의 분업
마지막으로, 트랜스포머의 전체 구조를 한 번 살펴볼게요. 큰 그림은 의외로 단순합니다.
"통역사를 떠올려보세요. 먼저 한국어를 듣고 이해(Encoder)한 다음, 영어로 다시 말합니다(Decoder)."
- Encoder(인코더): 입력 문장을 깊이 이해하는 부분
- Decoder(디코더): 이해한 내용을 바탕으로 새로운 문장을 만들어내는 부분
번역, 요약, 챗봇 답변 — 이 모든 것이 "이해하고 → 다시 표현하는" 구조로 작동합니다.
트랜스포머의 비결은 (1) 모든 단어가 서로를 동시에 본다 + (2) 여러 관점에서 본다 + (3) 순서는 스티커로 기억한다 — 이 세 가지입니다.
🚀 5. 그래서 무엇이 그렇게 혁명적이었나?
자, 이제 "이 논문이 도대체 뭘 그렇게 해결했길래?" 에 답할 차례입니다. 트랜스포머가 이전 시대의 문제들을 어떻게 깨부수었는지 네 가지로 정리해드릴게요.
이전 RNN은 단어를 한 개씩 차례대로 처리해야 했죠. 트랜스포머는 모든 단어를 동시에 처리할 수 있습니다. 이게 무슨 차이를 만들까요?
8차선 고속도로를 떠올려보세요. RNN은 차를 한 대씩만 보냈다면, 트랜스포머는 8대를 동시에 보낼 수 있게 된 거예요. GPU의 강력한 병렬 연산 능력을 비로소 제대로 활용할 수 있게 된 것이죠.
실제로 논문 발표 당시, 트랜스포머는 단 8개의 GPU로 3.5일 만에 당시 최고 수준의 번역 성능을 달성했습니다. 다른 모델들이 몇 주씩 걸리던 시절이었으니, 이건 정말 충격적인 결과였어요.
앞에서 "긴 문장은 앞을 까먹는다" 는 문제, 기억하시죠? Self-Attention 덕분에 트랜스포머는 문장의 어떤 단어든 다른 모든 단어와 직접 연결될 수 있습니다.
문장이 100단어든 1,000단어든, 첫 단어와 마지막 단어가 한 번에 서로를 바라볼 수 있어요. 이제 AI는 긴 글을 읽어도 처음 내용을 잊지 않습니다.
이것이 어쩌면 가장 중요한 변화입니다. 트랜스포머가 병렬 처리에 강하다는 건, 모델을 더 크게 만들수록 더 잘 학습된다는 의미였어요.
그래서 등장한 것이 "스케일링 법칙(Scaling Law)" 입니다. "데이터를 더 많이, 모델을 더 크게, 컴퓨팅을 더 많이 쓸수록 AI는 더 똑똑해진다" 는 발견이죠. GPT-3가 1,750억 개의 파라미터를 가질 수 있었던 것도, GPT-4와 Claude 같은 거대 모델이 가능했던 것도, 모두 트랜스포머의 이런 특성 덕분입니다.
처음 논문은 "번역" 을 위한 것이었습니다. 하지만 곧 사람들은 깨달았어요. 이 구조는 사실 거의 모든 데이터에 적용 가능하다는 사실을요.
- 텍스트 → BERT, GPT
- 이미지 → Vision Transformer, DALL-E
- 음성 → Whisper
- 영상 → Sora
- 단백질 구조 → AlphaFold
- 코드 → GitHub Copilot
심지어 논문 발표 단 4일 만에, 같은 저자들이 "MultiModel" 이라는 멀티모달 트랜스포머를 발표할 정도였습니다. 이미 그들은 알고 있었던 거예요. "이건 번역만을 위한 게 아니다" 라는 걸요.
트랜스포머는 빠르고, 길게 기억하고, 크게 키울 수 있고, 어디든 적용 가능한 만능 도구였습니다. 이 네 가지가 AI 폭발의 도화선이 됐죠.
🌊 6. 발표 이후, 세상이 달라지기 시작했다
논문이 발표된 2017년 12월부터 오늘까지, 약 9년의 시간이 흘렀습니다. 그동안 무슨 일이 있었는지 타임라인으로 정리해볼게요.
📅 2018: BERT 등장 — 구글 검색이 똑똑해졌다
구글이 BERT라는 모델을 발표합니다. 트랜스포머의 인코더 부분만 떼어내 만든 모델이었죠. 이듬해인 2019년 10월부터 구글 검색에 BERT가 적용되면서, 검색 품질이 눈에 띄게 좋아집니다. 이제 키워드 나열식 검색이 아니라, "자연스러운 문장" 으로 검색해도 답이 잘 나오게 됐죠.
📅 2019~2020: GPT-2, GPT-3 — "AI가 글을 쓴다"
OpenAI가 GPT-2를 발표했을 때, "너무 위험해서 공개할 수 없다" 며 한동안 발표를 미뤘다는 일화는 유명합니다. AI가 가짜 뉴스를 만들 수 있다고 걱정한 거예요. 그리고 2020년, GPT-3가 등장합니다. 1,750억 개의 파라미터를 가진 거대 모델은 시, 코드, 에세이를 척척 써냈죠.
📅 2022: ChatGPT 충격 — 일반 대중이 AI를 만나다
그리고 운명의 2022년 11월. ChatGPT가 공개됩니다. 단 5일 만에 사용자 100만 명, 2개월 만에 1억 명. 인류 역사상 가장 빠르게 확산된 소비자 제품이 됐습니다. 그제서야 "트랜스포머" 라는 단어를 모르던 일반인들도, 자신들도 모르는 사이에 그 기술을 매일 쓰게 됐어요.
📅 2023~2026: 다극화된 AI 시대
이후의 변화는 너무 빨라서 한 줄로 정리하기도 어려울 정도입니다.
- Anthropic의 Claude — 안전성과 깊이 있는 사고로 차별화
- 구글 Gemini — 멀티모달 강자
- Meta Llama — 오픈소스 진영의 선두
- DALL-E, Midjourney, Stable Diffusion — 이미지 생성 AI 혁명
- Sora — AI가 영상을 만든다
- AI 에이전트 — AI가 단순 답변을 넘어 "일을 대신 해주는" 시대
- 인용 횟수 17만 회 돌파 (2025년 기준)
- 21세기 가장 많이 인용된 논문 TOP 10
- 전 세계 LLM 시장 규모 — 수백조 원
- AI에 투입된 글로벌 투자 — 매년 신기록 갱신
한 편의 논문이, 이 모든 변화의 출발점이었습니다.
👥 7. 그래서 그 8명, 지금 어디서 뭐 하고 있을까?
자, 이제 이 글에서 가장 흥미로울 수도 있는 부분입니다. 그 논문을 쓴 8명은 지금 어디서 무엇을 하고 있을까요?
결론부터 말씀드리면 — 8명 중 7명이 구글을 떠났습니다. 그리고 대부분이 자기만의 AI 회사를 차렸어요. 한 편의 논문이 8개의 AI 제국을 만들어낸 셈입니다.
🎴 저자 8명의 현재 (2026년 기준)
각자의 이야기가 정말 흥미로운데, 그중에서도 가장 드라마틱한 인물 두 명만 짧게 소개해드릴게요.
🎬 Noam Shazeer의 컴백 드라마 — $2.7B의 귀환
8명 중 가장 화제가 된 인물은 단연 Noam Shazeer입니다. 그의 스토리는 거의 영화 한 편이에요.
- 2021년: 구글에서 챗봇을 개발하던 Noam은 "이걸 빨리 출시하자" 고 제안합니다. 하지만 구글은 "위험하다" 며 거부해요. 실망한 Noam은 구글을 떠납니다.
- 2021년 말: 동료 Daniel De Freitas와 함께 Character.AI를 창업. AI 캐릭터와 대화하는 서비스로 3년 만에 기업가치 $1B(1조 원)을 달성합니다.
- 2024년 8월: 구글이 다시 그를 데려옵니다. 그것도 $2.7B(약 3.7조 원)라는 천문학적 금액의 라이선스 딜과 함께요. "역대 가장 비싼 재고용" 이라는 별명이 붙었죠.
- 현재: 구글 Gemini 프로젝트의 핵심 리더로 활약 중
"AI 개발에 너무 소심해진 구글에 실망했다" 며 떠난 그를, 구글이 수 조 원을 들여 다시 데려온 이 사건은 현재 반독점 조사까지 받고 있을 정도로 큰 화제가 됐습니다.
🎓 Aidan Gomez — 인턴이 CEO가 되기까지
또 한 명 주목할 인물은 Aidan Gomez 입니다. 사실 그는 이 논문을 쓸 당시 토론토대학교 학부 인턴이었습니다. 그러니까 8명 중 가장 어렸고, 가장 경력이 짧았죠.
그런 그가 지금은 Cohere 라는 거대 AI 기업의 CEO입니다. Cohere는 기업용 LLM 시장의 강자로, 기업가치 수조 원의 회사로 성장했어요.
"인턴이 9년 만에 CEO가 되어, 자신을 인턴으로 받아준 회사들과 경쟁하는 시대"
🎤 2024년, 9년 만의 재회
2024년 3월, NVIDIA GTC 컨퍼런스 에서 역사적인 장면이 연출됩니다. 8명의 저자 중 7명이 처음으로 한자리에 모인 것이죠. (Niki Parmar 한 명만 불참)
NVIDIA CEO Jensen Huang 이 직접 진행한 이 패널은 그 날 GTC 900여 개 세션 중 가장 많은 관객이 몰린 세션이 됐습니다.
"우리가 지금 누리는 모든 것은 그 순간(2017년)으로 거슬러 올라갑니다."
🌍 8. 그래서 이 논문이 내 일상과 무슨 상관일까?
자, 이쯤에서 한 번 정리해봅시다. "좋다, 트랜스포머가 대단한 건 알겠다. 그런데 내 일상에 진짜 영향이 있나?"
답은 — 이미 어마어마하게 있습니다. 본인이 의식하지 못하셨을 뿐이에요.
🔍 검색 — 키워드에서 자연어로
2019년 이후 구글 검색은 BERT 를 통해 자연어를 이해하기 시작했습니다. "가까운 약국 영업시간" 같은 키워드 나열이 아니라, "지금 우리 동네에서 문 연 약국 좀 알려줘" 같은 자연스러운 문장으로 검색해도 답이 나오죠.
🌐 번역 — 어색하던 번역기가 자연스러워진 이유
10년 전 구글 번역과 지금의 번역을 비교해보세요. 그 차이를 만든 것이 바로 트랜스포머입니다. 구글은 2020년 번역 엔진을 트랜스포머 기반으로 전면 교체했어요. 이제 "기계가 번역한 티" 가 거의 안 나죠.
💼 일과 창작 — 모든 도구가 똑똑해졌다
- 글쓰기: ChatGPT, Claude로 이메일/보고서 초안 작성
- 코딩: GitHub Copilot이 코드 자동 완성
- 디자인: Midjourney, DALL-E로 시안 생성
- 영상: Sora가 텍스트로 동영상 제작
- 회의: 자동 회의록 작성과 요약
이 모든 것의 엔진이 트랜스포머입니다.
🏥 산업 전반에 침투
- 의료: 진단 보조, 신약 개발 (AlphaFold)
- 금융: 사기 탐지, 고객 응대
- 법률: 계약서 검토, 판례 분석
- 교육: 개인 맞춤 학습
- 연구: 논문 요약, 데이터 분석
"AI를 도입하지 않은 산업이 없다" 고 해도 과언이 아닐 정도입니다.
⚠️ 9. 그렇다고 트랜스포머가 완벽한 건 아니다
여기까지 읽으시면 "트랜스포머는 만능이구나!" 싶으실 수 있어요. 하지만 그건 사실이 아닙니다. 트랜스포머에도 분명한 한계가 있고, 저자들조차 이를 인정하고 있습니다.
가장 큰 문제는 비용입니다. 트랜스포머의 Self-Attention은 문장의 모든 단어가 다른 모든 단어를 비교해야 합니다. 그래서 단어 수가 늘어나면 계산량은 제곱으로 증가해요.
- 단어 10개: 100번 계산
- 단어 100개: 10,000번 계산
- 단어 1,000개: 1,000,000번 계산
- 단어 10,000개: 100,000,000번 계산
이걸 학계에서는 "Quadratic Complexity(이차 복잡도)" 문제라고 부릅니다. ChatGPT 한 번 답변 받을 때마다 미국의 어느 도시 하루치 전기가 들어간다는 우스갯소리가 있을 정도예요.
위 문제 때문에, 긴 컨텍스트(context) 를 다루는 게 여전히 비쌉니다. 책 한 권 분량의 텍스트를 한 번에 처리하려면 막대한 메모리가 필요해요. 최근에는 100만 토큰까지 처리하는 모델도 나왔지만, 비용은 여전히 부담스럽습니다.
LLM의 고질병 중 하나. 있지도 않은 사실을 그럴듯하게 지어내는 현상입니다. "OO 회사의 CEO는 누구인가요?" 같은 질문에 존재하지 않는 이름을 자신만만하게 답하기도 해요. 이건 트랜스포머 구조 자체의 한계라기보다는 "확률적으로 다음 단어를 예측하는" LLM의 본질적 특성이에요.
거대 AI 모델을 학습시키는 데는 어마어마한 전기가 듭니다. GPT-3 한 번 학습에 미국 가정 100여 채의 1년치 전력이 소비됐다는 추정도 있어요. 전 세계 데이터센터의 전력 소비가 급증하면서 AI의 환경 영향 이 점점 큰 이슈가 되고 있습니다.
🗣️ 저자들도 인정한다 — "더 나은 무언가가 필요하다"
흥미롭게도, 저자들 자신이 트랜스포머의 한계를 가장 먼저 인정하고 있습니다.
"트랜스포머가 우리가 할 수 있는 최선이라면, 그것은 슬픈 일입니다. 저는 이것이 10배 더 나은 무언가로 대체되었으면 좋겠어요."
심지어 그는 "논문을 제출한 다음 날부터 이 생각을 해왔다" 고 말합니다. 만든 사람들조차 "더 나은 게 필요하다" 고 말하는 기술이라니, 흥미롭지 않나요?
트랜스포머는 비싸고, 전기를 많이 먹고, 거짓말을 잘 하고, 무엇보다 저자들 스스로 "이게 끝이 아니다"라고 말합니다.
🔮 10. 다음 패러다임은 무엇일까?
그렇다면 트랜스포머 다음에는 무엇이 올까요? 이미 여러 가지 시도가 진행 중입니다.
🐍 Mamba, RWKV — 트랜스포머의 대안들
최근 학계에서는 Mamba나 RWKV 같은 새로운 아키텍처가 주목받고 있습니다. 이들의 공통점은 트랜스포머의 "제곱 복잡도" 문제를 해결하려 한다는 것이에요. 긴 문장도 선형 시간 안에 처리하는 것이 목표입니다.
🎯 Mixture of Experts (MoE) — 효율화의 길
또 다른 흐름은 MoE(전문가 혼합)입니다. "모델의 모든 부분을 항상 사용하지 말고, 필요한 부분만 켜자" 는 발상이에요. 같은 성능을 내면서 비용을 크게 줄일 수 있어 GPT-4, Claude, Mixtral 등 최신 모델들이 이 방식을 채택했습니다.
🤖 멀티모달, 에이전트, 추론 — 트랜스포머 위에 쌓이는 새 층
기본 아키텍처를 바꾸지 않고, 그 위에 새로운 능력을 더해가는 흐름도 있습니다.
- 멀티모달: 텍스트, 이미지, 음성, 영상을 한 번에 다루는 능력
- 에이전트: AI가 도구를 사용하고 "일을 직접 수행" 하는 능력
- 추론: 단순 답변이 아니라 "단계별로 깊이 생각하는" 능력
💭 "다음 'Attention Is All You Need'는 누가 쓸까?"
이 질문이야말로 지금 AI 학계의 가장 큰 화두입니다. 10년 안에, 또 누군가가 "Attention Is All You Need 2.0" 같은 충격적인 논문을 들고나올 수도 있어요. 어쩌면 그 사람은 지금 이 글을 읽고 있는 누군가일지도 모르죠.
💌 11. 에필로그: 8명이 우리에게 남긴 것
자, 긴 여정이었습니다. 함께 9년의 시간을 거슬러 다녀와주셔서 감사합니다. 🙏
2017년 6월, 구글의 한 회의실에서 8명의 연구자가 "Attention Is All You Need" 라는 도발적인 제목의 논문을 발표했을 때, 그들 자신도 이것이 세상을 이렇게까지 바꿀 줄은 몰랐을 거예요.
영화 〈트랜스포머〉 캐릭터 이름에서 따온 모델, 비틀스 노래에서 가져온 제목, 부품을 빼면 뺄수록 더 좋아지던 신기한 발견, 그리고 9년 후 8개의 AI 제국으로 흩어진 저자들의 이야기 — 이 모든 것이 인류 기술사의 한 페이지가 됐습니다.
하지만 진짜 흥미로운 것은, 이 이야기가 아직 끝나지 않았다는 사실입니다.
저자들조차 "더 나은 것이 필요하다" 고 말하고, 우리는 매일 새로운 AI 도구가 등장하는 시대를 살고 있죠. 어쩌면 10년 뒤, 우리는 "트랜스포머 시대" 를 추억하며 또 다른 신기술을 이야기하고 있을지도 모릅니다.
"AI를 두려워하지도, 맹신하지도 말고, 이해하려고 노력하는 것 — 그것이 지금 우리에게 가장 필요한 'Attention(주의)'이 아닐까요?"
이 글을 끝까지 읽어주셨다면, 여러분은 이미 그 "Attention" 을 가진 분입니다. 앞으로의 AI 시대에서, 그 호기심과 관심이 가장 큰 무기가 될 거예요.
긴 글 함께해주셔서 감사합니다. ✨
여기까지 읽으시면서 "이 Attention이라는 게 정확히 어떻게 작동하는 거지?", "Q·K·V가 뭐지?", "왜 8개의 Head를 쓰지?" 같은 궁금증이 생기셨나요?
Part 2 에서는 트랜스포머의 작동 원리를 비유와 수식으로 차근차근 풀어드립니다.
📚 부록: 더 깊이 알고 싶은 분들을 위해
이 글에서 다루지 못한 더 깊은 내용이나, 원문을 직접 보고 싶은 분들을 위한 자료들입니다.
📄 원문 논문
- Attention Is All You Need (Vaswani et al., 2017)
- arXiv 링크: https://arxiv.org/abs/1706.03762
- NeurIPS 2017 공식 게재본
🎥 영상 자료 (추천)
- NVIDIA GTC 2024 — 8명 저자 중 7명의 역사적 재회 패널
- Jensen Huang이 직접 진행한 1시간짜리 대담
- 3Blue1Brown — "But what is a GPT?" / "Attention in transformers, visually explained"
- 어려운 개념을 시각적으로 가장 잘 설명한 영상
📖 한국어 해설 자료
- 딥러닝 공부방 블로그의 트랜스포머 시리즈
- 펭귄 브로의 3분 딥러닝 유튜브 채널
- 모두를 위한 딥러닝 시즌2 — 트랜스포머 강의
🔗 후속 논문 (트랜스포머 계보)
- BERT (Devlin et al., 2018) — 인코더 계열의 시작
- GPT-2/GPT-3 (Radford et al., 2019/2020) — 디코더 계열의 폭발
- Vision Transformer (ViT) (Dosovitskiy et al., 2020) — 이미지로 확장
- Mamba (Gu & Dao, 2023) — 트랜스포머의 대안
🏢 저자들이 세운 회사 (현재)
- Essential AI (Ashish Vaswani, Niki Parmar) — essential.ai
- Cohere (Aidan Gomez) — cohere.com
- Sakana AI (Llion Jones) — sakana.ai
- Inceptive (Jakob Uszkoreit) — inceptive.life
- NEAR Protocol (Illia Polosukhin) — near.org
- Character.AI (Noam Shazeer, 현재는 구글) — character.ai
#AI #트랜스포머 #ChatGPT #Claude #딥러닝 #LLM #기계학습 #AttentionIsAllYouNeed