[Part 2] Attention Is All You Need — 트랜스포머 원리 완전 해설

---

---

---

🎯 1. 이 논문이 왜 역사적인가?

2017년 구글 연구팀 8명이 발표한 "Attention Is All You Need" 는 AI 역사에서 가장 중요한 논문 중 하나입니다. 제목부터 도발적이었죠. "Attention(주의 집중)만 있으면 다 된다"고 선언한 것이니까요.

이 논문이 발표되기 전과 후, AI의 세계는 완전히 달라졌습니다. 지금 우리가 매일 쓰는 ChatGPT, Claude, Gemini — 이 모든 AI가 이 논문에서 제안한 Transformer 구조 위에 만들어졌습니다.

이 논문이 만들어낸 AI 계보

---

⏪ 2. Transformer 이전의 세계 — RNN과 LSTM의 한계

Transformer가 등장하기 전, AI 연구자들은 텍스트를 처리하는 데 주로 두 가지 모델을 사용했습니다. RNN(Recurrent Neural Network, 순환 신경망)과 그 개선판인 LSTM(Long Short-Term Memory)입니다.

이 모델들의 공통점은 단어를 왼쪽에서 오른쪽으로, 한 번에 하나씩 순서대로 처리한다는 것이었어요. 마치 사람이 책을 처음부터 끝까지 순서대로 읽는 것처럼요.

두 가지 핵심 문제

Transformer는 어떻게 해결했나?

Transformer는 이 두 문제를 한 번에 해결했습니다. 핵심 아이디어는 "순서대로 읽지 말고, 모든 단어를 동시에 보면서 서로의 관계를 계산하자"는 것이었어요.

---

🎯 3. Attention이란 무엇인가?

Attention의 핵심 아이디어는 단순합니다. 어떤 단어를 처리할 때, 문장 안의 모든 단어를 참고하되 관련이 높은 단어에는 더 큰 가중치를 부여한다는 것입니다.

즉, "지금 이 단어를 이해하기 위해 문장 안의 어떤 단어에 집중해야 하는가?" 를 수학적으로 계산하는 메커니즘이에요.

구체적인 예시로 이해하기

아래 문장에서 "만났다" 라는 단어를 처리할 때, 각 단어가 얼마나 중요한지 생각해보세요.

"나는  어제  서울역  근처  카페에서  친구를  만났다"

"만났다" 를 이해하기 위한 Attention Score (예시):

이처럼 "만났다"는 "친구를"에 가장 강하게 주목하고, 나머지 단어들에는 상대적으로 낮은 가중치를 부여합니다. 이 가중치에 따라 각 단어의 정보를 섞어서 "만났다"의 풍부한 의미 표현을 만들어내는 거예요.

Self-Attention vs Cross-Attention

Attention에는 두 가지 종류가 있어요. 이 개념은 나중에 Encoder/Decoder 설명에서 다시 나오니 여기서 미리 이해해 두세요.

---

🔢 4. 단어를 숫자로 — Word Embedding

컴퓨터는 "사과"라는 텍스트를 직접 이해하지 못합니다. 모든 것은 숫자로 변환되어야 해요. 그런데 단순히 "사과 = 1, 배 = 2, 자동차 = 3" 처럼 번호를 매기면 어떤 문제가 생길까요?

숫자 3이 숫자 2보다 크다는 수학적 관계가 의미 없이 생겨버립니다. "자동차"가 "배"보다 크거나 중요한 것이 아닌데도 그렇게 되죠. 그래서 각 단어를 여러 개의 숫자로 이루어진 벡터(Vector)로 표현합니다. Transformer에서는 512개의 숫자를 사용해요.

임베딩의 신기한 성질

학습을 통해 최적화되는 가중치

중요한 점은 이 512개의 숫자(가중치)가 처음에는 무작위 값으로 시작한다는 거예요. 모델이 수억 개의 문장을 학습하면서 "어떤 단어가 어떤 단어와 함께 자주 등장하는가", "어떤 단어가 비슷한 문맥에서 쓰이는가" 를 파악하고, 그에 맞게 이 숫자들을 조금씩 조정합니다. 최종적으로 의미가 비슷한 단어는 가까운 벡터를 갖게 되죠.

---

📍 5. 순서를 기억하라 — Positional Encoding

Transformer의 강점인 "모든 단어를 동시에 처리" 하는 방식에는 한 가지 문제가 있어요. 순서를 모른다는 것입니다.

"나는 밥을 먹었다" 와 "밥을 나는 먹었다" 는 단어 구성은 같지만 어순이 달라요. 모든 단어를 동시에 보면 이 둘의 차이를 알 수 없습니다. 그래서 각 단어에 위치 정보를 명시적으로 추가 해줘야 해요. 이것이 Positional Encoding(위치 인코딩)입니다.

왜 단순히 1, 2, 3 숫자를 안 쓰나?

제일 먼저 떠오르는 방법은 첫 번째 단어에 1, 두 번째에 2, 세 번째에 3을 더하는 것이에요. 하지만 이 방법에는 두 가지 문제가 있습니다.

Sin/Cos 함수를 쓰는 방법

단어 벡터의 각 차원(0번 ~ 511번)에 대해 아래 공식으로 위치 값을 계산합니다.

PE(pos, 2i)   = sin(pos / 10000^(2i/d_model))   ← 짝수 차원
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))   ← 홀수 차원

pos      = 단어의 문장 내 위치 (0, 1, 2, 3 …)
i        = 벡터의 차원 인덱스 (0, 1, 2 … 255)
d_model  = 임베딩 차원 수 (= 512)

차원마다 Sin/Cos 함수의 주기를 다르게 설정하면, 서로 다른 위치에 있는 단어들이 모두 고유한 패턴을 갖게 됩니다. 마치 악보처럼 여러 주파수가 겹쳐서 각 위치만의 "지문"을 만드는 것이죠.

---

🔑 6. Q · K · V — Attention의 작동 원리

Attention 계산의 핵심은 세 가지 벡터 Q(Query), K(Key), V(Value)입니다. 이 이름들이 처음에는 추상적으로 느껴지지만, 비유를 통해 이해하면 굉장히 직관적이에요.

Q, K, V 각각의 역할

Q, K, V는 어디서 만들어지나?

입력 벡터(Word Embedding + Positional Encoding)에 각각 서로 다른 가중치 행렬 을 곱해서 만듭니다. 이 가중치 행렬(W^Q, W^K, W^V)도 학습을 통해 최적화돼요.

입력 벡터 X에서 Q, K, V 생성:

Q = X × W^Q   ← Q 생성용 가중치 행렬
K = X × W^K   ← K 생성용 가중치 행렬
V = X × W^V   ← V 생성용 가중치 행렬

Attention 계산 4단계

전체 수식 정리

Scaled Dot-Product Attention:

Attention(Q, K, V) = Softmax( Q × K^T / √d_k ) × V

Q   : Query 행렬   (문장 길이 × d_k)
K   : Key 행렬     (문장 길이 × d_k)
V   : Value 행렬   (문장 길이 × d_v)
d_k : Key 벡터의 차원 수 (= 64, 논문 기준)

---

👥 7. Multi-Head Attention — 8개의 눈으로 동시에

Transformer는 Attention을 한 번만 계산하지 않습니다. 서로 다른 8개의 Attention을 동시에 병렬로 계산해요. 이를 Multi-Head Attention(다중 헤드 어텐션)이라고 합니다. 왜 하나가 아닌 여럿일까요?

각 Head는 무엇을 배울까?

각 Head가 정확히 무엇을 학습할지는 미리 정해지지 않습니다. 학습을 통해 자동으로 결정돼요. 실험적으로 관찰해보면 Head마다 다른 언어적 패턴을 학습하는 경향이 있습니다.

Multi-Head Attention 계산 방법

512차원 벡터를 8등분하여 각 Head에 64차원씩 배분합니다. 각 Head가 독립적으로 Attention을 계산한 후, 결과를 이어붙이고(Concatenation) 선형 변환으로 다시 512차원으로 맞춰요.

Multi-Head Attention 수식:

MultiHead(Q, K, V) = Concat(head_1, …, head_h) × W^O
head_i             = Attention(Q×W_i^Q, K×W_i^K, V×W_i^V)

h    = Head 개수 (논문에서 h=8)
d_k  = d_model / h = 512 / 8 = 64  (각 Head의 차원)
W^O  = 출력 선형 변환 가중치 (512 × 512)

---

🏗️ 8. Encoder 구조 — 입력을 깊이 이해하는 파트

Transformer의 전체 구조는 Encoder(인코더)와 Decoder(디코더)로 나뉩니다. 논문에서는 영어→프랑스어 번역을 목표로 설계했어요. Encoder는 입력 언어(영어)를 완전히 이해하는 파트, Decoder는 그 이해를 바탕으로 출력 언어(프랑스어)를 생성하는 파트입니다.

Encoder Block의 4가지 Sub-layer

하나의 Encoder Block은 아래 4개의 레이어로 구성되고, 이 블록이 6번 반복됩니다.

Encoder Block이 6번 반복되는 이유

처음 Encoder Block이 입력 문장의 기본적인 패턴을 파악하면, 두 번째 Block은 그 결과 위에서 더 고차원적인 패턴을 파악합니다. 6번 반복하면서 점점 추상적이고 풍부한 의미 표현이 만들어져요.

Encoder 전체 구조

입력 문장: "I love AI"
   ↓ Word Embedding + Positional Encoding
   ↓ [ Encoder Block 1 ]  Multi-Head Self-Attention → Add&Norm → FFN → Add&Norm
   ↓ [ Encoder Block 2 ]  반복
   ↓ [ Encoder Block 3 ]  반복
   ↓ [ Encoder Block 4 ]  반복
   ↓ [ Encoder Block 5 ]  반복
   ↓ [ Encoder Block 6 ]  반복
   ↓
Context Vector  ← "I love AI"의 완전한 의미 표현 (512차원 × 단어수)

---

🔄 9. Decoder 구조 — 출력을 한 단어씩 생성하는 파트

Decoder는 Encoder가 만든 Context Vector를 받아서 출력을 한 단어씩 순서대로 생성합니다. Encoder Block과 비슷하지만 두 가지가 추가돼요: Masked Multi-Head Attention과 Cross-Attention입니다.

Sub-layer 1: Masked Multi-Head Self-Attention

Decoder도 먼저 지금까지 생성된 출력 단어들끼리 Self-Attention을 합니다. 그런데 여기에 Mask(마스크)가 붙어요. 왜 마스킹이 필요할까요?

해결책으로 Look-ahead Mask를 적용합니다. Attention Score 행렬에서 현재 위치 이후의 모든 값을 -∞(음의 무한대) 로 설정해요. Softmax를 거치면 -∞는 0이 되므로 미래 단어에 대한 주목 비율이 완전히 0이 됩니다.

Look-ahead Mask 예시 (3단어 문장):

         단어1   단어2   단어3
단어1  [   0    -∞     -∞   ]   ← 단어1은 단어1만 볼 수 있음
단어2  [   0     0     -∞   ]   ← 단어2는 단어1,2만 볼 수 있음
단어3  [   0     0      0   ]   ← 단어3은 모든 이전 단어 볼 수 있음

Sub-layer 2: Cross-Attention (Encoder-Decoder Attention)

Decoder의 두 번째 Attention이 핵심입니다. 이 단계에서 Encoder와 Decoder가 연결돼요.

Cross-Attention에서 Q, K, V의 출처:

Q (Query) = Decoder 내부 (지금 번역 중인 위치)        ← Decoder에서 옴
K (Key)   = Encoder 최종 출력 (Context Vector)      ← Encoder에서 옴
V (Value) = Encoder 최종 출력 (Context Vector)      ← Encoder에서 옴

Decoder의 현재 위치(Q)가 Encoder의 전체 출력(K, V)을 검색해서, 지금 번역할 단어를 생성하기 위해 입력 문장의 어느 부분을 참고해야 할지를 계산합니다. 예를 들어 "사랑해" 를 "love" 로 번역할 때, 입력 문장에서 "사랑해" 위치에 가장 강하게 주목해요.

최종 출력: Dense + Softmax Layer

6개의 Decoder Block을 거친 최종 벡터(512차원)는 마지막 단계를 거쳐 실제 단어로 변환됩니다.

Transformer 전체 구조 요약

입력: "나는 AI를 사랑한다"
  ↓ Embedding + Positional Encoding
  ↓ Encoder Block × 6  (Self-Attention + FFN)
  ↓ Context Vector  ─────────────────────────┐
                                              ↓  (K, V로 입력)
출력: <START>                              Decoder Block × 6
  ↓ Masked Self-Attention                  (Cross-Attention에서
  ↓ Cross-Attention  ←────────────────────┘   Encoder와 연결)
  ↓ FFN
  ↓ Linear + Softmax
"I" → "love" → "AI" → <END>

---

🚀 10. 왜 이 논문이 AI 역사를 바꿨나?

이 논문이 발표됐을 때만 해도 연구자들 사이에서 "그래도 번역 모델 하나 잘 만든 거 아닌가?" 정도의 반응도 있었습니다. 그러나 이후 불과 1~2년 만에 AI 연구의 모든 패러다임이 뒤집혔어요.

혁명 1: 병렬처리로 초대형 모델 학습이 가능해졌다

RNN은 순서 의존적이어서 아무리 GPU를 늘려도 학습 속도를 대폭 올릴 수 없었습니다. Transformer는 모든 연산이 병렬로 가능해요. GPU 1,000개를 써도 되고, TPU 클러스터를 써도 됩니다. 이 덕분에 GPT-3(1,750억 파라미터), GPT-4, Claude, Gemini 같은 초대형 모델이 현실적인 시간과 비용 안에 학습될 수 있었어요.

혁명 2: 사전학습(Pre-training) + 전이학습이 가능해졌다

Transformer 구조는 한 번 대규모로 학습해두면 다양한 태스크에 재사용할 수 있습니다. "대규모 텍스트로 언어 자체를 학습 → 특정 태스크에 맞게 미세조정(Fine-tuning)" 패러다임이 만들어졌어요. 번역용으로 만든 모델이 요약도, QA도, 감정분석도 할 수 있게 된 겁니다.

📅 Transformer 이후 주요 모델 타임라인

혁명 3: 언어를 넘어 모든 데이터로 확장

Transformer의 Attention 메커니즘은 언어에만 국한되지 않았습니다. 이미지(ViT), 오디오, 단백질 구조(AlphaFold 2), 코드, 동영상까지 — 순서가 있는 어떤 데이터도 Transformer로 처리할 수 있다는 것이 밝혀졌어요. 논문 저자들도 예상하지 못했던 범용성이었습니다.

---

📋 11. 전체 요약 한눈에

지금까지 다룬 핵심 개념들을 카드 형태로 정리해드릴게요. 헷갈리는 개념이 있으면 위로 다시 올라가 확인하세요.

---

💌 마치며: "Attention Is All You Need"의 의미

제목 그대로 "Attention, 그것 하나면 충분하다"고 선언한 논문입니다. RNN, CNN 같은 복잡한 구조 없이도 오직 Attention 메커니즘만으로 당시 최고 성능을 뛰어넘을 수 있다는 것을 증명했어요.

8년이 지난 지금, 우리가 매일 사용하는 ChatGPT, Claude, Gemini, 그리고 앞으로 나올 모든 AI들이 이 작은 논문 하나에서 출발했다는 사실. 정말 놀랍지 않나요?

기술이 어렵게 느껴질 때는 항상 이런 생각을 해봅니다. "세상을 바꾼 아이디어들은 의외로 단순하다" 고요. 트랜스포머도 그런 아이디어 중 하나였어요.

긴 글 함께해주셔서 감사합니다. ✨

---

📄 원문 논문

• Vaswani et al. (2017). Attention Is All You Need. NeurIPS 2017.
  • arXiv: https://arxiv.org/abs/1706.03762

---

#AI #Transformer #Attention #SelfAttention #MultiHeadAttention #Encoder #Decoder #딥러닝 #LLM #AttentionIsAllYouNeed