트랜스포머(Transformer)
Transformer
순환(RNN)·합성곱 구조 없이 셀프 어텐션(Self-Attention)만으로 입력 시퀀스 내 토큰 간 관계를 병렬로 학습하는 인코더-디코더 기반 신경망 아키텍처로, 현대 대규모 언어모델(LLM)의 기반 구조임.
핵심 키워드
셀프 어텐션(Self-Attention)Query·Key·ValueScaled Dot-Product Attention멀티헤드 어텐션(Multi-Head Attention)위치 인코딩(Positional Encoding)인코더-디코더(Encoder-Decoder)잔차 연결·층 정규화(Residual·LayerNorm)마스크드 어텐션(Masked Attention)병렬 처리
구성도
정리
1. 개요
- 배경: RNN·LSTM은 순차 처리로 병렬화가 어렵고, 긴 시퀀스에서 장기 의존성(Long-term Dependency) 학습이 어려움
- 등장: 2017년 논문 "Attention Is All You Need"에서 제안, 어텐션만으로 시퀀스 변환 수행
- 의의: BERT(인코더 계열), GPT(디코더 계열) 등 LLM·비전(ViT)·멀티모달 모델의 공통 기반
2. 구성 및 원리
- 입력 처리: 토큰 임베딩 + 위치 인코딩(Positional Encoding) → 순서 정보 부여 (원 논문은 사인·코사인 함수 사용)
- Scaled Dot-Product Attention
- Attention(Q, K, V) = softmax(QKᵀ / √dₖ) · V
- Q(Query): 찾고자 하는 정보, K(Key): 비교 대상 색인, V(Value): 실제 전달 정보
- √dₖ 로 나누어 내적값이 커질 때 softmax 기울기 소실 완화
- 멀티헤드 어텐션: Q·K·V를 여러 헤드로 선형 투영 → 헤드별 어텐션 병렬 수행 → 결합(Concat) 후 선형 변환, 서로 다른 관계(문법·의미 등)를 동시에 포착
- 인코더 블록: 멀티헤드 셀프 어텐션 → 피드포워드(FFN), 각 서브층에 잔차 연결 + 층 정규화
- 디코더 블록: 마스크드 셀프 어텐션(미래 토큰 차단) → 인코더-디코더(크로스) 어텐션 → FFN
- 출력: 선형층 + softmax로 다음 토큰 확률 산출
3. 특징 및 비교
| 구분 | RNN/LSTM | 트랜스포머 |
|---|---|---|
| 처리 방식 | 순차 처리 | 전체 토큰 병렬 처리 |
| 장기 의존성 | 거리가 멀수록 약화 | 모든 토큰 쌍 직접 연결 |
| 학습 속도 | GPU 활용도 낮음 | GPU 병렬화 유리 |
| 연산 복잡도 | 시퀀스 길이 n에 선형 | 어텐션이 n²에 비례 |
| 순서 정보 | 구조에 내재 | 위치 인코딩으로 별도 주입 |
- 모델 계열: 인코더 전용(BERT, 이해·분류), 디코더 전용(GPT, 생성), 인코더-디코더(T5, 번역·요약)
4. 고려사항 및 최신 동향
- 한계: 컨텍스트 길이에 따른 이차(n²) 메모리·연산 증가, 대규모 학습 비용·전력 소모
- 효율화: FlashAttention(메모리 접근 최적화), 희소·선형 어텐션, KV 캐시, GQA(Grouped-Query Attention)
- 위치 표현 발전: 상대 위치 인코딩, RoPE(회전 위치 임베딩) 등으로 긴 문맥 대응
- 확장 구조: MoE(Mixture of Experts)로 파라미터 대비 연산량 절감, 상태공간모델(SSM, 예: Mamba)과의 하이브리드 연구
- 적용 분야: 언어, 비전(ViT), 음성, 멀티모달 등으로 확장
함께 볼 토픽
v1 · 2026. 10. 19. 갱신 · 틀린 내용을 발견하면 알려 주세요.