20. Model Optimizations 단계별 학습 문서

원문 경로

/Users/keumky/Documents/New project 3/sources/mlsysbook/20-optimizations/source.md

짧은 소개

이 장은 연구실에서 높은 정확도를 내는 모델을 실제 제품 환경에서 쓸 수 있게 만드는 방법을 다뤄요. 큰 모델은 정확할 수 있지만, 모바일 기기, 엣지 장치, 마이크로컨트롤러, 대규모 클라우드 서비스에서는 메모리, 전력, 지연시간, 비용이라는 벽에 부딪혀요.

그래서 이 장의 핵심은 단순히 “모델을 작게 만들자”가 아니에요. 정확도와 기능은 최대한 유지하면서, 목표 하드웨어에서 실제로 빠르고 싸고 안정적으로 돌아가게 만드는 시스템 설계가 핵심입니다.

읽는 방법

이 장은 기법 이름이 많아서 처음부터 세부 수식에 들어가면 길을 잃기 쉬워요. 다음 순서로 세 번 읽는 방식이 좋아요.

읽을 때는 기법을 외우기보다 아래 질문으로 분류해보세요.

무엇을 계산할 것인가?     -> 모델 표현 최적화
숫자를 얼마나 정밀하게 쓸 것인가? -> 수치 정밀도 최적화
하드웨어에서 어떻게 실행할 것인가? -> 아키텍처 효율 최적화

이 장의 한 줄 요약

모델 최적화는 정확도를 크게 잃지 않으면서 모델 구조, 숫자 표현, 실행 방식을 함께 조정해 목표 배포 환경의 메모리, 전력, 지연시간, 비용 제약을 만족시키는 일입니다.

1단계: 중학교 수준

모델 최적화는 “여행 가방을 다시 싸는 일”이에요

아주 긴 여행을 간다고 생각해볼게요. 큰 가방에 모든 물건을 다 넣으면 편할 것 같지만, 실제로는 무겁고 이동하기 힘들어요. 비행기에 실을 수 있는 무게 제한도 있고, 버스를 탈 때도 불편하죠.

AI 모델도 비슷해요. 연구실에서는 큰 모델이 좋은 성적을 낼 수 있어요. 하지만 스마트폰, 작은 센서, 자동차 안의 장치, 클라우드 서버에서는 무작정 큰 모델을 쓰기 어려워요. 너무 큰 모델은 저장하기 어렵고, 실행이 느리고, 배터리를 빨리 쓰고, 서버 비용도 많이 들어요.

모델 최적화는 필요한 물건은 남기고, 덜 중요한 짐은 줄이고, 가방 안을 더 효율적으로 정리하는 일이에요.

왜 이런 일이 필요할까요?

좋은 AI가 있어도 실제 장소에서 못 쓰면 의미가 줄어들어요.

예를 들어 볼게요.

모델 최적화는 AI를 더 많은 곳에서 쓸 수 있게 해주는 다리 역할을 해요.

큰 그림은 세 가지 질문이에요

이 장은 모델 최적화를 세 방향으로 나눠요.

Pruning은 가지치기예요

나무가 너무 빽빽하면 햇빛이 잘 안 들어요. 그래서 덜 필요한 가지를 잘라내면 나무가 더 건강해질 수 있어요.

Pruning도 비슷해요. 모델 안에는 결과에 거의 영향을 주지 않는 연결이나 부분이 있을 수 있어요. 그런 부분을 줄이면 모델이 작아지고, 운이 좋으면 더 빨라져요.

다만 아무 가지나 자르면 나무가 상하듯이, 모델도 중요한 부분을 잘못 자르면 정확도가 떨어져요. 그래서 잘라낸 뒤에는 다시 적응시키는 과정이 필요해요.

Knowledge Distillation은 큰 선생님이 작은 학생을 가르치는 일이에요

큰 모델은 똑똑하지만 무거워요. 작은 모델은 가볍지만 혼자 배우면 성능이 부족할 수 있어요.

Knowledge distillation은 큰 모델을 선생님으로 두고, 작은 모델을 학생처럼 훈련시키는 방법이에요. 선생님은 단순히 정답만 알려주는 것이 아니라, “이 답이 가장 그럴듯하지만 다른 답도 조금은 비슷해” 같은 판단의 뉘앙스를 알려줘요.

학생 모델은 이 힌트를 받아서 작은 크기에서도 꽤 좋은 성능을 낼 수 있어요.

Quantization은 숫자를 짧게 적는 일이에요

어떤 물건의 길이가 12.003948cm라고 해도, 일상에서는 12cm라고 말해도 충분할 때가 많아요. 숫자를 조금 덜 자세히 적으면 기록할 공간이 줄어요.

Quantization도 비슷해요. 모델 안의 숫자를 아주 정밀하게 저장하지 않고, 조금 거칠지만 더 작은 숫자 형식으로 바꿔요. 그러면 모델 크기가 줄고 계산도 빨라질 수 있어요.

하지만 너무 거칠게 줄이면 중요한 차이를 잃을 수 있어요. 그래서 어느 정도까지 줄여도 괜찮은지 조심스럽게 확인해야 해요.

NAS는 좋은 설계도를 자동으로 찾아보는 일이에요

집을 지을 때 사람이 설계도를 직접 만들 수도 있지만, 여러 설계 후보를 자동으로 비교해서 좋은 구조를 찾을 수도 있어요.

Neural Architecture Search, 즉 NAS는 모델의 구조를 자동으로 탐색하는 방법이에요. 어떤 층을 쓸지, 얼마나 깊게 만들지, 모바일 기기에서 빠른 구조는 무엇인지 등을 자동으로 찾아요.

다만 후보를 많이 시험해야 하므로 비용이 큽니다. 그래서 정말 특별한 하드웨어나 엄청난 규모의 서비스처럼 투자할 이유가 있을 때 특히 유용해요.

Sparsity는 “빈칸이 많은 상태”예요

교실 좌석 100개 중 90개가 비어 있다면, 실제로 신경 써야 할 좌석은 10개뿐이에요. 모델에서도 값이 0이거나 거의 0인 부분이 많으면 그 부분은 계산하지 않아도 될 수 있어요.

이 상태를 sparsity라고 해요. 다만 실제로 빨라지려면 컴퓨터가 “빈칸은 건너뛰자”를 잘 지원해야 해요. 빈칸이 많아도 컴퓨터가 모든 칸을 하나씩 확인하면 기대만큼 빨라지지 않아요.

Dynamic computation은 쉬운 문제는 빨리 끝내는 방식이에요

시험 문제 중 쉬운 문제는 바로 풀고, 어려운 문제에 시간을 더 쓰는 게 효율적이에요.

AI 모델도 어떤 입력은 쉽게 판단할 수 있고, 어떤 입력은 더 깊이 살펴봐야 해요. Dynamic computation은 쉬운 입력에는 적은 계산만 쓰고, 어려운 입력에는 더 많은 계산을 쓰는 방법이에요.

이 방법은 빠를 수 있지만, 입력마다 걸리는 시간이 달라져서 실시간 시스템에서는 조심해야 해요.

1단계 중간 정리

모델 최적화는 모델을 무조건 작게 만드는 일이 아니에요. 필요한 능력은 남기고, 불필요한 짐을 줄이며, 실제 장치에서 잘 달리게 만드는 일이에요.

핵심 기법을 한 문장으로 정리하면 이렇게 볼 수 있어요.

2단계: 고등학교 수준

문제를 논리 흐름으로 다시 보기

이제 비유에서 한 단계 들어가 볼게요. 배포할 모델이 있을 때 실제 질문은 다음 순서로 흘러가요.

학습된 모델이 있음
  ↓
목표 배포 환경을 확인함
  ↓
병목을 측정함
  ↓
병목에 맞는 최적화 기법을 고름
  ↓
정확도, 지연시간, 메모리, 전력을 다시 측정함
  ↓
필요하면 여러 기법을 순서대로 조합함

여기서 중요한 점은 “기법부터 고르지 않는다”는 거예요. 먼저 병목이 무엇인지 봐야 해요.

세 가지 최적화 차원

원문은 모델 최적화를 세 차원으로 나눠요.

이 세 가지는 독립된 상자가 아니에요. 예를 들어 pruning은 파라미터 수를 줄이지만, sparsity를 만들기 때문에 실행 방식에도 영향을 줘요. Quantization은 숫자 표현을 줄이지만, 메모리 대역폭과 에너지에도 영향을 줘요.

배포 제약을 차원에 연결하기

병목을 보면 어떤 방향부터 봐야 할지 정할 수 있어요.

모델 크기를 간단한 수식으로 보기

모델 크기는 대략 이렇게 볼 수 있어요.

[ \text{model size} \approx \text{number of parameters} \times \text{bits per parameter} ]

예를 들어 파라미터 수를 줄이는 pruning은 앞부분을 줄여요. FP32를 INT8로 바꾸는 quantization은 뒷부분을 줄여요.

그래서 두 기법을 함께 쓰면 효과가 곱처럼 커질 수 있어요.

파라미터 수 줄이기
  ↓
남은 파라미터를 더 짧은 숫자로 표현하기
  ↓
작고 빠른 모델 만들기

Pruning의 논리

Pruning은 “중요도가 낮은 값을 0으로 만들거나 구조째 제거하자”는 아이디어예요.

가장 단순한 기준은 크기예요. 값이 아주 작으면 출력에 미치는 영향이 작다고 가정할 수 있어요. 그래서 작은 값을 먼저 없애요.

Distillation의 논리

일반 학습에서는 정답이 “고양이”면 나머지는 모두 틀린 답으로 다뤄요. 하지만 선생님 모델은 “고양이가 가장 맞지만, 강아지와도 조금 비슷하고, 여우와는 덜 비슷하다”는 식의 확률 분포를 줄 수 있어요.

이 확률 분포가 작은 모델에게 더 풍부한 학습 신호가 돼요.

큰 teacher model
  ↓ soft probability
작은 student model
  ↓ hard label도 함께 학습
배포하기 쉬운 compact model

핵심은 학생 모델이 정답만 맞히는 것이 아니라 선생님 모델의 판단 구조를 따라 배우는 거예요.

Low-rank factorization의 논리

큰 행렬 하나를 더 작은 행렬 두 개의 곱으로 근사할 수 있다면 저장량을 줄일 수 있어요.

[ A \approx UV ]

원래 (A)가 (m \times n) 크기라면 파라미터 수는 (mn)개예요. 그런데 (U)가 (m \times k), (V)가 (k \times n)이고 (k)가 작다면 저장량은 (mk + kn)이 돼요.

단, 너무 작은 (k)를 고르면 중요한 정보가 사라져요. 너무 큰 (k)를 고르면 줄어드는 효과가 작아요.

Quantization의 논리

Quantization은 연속적인 실수를 정해진 작은 숫자 칸으로 옮기는 일이에요.

[ q = \text{round}\left(\frac{x}{s}\right) ]

여기서 (x)는 원래 실수 값, (s)는 실수를 정수 범위로 옮기기 위한 스케일, (q)는 양자화된 정수예요.

이 수식은 “숫자를 일정한 간격의 칸에 넣는다”는 뜻이에요. 칸이 넓으면 저장은 쉬워지지만 오차가 커져요. 칸이 촘촘하면 정확하지만 저장과 계산 비용이 커져요.

PTQ와 QAT

PTQ는 빠른 배포에 좋아요. QAT는 정확도 손실이 작아야 하는 제품 환경에 더 적합할 수 있어요.

Architectural efficiency의 논리

FLOPs가 줄었다고 실제 지연시간이 반드시 줄지는 않아요. 실제 하드웨어에서는 메모리를 읽고 쓰는 시간, 커널 실행 방식, 병렬 처리 효율이 중요해요.

예를 들어 모델 안에 0이 많아도 일반적인 dense 행렬곱으로 실행하면 컴퓨터는 0까지 모두 계산할 수 있어요. 그러면 이론적으로는 줄었지만 실제로는 별로 빨라지지 않아요.

그래서 다음 같은 실행 최적화가 필요해요.

전체 최적화 순서 예시

원문은 BERT-Base 예시를 통해 순서가 중요하다고 설명해요.

큰 모델
  ↓ structured pruning
중요한 구조만 남김
  ↓ knowledge distillation
정확도 일부 회복
  ↓ INT8 quantization 또는 QAT
메모리와 연산 비용 감소
  ↓ operator fusion, sparsity-aware 실행
실제 하드웨어 지연시간 감소

순서를 잘못 잡으면 손실이 커질 수 있어요. 예를 들어 먼저 지나치게 양자화하면, 이후 pruning에서 어떤 weight가 중요한지 판단하기 더 어려워질 수 있어요.

2단계 중간 정리

이 장의 논리는 아래처럼 압축할 수 있어요.

제약을 측정한다
  ↓
제약을 세 최적화 차원에 연결한다
  ↓
기법을 고른다
  ↓
정확도와 시스템 성능을 함께 측정한다
  ↓
필요하면 여러 기법을 순서 있게 조합한다

최적화는 “정확도 조금 내리고 속도 올리기”처럼 단순한 문제가 아니에요. 실제 하드웨어, 메모리 대역폭, 에너지, 런타임 지원, 시스템 전체 병목을 함께 보는 문제입니다.

3단계: 대학교 수준

3.1 Model Optimization Fundamentals

원문은 먼저 연구 모델과 배포 모델 사이의 불일치를 문제로 제기해요. 연구에서는 정확도가 가장 중요한 지표가 되기 쉽지만, 실제 배포에서는 정확도 하나만으로는 부족해요. 모바일 장치에는 몇 GB 수준의 메모리만 있을 수 있고, 마이크로컨트롤러는 KB 단위의 SRAM만 가질 수 있어요. 클라우드에서는 모델이 돌아가더라도 요청량이 커지면 전력과 비용이 운영 부담으로 바뀌어요.

따라서 모델 최적화의 목표는 다음과 같이 정리할 수 있어요.

중요한 점은 이것이 다목적 최적화 문제라는 점이에요. 하나를 좋게 만들면 다른 하나가 나빠질 수 있어요. 더 작은 모델은 빠를 수 있지만 정확도가 떨어질 수 있고, 낮은 정밀도는 메모리를 줄이지만 numerical error를 늘릴 수 있어요.

원문은 이 문제를 세 차원으로 구성해요.

1. 모델 표현을 효율화해 어떤 계산을 할지 줄여요.
2. 숫자 표현을 줄여 같은 계산을 더 가볍게 해요.
3. 하드웨어 실행 방식을 맞춰 이론적 절감이 실제 성능 향상으로 이어지게 해요.

3.2 Optimization Framework

최적화 프레임워크는 소프트웨어 알고리즘과 하드웨어 실행 사이를 잇는 구조예요. 원문은 세 레이어의 상호작용을 강조해요.

이 프레임워크의 핵심은 “한 기법이 한 차원에만 머물지 않는다”는 점이에요. Pruning은 모델 표현 기법이지만, 0이 많은 구조를 만들기 때문에 hardware execution에도 영향을 줘요. Quantization은 수치 정밀도 기법이지만, 모델 크기와 메모리 대역폭도 줄여요.

그래서 최적화는 개별 기술 목록이 아니라 조합과 순서의 문제예요.

3.3 Deployment Context

Practical deployment

원문은 실제 배포 환경이 얼마나 다른지 강조해요.

마이크로컨트롤러 예시는 극단적인 차이를 보여줘요. Arduino Uno는 SRAM이 2KB 수준이고 flash도 32KB 수준이에요. 반면 현대 GPU는 수십 GB 메모리와 훨씬 높은 클럭, 많은 코어를 가져요. 이런 차이 때문에 같은 모델을 모든 환경에 그대로 배포할 수 없어요.

Edge ML은 클라우드 왕복 없이 로컬 장치에서 추론해 지연시간을 크게 줄일 수 있지만, 모델 크기와 연산량이 엄격히 제한돼요. Tiny ML은 1mW 이하 전력과 1MB 미만 메모리 같은 극단적인 조건을 다뤄요.

Balancing trade-offs

모델 capacity를 늘리면 대체로 표현력과 정확도가 좋아질 가능성이 있지만, 메모리 footprint, latency, power consumption, training cost도 커져요.

특히 memory bandwidth가 병목이 되는 경우가 많아요. 큰 모델은 weight를 연산 장치로 계속 옮겨야 하고, 모바일 SoC의 메모리 대역폭은 고성능 GPU보다 훨씬 낮아요. 그래서 연산 장치가 충분히 빨라도 데이터를 가져오느라 기다리는 “memory wall”이 생겨요.

이 장에서 반복되는 핵심은 이것입니다.

최적화할 대상은 모델 파일만이 아니라
모델이 실제 시스템 안에서 움직이는 전체 경로입니다.

3.4 Framework Application and Navigation

Mapping constraints

제약 조건은 최적화 차원을 고르는 지도 역할을 해요.

이 표는 절대적인 규칙이 아니라 출발점이에요. 하나의 기법은 여러 제약에 동시에 영향을 주기 때문이에요.

Navigation strategies

원문은 실무적 접근을 세 가지 속도로 나눠 설명해요.

또 하나 중요한 지적은 동일한 quantization도 하드웨어에 따라 효과가 크게 다르다는 점이에요. 특화 accelerator에서는 큰 speedup이 나와도 일반 CPU에서는 제한적일 수 있어요. 그래서 최적화 전에는 시스템 전체 profiling이 필수입니다.

3.5 Optimization Dimensions

Model representation

모델 표현 최적화는 구조적 중복을 줄이는 차원이에요. 현대 신경망은 필요한 것보다 훨씬 많은 파라미터를 갖는 경우가 많아요. 이런 overparameterization은 학습 중에는 도움이 될 수 있지만, 배포 시점에는 압축 여지가 돼요.

대표 기법은 다음과 같아요.

Numerical precision

수치 정밀도 최적화는 weight, activation, 연산을 어떤 숫자 형식으로 표현할지 다뤄요. FP32는 안정적이지만 비용이 커요. FP16, BF16, INT8, INT4 같은 낮은 정밀도는 메모리와 연산 비용을 줄이지만 오차를 늘릴 수 있어요.

Mixed-precision training은 forward pass에는 FP16 같은 낮은 정밀도를 쓰고, gradient 관련 계산에는 더 높은 정밀도를 유지해 안정성과 효율을 동시에 노려요.

Architectural efficiency

아키텍처 효율은 “좋은 구조와 좋은 숫자 형식이 실제로 빠르게 실행되는가”를 다뤄요. 이 차원에서는 sparsity, matrix factorization, dynamic computation, operator fusion, hardware-aware scheduling이 중요해요.

예를 들어 90% sparse model은 이론적으로 10%만 계산하면 될 것처럼 보이지만, 실제 speedup은 specialized sparse kernel과 하드웨어 지원이 있어야 나와요.

Three-dimensional framework

세 차원은 서로 얽혀 있어요.

Pruning -> 파라미터 감소 -> sparsity 생성 -> sparse hardware 필요
Quantization -> bit-width 감소 -> 메모리 대역폭 감소 -> low-precision accelerator 필요
Distillation -> 작은 dense model 생성 -> 일반 하드웨어에서 실행하기 쉬움
NAS -> 구조 자체를 목표 하드웨어에 맞춤 -> 후속 quantization과 pruning 효과 증가

3.6 Structural Model Optimization Methods

원문은 구조 최적화의 목표를 두 가지로 설명해요.

1. overparameterization에서 생긴 중복을 제거해요.
2. 하드웨어에서 효율적으로 실행될 수 있는 구조로 바꿔요.

여기에는 pruning, distillation, structured approximation, NAS가 포함돼요.

Pruning의 기본 아이디어

Pruning은 모델 안에서 중요도가 낮은 파라미터나 구조를 제거하는 방법이에요. 모델이 커질수록 memory bandwidth가 병목이 될 수 있기 때문에, 파라미터를 줄이면 저장 공간과 데이터 이동량을 줄일 수 있어요.

원문의 작은 예시는 3x3 weight matrix에서 크기가 작은 값들을 제거하고, 큰 절댓값을 가진 4개만 남기는 방식이에요. 여기서 핵심은 “nonzero parameter 수를 줄인다”는 점이에요.

수학적으로는 다음과 같이 쓸 수 있어요.

[ \min_{\hat{W}} \mathcal{L}(\hat{W}) \quad \text{subject to} \quad |\hat{W}|_0 \leq k ]

각 항의 의미는 다음과 같아요.

(\ell_0)-norm을 직접 최소화하는 문제는 어렵기 때문에 실제로는 magnitude-based selection, gradient-based importance, second-order sensitivity 같은 근사 기준을 써요.

때로는 다음과 같은 soft regularization을 써서 작은 weight가 많아지도록 유도해요.

[ \min_W \mathcal{L}(W) + \lambda |W|_1 ]

(\lambda)는 sparsity를 얼마나 강하게 유도할지 조절해요. 하지만 (\ell_1)은 weight를 작게 만들 뿐 정확히 0으로 만드는 것은 아니므로, 실제 메모리와 연산을 줄이려면 thresholding이 필요해요.

Pruning target structures

Pruning은 무엇을 제거하느냐에 따라 달라져요.

Channel pruning과 layer pruning은 구조를 바꾸므로 fine-tuning이 중요해요. 남은 네트워크가 새 구조에 적응해야 하기 때문이에요.

Unstructured pruning

Unstructured pruning은 개별 weight를 제거해요. 수학적으로는 binary mask (M)을 weight matrix (W)에 element-wise로 곱해요.

[ \hat{W} = M \odot W ]

보통 magnitude 기준이면 threshold (\tau)를 두고 다음처럼 마스크를 만들어요.

[ M_{i,j} = \begin{cases} 1, & |W_{i,j}| > \tau \ 0, & \text{otherwise} \end{cases} ]

장점은 모델 저장 공간을 크게 줄일 수 있다는 점이에요. 하지만 GPU와 TPU는 dense matrix multiplication에 최적화된 경우가 많기 때문에, sparse 계산 커널이 없으면 실제 추론 속도는 거의 좋아지지 않을 수 있어요.

즉 unstructured pruning은 “parameter-level compression”에는 강하지만, “wall-clock latency” 향상은 하드웨어와 런타임 지원에 달려 있어요.

Structured pruning

Structured pruning은 neuron, filter, channel, layer 같은 전체 계산 단위를 제거해요. 이렇게 하면 남은 모델이 더 작은 dense model이 되기 쉬워서 일반 하드웨어에서도 속도 향상이 잘 나타날 수 있어요.

구조 단위의 중요도는 여러 방식으로 평가해요.

Structured pruning은 실제 FLOPs를 줄이는 데 유리하지만, 모델 capacity를 구조적으로 없애므로 정확도 손실 가능성이 더 커요. 그래서 fine-tuning이나 distillation과 함께 쓰는 경우가 많아요.

Dynamic pruning

Static pruning은 한 번 제거한 파라미터를 계속 제거된 상태로 둬요. Dynamic pruning은 입력이나 학습 과정에 따라 어떤 부분을 쓸지 조정해요.

예를 들어 간단한 이미지에서는 많은 convolution filter가 거의 반응하지 않을 수 있어요. 이때 activation-conditioned pruning은 낮은 activation을 보이는 filter나 channel을 이번 입력에 대해 건너뛰어요.

학습 중 dynamic pruning도 있어요. Gradual magnitude pruning은 dense network로 시작해 pruning 비율을 점점 늘려요. 어떤 방식은 중요해진 연결을 다시 살리는 regrowth까지 허용해요.

장점은 입력 난이도에 맞춰 계산량을 조절할 수 있다는 점이에요. 단점은 런타임에서 pruning decision을 내려야 하므로 오버헤드와 구현 복잡도가 생긴다는 점이에요.

Pruning trade-offs

Pruning은 “얼마나 자를지”와 “어떤 기준으로 자를지”가 모두 중요해요.

Iterative pruning과 one-shot pruning

원문은 두 전략을 비교해요.

원문의 예시에서 iterative pruning은 6개 channel을 세 번에 나누어 제거하고 각 단계마다 fine-tuning해 최종 정확도를 거의 유지해요. 반면 one-shot pruning은 같은 channel을 한 번에 제거하면서 정확도가 크게 떨어지고, fine-tuning 후에도 회복이 제한적이에요.

이 예시는 pruning에서 “최종 구조가 같아도 도달 경로가 중요하다”는 점을 보여줘요.

Lottery Ticket Hypothesis

Lottery Ticket Hypothesis는 큰 네트워크 안에 처음부터 잘 학습될 수 있는 작은 subnetwork, 즉 winning ticket이 존재할 수 있다는 가설이에요.

절차는 다음과 같아요.

큰 네트워크를 학습함
  ↓
작은 magnitude weight를 pruning함
  ↓
남은 weight를 원래 초기값으로 되돌림
  ↓
다시 학습하고 pruning을 반복함
  ↓
작지만 잘 학습되는 winning ticket을 찾음

이 가설은 pruning을 단순 압축이 아니라 효율적인 subnetwork를 발견하는 과정으로 보게 해요. 하지만 실제로 winning ticket을 찾으려면 여러 번 학습과 pruning을 반복해야 하므로 계산 비용이 큽니다.

Pruning practice

실무 프레임워크는 pruning을 직접 구현하지 않아도 되도록 API를 제공해요.

중요한 실무 판단은 하드웨어 호환성이에요. Unstructured pruning은 파일 크기를 줄여도 CPU/GPU에서 바로 빨라지지 않을 수 있고, structured pruning은 모바일과 엣지에서 더 실용적일 가능성이 커요.

원문은 MobileNet, BERT, EfficientNet 같은 모델에서 pruning이 활용된 사례를 언급해요. BERT에서는 attention head와 intermediate layer pruning이 중요하고, EfficientNet에서는 filter pruning이 모바일 배포에 도움이 될 수 있어요.

3.7 Knowledge Distillation

Knowledge distillation은 큰 teacher model의 출력 분포를 작은 student model이 학습하게 하는 방법이에요. Pruning이 기존 모델에서 부분을 제거하는 방식이라면, distillation은 작은 새 모델을 teacher의 안내로 학습하는 방식이에요.

Distillation theory

일반 supervised learning은 hard label을 써요. 예를 들어 정답이 “dog”이면 dog만 1이고 나머지는 0이에요. 하지만 teacher model의 soft probability는 클래스 간 유사성을 담아요.

예를 들어 teacher가 다음처럼 판단할 수 있어요.

이 정보는 hard label보다 풍부해요. Student는 단순히 정답만 외우는 것이 아니라 teacher가 만든 decision boundary의 모양을 배우게 돼요.

Distillation mathematics

모델의 softmax는 logit (z_i)를 확률로 바꿔요.

[ p_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)} ]

Distillation에서는 temperature (T)를 넣어 분포를 부드럽게 만들어요.

[ p_i(T) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]

(T)가 커지면 확률 분포가 덜 뾰족해져요. 즉 teacher가 “정답 말고 다른 후보를 얼마나 비슷하게 보는지”가 더 잘 드러나요.

Student의 손실은 보통 두 항을 섞어요.

[ \mathcal{L}{\text{distill}} = (1-\alpha)\mathcal{L}{\text{CE}}(y_s, y)

• \alpha T^2 \cdot \mathrm{KL}(p^T_{\text{teacher}} | p^T_{\text{student}}) ]

Distillation intuition and gains

Distillation의 장점은 세 가지로 볼 수 있어요.

원문은 DistilBERT 같은 모델이 큰 teacher 성능의 상당 부분을 유지하면서 파라미터와 지연시간을 줄이는 사례를 언급해요. 또한 multilingual NLP나 computer vision에서 하나의 teacher가 여러 task-specific student를 가르칠 수 있다고 설명해요.

한계도 있어요.

Pruning과 비교하면 distillation은 정확도 보존에 유리한 경우가 많지만, 새 모델 훈련이 필요해요. 실제로는 pruning, distillation, quantization을 조합하는 편이 효과적이에요.

3.8 Structured Approximations

Structured approximation은 파라미터를 그냥 삭제하는 대신, 큰 행렬이나 텐서를 더 작은 구성요소로 근사하는 방법이에요.

Low-rank matrix factorization

큰 weight matrix (A \in \mathbb{R}^{m \times n})를 두 작은 행렬의 곱으로 근사해요.

[ A \approx UV ]

여기서 (U \in \mathbb{R}^{m \times k}), (V \in \mathbb{R}^{k \times n})이고 (k)는 (m,n)보다 작아요. SVD를 쓰면 다음처럼 분해할 수 있어요.

[ A = U\Sigma V^T ]

상위 (k)개의 singular value만 남기면 low-rank approximation이 돼요.

파라미터 수는 다음처럼 바뀌어요.

(k)가 충분히 작으면 저장량이 줄어요. 하지만 inference 중에는 두 번의 행렬곱이 필요할 수 있으므로 latency가 항상 줄지는 않아요.

활용처는 fully connected layer, convolution filter factorization, recommendation system의 user-item matrix factorization 등이에요.

주요 trade-off는 rank 선택이에요. (k)가 너무 작으면 정보 손실이 크고, 너무 크면 압축 효과가 작아요. 데이터에 noise나 missing value가 있으면 regularization이 필요할 수도 있어요.

Tensor decomposition

현대 모델에는 2차원 행렬뿐 아니라 convolution kernel, attention tensor, embedding tensor처럼 다차원 텐서가 많이 등장해요. Tensor decomposition은 low-rank factorization을 고차원으로 확장해요.

대표 방법은 세 가지예요.

CP decomposition은 다음처럼 쓸 수 있어요.

[ \mathcal{A} \approx \sum_{r=1}^{k} u_r \otimes v_r \otimes w_r ]

Tucker decomposition은 다음처럼 표현돼요.

[ \mathcal{A} \approx \mathcal{G} \times_1 U \times_2 V \times_3 W ]

Tensor-Train은 고차원 텐서를 여러 core로 이어 붙여 표현해요.

[ \mathcal{A} \approx \mathcal{G}^{(1)} \times \mathcal{G}^{(2)} \times \dots \times \mathcal{G}^{(d)} ]

Tensor decomposition은 CNN filter compression, NLP embedding compression, attention 연산 최적화, accelerator-friendly tensor operation에 활용돼요.

하지만 rank 선택, factorization 자체의 계산 비용, tensor contraction overhead, numerical stability 문제가 있어요. 특히 factorized representation이 ill-conditioned해지면 학습과 추론의 안정성이 떨어질 수 있어요.

LRMF와 tensor decomposition 비교

두 방법은 경쟁 관계가 아니라 서로 보완적이에요. 한 모델 안에서 dense layer는 LRMF로, convolution kernel이나 attention tensor는 tensor decomposition으로 다룰 수 있어요.

3.9 Neural Architecture Search

NAS는 사람이 직접 구조를 설계하는 대신, 가능한 architecture 공간을 자동으로 탐색해 정확도와 효율의 균형이 좋은 모델을 찾는 방법이에요.

NAS의 세 단계

Search space는 너무 좁으면 좋은 구조를 놓치고, 너무 넓으면 비용이 폭발해요.

Search strategies

NAS optimization problem

NAS는 bi-level optimization으로 볼 수 있어요. 바깥 루프는 architecture (\alpha)를 찾고, 안쪽 루프는 그 architecture의 weight (w)를 학습해요.

[ \alpha^* = \arg\min_{\alpha \in \mathcal{A}} \mathcal{L}{\text{val}}(w^*(\alpha), \alpha) \quad \text{subject to} \quad C(\alpha) \leq C{\text{max}} ]

[ w^*(\alpha) = \arg\min_w \mathcal{L}_{\text{train}}(w, \alpha) ]

여기서 (C(\alpha))는 latency, memory, energy 같은 배포 제약이에요. 이 공식이 보여주는 어려움은 후보 architecture마다 학습을 해야 평가할 수 있다는 점이에요. Search space가 조금만 커져도 exhaustive search는 불가능해져요.

Search space design

Cell-based search는 전체 네트워크가 아니라 반복 가능한 작은 block, 즉 cell을 찾고 이를 쌓아 전체 모델을 만들어요. 이렇게 하면 탐색 공간이 줄고, 발견한 cell을 여러 모델 크기에 재사용할 수 있어요.

Hardware-aware search는 FLOPs만 보지 않고 실제 장치의 latency를 최적화 대상으로 넣어요. 예를 들어 모바일 CPU, GPU, edge accelerator에서 실제로 빠른 구조를 찾기 위해 latency predictor나 hardware-in-the-loop 평가를 사용해요.

NAS in practice

원문은 MnasNet식 latency-aware reward를 소개해요.

[ \text{Reward}(\alpha) = \text{Accuracy}(\alpha) \times \left(\frac{L(\alpha)}{L_{\text{target}}}\right)^\beta ]

여기서 (L(\alpha))는 측정된 latency, (L_{\text{target}})은 목표 latency, (\beta)는 accuracy-latency trade-off를 조절하는 값이에요.

이런 방식은 FLOPs가 낮은 구조가 아니라 실제 장치에서 빠른 구조를 찾는 데 중요해요.

When to use NAS

NAS는 강력하지만 비싸요. 그래서 언제 쓸지 판단해야 해요.

대부분의 실무자는 NAS를 직접 돌리기보다 EfficientNet, MobileNetV3, MnasNet처럼 이미 NAS로 발견된 architecture에서 시작하는 것이 투자 대비 효과가 좋아요.

Architecture examples

원문은 EfficientNet, MobileNetV3, FBNet, NAS-BERT, efficient ViT 계열을 예시로 들어요.

이후 원문은 BERT-Base 예시로 구조 최적화만으로는 부족하다는 점을 보여줘요. 440MB 모델을 pruning과 distillation으로 110MB까지 줄여도, FP32 matrix multiplication 때문에 모바일 latency 목표를 못 맞출 수 있어요. 이것이 다음 차원인 numerical precision optimization으로 이어져요.

3.10 Quantization and Precision Optimization

수치 정밀도는 weight와 activation을 어떤 형식으로 표현할지 정해요. FP32는 안정적이지만 4바이트를 쓰고, memory bandwidth와 energy cost가 커요. 낮은 정밀도는 연산과 메모리 이동을 줄이지만, quantization error를 만들어요.

원문은 precision reduction이 단순히 칩 스펙의 TOPS 향상만큼 end-to-end speedup을 보장하지 않는다고 경고해요. Format conversion, mixed-precision orchestration, accuracy recovery, convergence delay 같은 시스템 비용이 있기 때문이에요.

Precision and energy

연산 에너지 예시는 precision reduction의 의미를 잘 보여줘요.

하지만 더 큰 비용은 데이터 이동일 수 있어요. DRAM access는 cache access나 산술 연산보다 훨씬 비쌀 수 있어요. 따라서 quantization은 연산을 가볍게 하는 동시에 메모리에서 옮기는 byte 수도 줄여요.

FP32에서 INT8로 가면 각 weight가 4바이트에서 1바이트로 줄어, 이론적으로 저장량은 4배 줄어들 수 있어요. 최적화된 하드웨어에서는 inference도 4-8배 빨라질 수 있지만, 이는 hardware support에 의존해요.

Numeric encoding and storage

수치 형식은 sign, exponent, mantissa 또는 integer range로 구성돼요.

BF16은 FP16보다 mantissa 정밀도는 낮지만 exponent가 넓어서 gradient의 underflow/overflow에 더 강할 수 있어요. 그래서 학습 안정성이 중요한 경우 자주 고려돼요.

Precision reduction trade-offs

Precision reduction의 효과는 모델과 layer마다 달라요. CNN은 INT8에 강한 경우가 많지만, NLP transformer나 speech model은 attention이나 normalization에서 작은 수치 차이에 민감할 수 있어요.

Post-training quantization

PTQ는 학습된 FP32 모델을 retraining 없이 INT8 또는 FP16 같은 낮은 정밀도로 바꾸는 방법이에요. 빠르고 구현이 쉬워서 production deadline이 짧을 때 유용해요.

Uniform quantization은 다음 수식으로 표현돼요.

[ q = \text{round}\left(\frac{x}{s}\right) ]

여기서 (x)는 원래 floating-point 값, (s)는 scale factor, (q)는 integer representation이에요. INT8에서는 보통 floating range를 ([-128, 127]) 또는 유사한 정수 범위에 매핑해요.

Non-uniform quantization은 값이 많이 몰린 구간에 더 촘촘한 표현을 주는 방식이에요. 정확도에는 유리할 수 있지만 calibration과 실행이 더 복잡해 production에서는 uniform quantization이 더 흔해요.

Calibration

PTQ에서 calibration은 매우 중요해요. Calibration dataset을 모델에 통과시켜 activation과 weight의 분포를 보고 clipping range ([\alpha, \beta])를 정해요.

대표 calibration 방법은 다음과 같아요.

Calibration range는 symmetric 또는 asymmetric일 수 있어요.

Quantization granularity

같은 layer 안에서도 filter마다 값의 범위가 다를 수 있어요. 그래서 clipping range를 어느 단위로 잡을지가 중요해요.

원문은 channelwise quantization이 convolution filter quantization에서 정확도와 효율의 균형이 좋아 널리 쓰인다고 설명해요.

Weight, activation, AWQ, static and dynamic quantization

Weight quantization은 weight를 FP32에서 INT8 같은 낮은 형식으로 바꿔 모델 크기와 메모리 읽기 비용을 줄여요.

Activation quantization은 inference 중 layer 출력값을 낮은 정밀도로 표현해 연산 비용을 줄여요. 하지만 중간 activation 오차가 다음 layer로 전파되므로 정확도 관리가 중요해요.

Activation-aware Weight Quantization, 즉 AWQ는 특히 LLM 압축에서 activation을 관찰해 중요한 소수의 weight를 보호하는 방식이에요. 원문은 약 1%의 salient weight를 보호하는 접근을 언급해요.

Activation quantization은 clipping range 계산 시점에 따라 두 방식으로 나뉘어요.

Quantization-aware training

QAT는 학습 중에 quantization 효과를 흉내 내요. Forward pass에서는 quantize-dequantize를 적용해 낮은 정밀도처럼 동작하게 하고, backward pass에서는 gradient 계산을 full precision으로 유지해요.

Fake quantization은 다음처럼 표현할 수 있어요.

[ q = \text{round}\left(\frac{x}{s}\right) \times s ]

문제는 round 연산이 미분 불가능하다는 점이에요. 그래서 Straight-Through Estimator, 즉 STE를 써요. STE는 backward pass에서 round의 gradient를 대략 1처럼 취급해 gradient가 흐르게 해요.

QAT의 장점은 모델이 quantization error에 적응한다는 점이에요. INT8 inference에서 정확도를 잘 보존할 수 있어요. 단점은 학습 시간이 늘고, scale, quantization scheme, training schedule 같은 추가 hyperparameter가 생긴다는 점이에요.

실무에서는 PTQ를 먼저 적용해 보고, 정확도 손실이 크면 QAT를 적용하는 hybrid 접근이 많이 쓰여요.

Extreme quantization

Extreme quantization은 INT4를 넘어 binary 또는 ternary 표현까지 내려가요.

이 방식은 초저전력 환경에는 매력적이지만, 일반 processor는 이런 연산에 최적화되어 있지 않을 수 있어요. 그래서 specialized hardware와 QAT 같은 보정 기법이 중요해요.

Multi-technique optimization strategies

원문은 quantization, pruning, distillation, NAS를 따로 쓰기보다 조합하라고 강조해요.

원문의 BERT 여정은 이 조합의 의미를 잘 보여줘요.

BERT-Base 440MB
  ↓ structural pruning + distillation
110MB
  ↓ INT8 quantization
28MB
  ↓ architectural efficiency
모바일 latency 목표에 접근

구조 최적화와 수치 정밀도 최적화만으로도 부족할 수 있어요. 모델이 여전히 0을 dense format으로 계산하거나, layer normalization이 memory-bound로 남거나, GPU가 메모리 전송을 기다린다면 architecture execution을 최적화해야 해요.

3.11 Architectural Efficiency Techniques

아키텍처 효율 최적화는 연산이 목표 하드웨어에서 실제로 잘 실행되도록 만드는 차원이에요. 이 차원은 operation scheduling, memory access, workload adaptation을 다룹니다.

Hardware-aware design

Hardware-aware design은 학습이 끝난 뒤 억지로 맞추는 것이 아니라, 모델 설계 단계부터 목표 하드웨어의 특성을 반영해요.

Scaling optimization

Convolutional model의 FLOPs는 대략 다음에 비례해요.

[ \text{FLOPs} \propto d \cdot w^2 \cdot r^2 ]

여기서 (d)는 depth, (w)는 width, (r)은 input resolution이에요. Resolution을 키우면 (r^2)로 비용이 커져요. Width도 (w^2)로 비용이 커져요.

EfficientNet의 compound scaling은 세 요소를 따로 키우지 않고 함께 균형 있게 키워요.

[ d = \alpha^\phi d_0,\quad w = \beta^\phi w_0,\quad r = \gamma^\phi r_0 ]

(\phi)는 전체 scaling 정도이고, (\alpha,\beta,\gamma)는 각 축의 scaling 비율이에요. 이 방식은 정확도와 비용의 균형을 더 안정적으로 맞추려는 접근이에요.

Transformer에서도 layer 수, attention head 수, embedding dimension이 비슷한 역할을 해요.

Computation reduction

Depthwise separable convolution은 standard convolution을 두 단계로 쪼개요.

1. Depthwise convolution: 각 입력 channel에 독립적으로 filter를 적용해요.
2. Pointwise convolution: 1x1 convolution으로 channel을 섞어요.

Standard convolution 비용은 다음과 같아요.

[ \mathcal{O}(h w C_{\text{in}} C_{\text{out}} k^2) ]

Depthwise separable convolution은 다음처럼 나뉘어요.

[ \mathcal{O}(h w C_{\text{in}} k^2) + \mathcal{O}(h w C_{\text{in}} C_{\text{out}}) ]

즉 channel mixing에서 (k^2) 비용을 제거해 모바일과 엣지 장치에서 큰 절감 효과를 줄 수 있어요.

Grouped convolution은 channel을 group으로 나눠 처리하고, bottleneck layer는 1x1 convolution으로 차원을 줄인 뒤 비싼 연산을 수행해요. 이런 구조는 하드웨어 병렬성과 메모리 사용량을 함께 고려한 설계예요.

Memory optimization

메모리 최적화는 activation, feature map, parameter 저장량을 줄이는 문제예요.

DenseNet의 feature reuse는 이전 layer의 feature를 재사용해 불필요한 새 feature 생성을 줄여요. Activation checkpointing은 training 중 모든 activation을 저장하지 않고 일부만 저장한 뒤 backward pass에서 다시 계산해요.

표준 backpropagation은 activation 저장량이 다음에 비례할 수 있어요.

[ \mathcal{O}(A_{\text{total}}) ]

Activation checkpointing은 이상적으로 다음 수준까지 줄일 수 있어요.

[ \mathcal{O}(\sqrt{A_{\text{total}}}) ]

대신 일부 activation을 다시 계산해야 하므로 training time overhead가 생겨요.

SqueezeNet은 1x1 convolution을 활용해 channel 수를 먼저 줄이고, 그 다음 비싼 convolution을 수행해 parameter 수를 크게 줄이는 방식이에요.

Adaptive computation methods

Adaptive computation은 모든 입력에 같은 계산량을 쓰지 않아요. 쉬운 입력은 빨리 처리하고, 어려운 입력은 더 깊게 처리해요.

BranchyNet은 여러 exit point를 넣어 쉬운 입력은 중간에 빠져나오게 해요. Multi-exit vision transformer도 transformer layer마다 가벼운 classifier를 붙여 비슷한 전략을 사용해요.

SkipNet은 gating mechanism으로 특정 CNN layer를 건너뛰고, Capsule Network의 dynamic routing은 activation이 이동할 경로를 입력에 따라 정해요.

Mixture of Experts는 여러 expert 중 일부만 활성화해 큰 parameter capacity를 갖되, 입력당 계산량은 제한해요. Switch Transformer는 token마다 router가 하나의 expert를 고르게 해 feedforward layer를 expert pool로 대체해요.

Dynamic computation의 구현 문제

Dynamic computation은 매력적이지만 어렵습니다.

그래서 dynamic computation은 정확도와 평균 latency뿐 아니라 worst-case latency, fairness, robustness, reproducibility까지 측정해야 해요.

3.12 Sparsity Exploitation

Sparsity는 tensor 안의 많은 원소가 0이거나 거의 0인 상태예요.

[ S = \frac{\Vert \mathbf{1}{{T{ij}=0}} \Vert_0}{m \times n} ]

Floating-point에서는 정확히 0이 아니어도 충분히 작은 값을 0처럼 볼 수 있어요.

[ S_\epsilon = \frac{\Vert \mathbf{1}{{|T{ij}| < \epsilon}} \Vert_0}{m \times n} ]

Sparsity는 regularization 때문에 자연스럽게 생길 수도 있고, pruning으로 의도적으로 만들 수도 있어요.

Sparsity types

Unstructured sparsity는 유연하지만 irregular memory access가 생겨요. Structured sparsity는 압축 자유도는 낮을 수 있지만 실제 speedup에 유리해요.

Sparsity utilization

Sparse matrix operation은 0을 건너뛰어 연산량을 줄여요. 예를 들어 4x4 dense matrix-vector multiplication은 16개의 곱셈이 필요하지만, nonzero가 6개뿐이면 sparse-aware implementation은 6개만 계산할 수 있어요.

하지만 이론적 절감이 실제 속도로 이어지려면 sparse format 저장, index 관리, memory access, kernel implementation이 모두 잘 맞아야 해요.

Low-rank approximation도 넓은 의미에서 중복 구조를 이용해 계산량과 저장량을 줄이는 방법으로 연결돼요. Sparsity-aware training은 학습 중부터 sparse representation을 유지하도록 돕습니다.

Hardware support

원문은 sparse operation이 하드웨어 지원 없이는 기대만큼 빨라지지 않는다고 강조해요.

MegaBlocks처럼 sparse Mixture of Experts를 block-sparse operation으로 재구성하고 GPU-specific kernel을 개발하는 접근도 있어요. 핵심은 sparse pattern을 하드웨어가 좋아하는 block 단위나 규칙적 패턴으로 바꾸는 거예요.

Structured patterns

Block sparse matrix는 큰 sparse matrix를 작은 dense block들의 조합으로 표현해요. 이렇게 하면 전체적으로는 sparse하지만 block 내부는 dense operation으로 처리할 수 있어 accelerator 활용이 좋아져요.

(N:M) sparsity는 연속된 (M)개 원소 중 (N)개만 nonzero가 되도록 강제하는 방식이에요. 대표적으로 2:4 sparsity는 4개 중 2개만 nonzero로 두는 패턴이에요. 이런 규칙성은 메모리 접근과 연산 스케줄을 예측 가능하게 만들어요.

Challenges and limitations

Sparsity의 한계는 다음과 같아요.

Combined optimizations

Sparsity는 pruning, quantization, efficient model design과 함께 쓸 때 효과가 커질 수 있어요.

특히 unstructured sparsity와 quantization을 함께 쓰면 하드웨어가 irregular sparse low-precision operation을 잘 처리해야 해요. GPU/TPU는 structured pattern에서 유리하고, CPU는 overhead 때문에 이득이 제한될 수 있어요.

3.13 Implementation Strategy and Evaluation

원문은 최적화가 기법 적용으로 끝나지 않고, 측정과 통합 전략으로 완성된다고 설명해요.

Profiling and opportunity analysis

최적화의 첫 단계는 profiling이에요. 모델 연산이 전체 시스템 병목인지부터 확인해야 해요. 데이터 전처리, I/O, 네트워크 통신이 지연시간을 지배한다면 모델만 줄여도 효과가 작을 수 있어요.

Profiling은 여러 차원을 봐야 해요.

원문의 ViT 예시는 좋은 접근을 보여줘요. Attention layer가 FLOPs의 65%를 차지하면 structured pruning 후보가 되고, layer normalization이 FLOPs는 작지만 latency를 크게 차지하면 memory-bound operation으로 operator fusion 후보가 돼요. Classification head가 계산은 작지만 parameter memory를 많이 차지하면 INT8 quantization 후보가 될 수 있어요.

Measuring optimization effectiveness

최적화 효과는 accuracy만 보지 않아요.

원문의 ResNet-50 INT8 예시는 Top-1 정확도가 76.1%에서 75.8%로 0.3%만 떨어지고, V100 latency가 4.2ms에서 1.3ms로 줄며, 모델 크기가 98MB에서 25MB로 줄어드는 식의 다면적 평가를 보여줘요. 하지만 CPU speedup은 GPU보다 작을 수 있어 하드웨어별 측정이 필요해요.

Multi-technique integration

가장 큰 효과는 세 차원을 조합할 때 나와요.

원문의 BERT-Base 모바일 배포 예시는 다음 순서를 제시해요.

1. Structured pruning
   attention head 30%, FFN intermediate dimension 40% 제거
   ↓
2. Knowledge distillation
   정확도 일부 회복
   ↓
3. QAT 기반 INT8 quantization
   추가 메모리 절감과 latency 개선

이 순서는 중요해요. Pruning을 먼저 하면 중요한 weight가 더 작은 구조에 집중되고, 이후 quantization이 더 안정적일 수 있어요. 반대로 먼저 quantization하면 pruning importance를 판단할 numerical precision이 줄어 최종 정확도가 나빠질 수 있어요.

3.14 AutoML and Automated Optimization Strategies

AutoML은 architecture, hyperparameter, compression strategy, deployment constraint를 자동으로 탐색해요. 사람이 할 일을 완전히 대체한다기보다, 사람이 정한 목표와 제약 안에서 큰 탐색 공간을 체계적으로 훑는 도구에 가까워요.

AutoML optimizations

AutoML이 다루는 주요 대상은 다음과 같아요.

Bayesian optimization은 적은 평가로 좋은 hyperparameter를 찾는 데 유리하고, evolutionary algorithms와 adaptive heuristic도 AutoML에서 쓰여요.

Optimization strategies

AutoML은 여러 전략을 결합할 수 있어요.

Google AutoML, Amazon SageMaker Autopilot, Azure AutoML 같은 플랫폼은 이런 흐름을 제품화한 예시로 볼 수 있어요.

AutoML challenges

AutoML에도 한계가 있어요.

AutoML은 효율적인 탐색 도구지만, 목표 설정, 제약 정의, 평가 기준 설계에는 여전히 사람의 전문성이 필요해요.

3.15 Implementation Tools and Software Frameworks

최적화 이론이 실무에서 쓰이려면 framework와 compiler, inference engine이 필요해요. 직접 weight tensor를 조작하고 quantization operation을 삽입하는 일은 모델이 커질수록 관리하기 어려워요.

Model optimization APIs and tools

Framework API의 장점은 검증된 구현, 일관된 인터페이스, 빠른 실험, 최신 연구 기법의 통합이에요. 하지만 API를 쓴다고 자동으로 좋은 결과가 나오는 것은 아니고, target hardware와 평가 지표를 함께 확인해야 해요.

Hardware-specific optimization libraries

이 도구들은 세 최적화 차원을 실제 실행으로 연결해요. Pruning으로 생긴 structured sparsity를 accelerator가 활용하게 하고, quantized model을 INT8 kernel로 실행하며, operator fusion으로 memory traffic을 줄여요.

Optimization process visualization

최적화는 모델 내부를 바꾸기 때문에 시각화가 중요해요.

Quantization visualization은 weight와 activation의 quantization error histogram을 보여줘요. Outlier가 특정 layer에 몰려 있다면 calibration range나 granularity를 바꿀 수 있어요. Activation color map은 saturation이나 truncation 문제를 드러낼 수 있어요. QAT 중에는 MSQE를 추적해 어느 시점부터 학습이 불안정해지는지 볼 수 있어요.

Sparsity visualization은 pruning된 weight 분포를 layer별 heat map으로 보여줘요. 어떤 layer가 과도하게 sparse해졌는지, pruning iteration에 따라 global sparsity가 어떻게 증가하는지 확인할 수 있어요. TensorBoard, Netron, SparseML, DeepSparse, PyTorch utilities 같은 도구가 이런 분석에 쓰일 수 있어요.

3.16 Technique Comparison

세 기법은 목적과 비용이 달라요.

Production에서는 보통 순차 조합을 사용해요.

Pruning으로 parameter count 감소
  ↓
Distillation 또는 fine-tuning으로 정확도 회복
  ↓
Quantization으로 bit-width 감소
  ↓
Fusion, sparse kernel, scheduling으로 실제 실행 최적화

원문은 이런 조합이 10-50배 압축으로 이어질 수 있지만, 항상 측정과 검증이 필요하다고 봐요.

3.17 Fallacies and Pitfalls

원문은 자주 발생하는 오해를 분명히 짚어요.

오해 1: 최적화 기법은 독립적으로 적용해도 된다

Pruning과 aggressive quantization을 동시에 무리하게 적용하면 정확도 손실이 겹칠 수 있어요. Pruned teacher에서 distillation하면 teacher의 손상된 행동을 student가 배울 수도 있어요. 기법 간 상호작용을 보고 순서를 설계해야 해요.

오해 2: parameter count나 FLOPs만 줄이면 실제 성능도 좋아진다

FLOPs가 줄어도 cache locality, memory access pattern, kernel launch overhead, format conversion 때문에 latency가 줄지 않을 수 있어요. 최적화의 성공 기준은 실제 배포 장치에서 측정한 지표여야 해요.

오해 3: aggressive quantization은 항상 정확도를 거의 유지한다

INT8은 많은 모델에서 잘 작동하지만, INT4, binary, ternary로 갈수록 표현력이 줄고 numerical instability가 커져요. Attention, normalization, speech/NLP model은 특히 민감할 수 있어요.

오해 4: 학습 후 최적화만으로 충분하다

PTQ나 post-training pruning은 편하지만, accuracy-efficiency trade-off가 QAT, gradual pruning, distillation-integrated training보다 나쁠 수 있어요. 제품 요구가 엄격하면 training-aware optimization을 고려해야 해요.

오해 5: 모델만 최적화하면 시스템이 빨라진다

전처리, I/O, network communication, batching, request pipeline이 병목이면 모델 최적화 효과가 작아요. 전체 시스템 profiling이 먼저예요.

3.18 Summary

이 장의 결론은 명확해요. 모델 최적화는 연구 모델을 실제 배포 가능한 시스템으로 바꾸는 핵심 엔지니어링이에요.

핵심은 다음 다섯 가지예요.

원문의 BERT 예시는 전체 흐름을 잘 요약해요. 440MB 모델을 structural pruning, knowledge distillation, INT8 quantization, architectural efficiency 기법으로 줄이면 28MB 수준의 배포 가능한 모델로 만들 수 있어요. 하지만 이 과정은 하나의 마법 기법이 아니라, 측정과 조합, 순서 설계의 결과입니다.

복습 질문

1. 모델 최적화의 목표가 단순히 모델 크기를 줄이는 것이 아닌 이유는 무엇인가요?
2. 연구 환경에서 좋은 모델이 모바일이나 엣지 장치에서 바로 쓰이기 어려운 이유를 설명해보세요.
3. 모델 표현 최적화, 수치 정밀도 최적화, 아키텍처 효율 최적화는 각각 무엇을 줄이거나 바꾸나요?
4. Unstructured pruning과 structured pruning의 차이는 무엇이며, 실제 속도 향상 관점에서는 어떤 차이가 있나요?
5. (\ell_0)-norm 기반 pruning 목표가 왜 직접 풀기 어려운지 설명해보세요.
6. Iterative pruning이 one-shot pruning보다 정확도 보존에 유리할 수 있는 이유는 무엇인가요?
7. Lottery Ticket Hypothesis가 pruning을 바라보는 관점을 어떻게 바꾸나요?
8. Knowledge distillation에서 hard label보다 soft target이 더 많은 정보를 줄 수 있는 이유는 무엇인가요?
9. Temperature (T)가 distillation에서 하는 역할을 설명해보세요.
10. Low-rank factorization에서 rank (k)를 너무 작게 또는 너무 크게 잡으면 각각 어떤 문제가 생기나요?
11. Tensor decomposition이 matrix factorization보다 필요한 상황은 어떤 경우인가요?
12. NAS를 직접 수행하는 것이 적합한 상황과 피해야 할 상황을 각각 말해보세요.
13. FP16과 BF16은 어떤 점에서 다르고, BF16이 학습 안정성에 유리할 수 있는 이유는 무엇인가요?
14. PTQ에서 calibration이 중요한 이유는 무엇인가요?
15. Symmetric calibration과 asymmetric calibration은 어떤 데이터 분포에서 각각 유리한가요?
16. QAT가 PTQ보다 정확도 보존에 유리할 수 있는 이유를 STE와 함께 설명해보세요.
17. Binary 또는 ternary quantization이 극단적 제약 환경에서 매력적이지만 어려운 이유는 무엇인가요?
18. FLOPs가 줄어도 실제 latency가 줄지 않을 수 있는 이유를 하드웨어 관점에서 설명해보세요.
19. Early exit와 conditional computation은 어떤 점에서 비슷하고 어떤 점에서 다른가요?
20. Dynamic computation이 실시간 시스템에서 위험할 수 있는 이유는 무엇인가요?
21. Sparsity가 실제 speedup으로 이어지기 위해 필요한 조건은 무엇인가요?
22. Block sparsity와 (N:M) sparsity가 하드웨어 친화적인 이유는 무엇인가요?
23. 최적화 전 profiling에서 memory, computation, latency, energy를 각각 측정해야 하는 이유는 무엇인가요?
24. Pruning, distillation, quantization을 조합할 때 순서가 중요한 이유는 무엇인가요?
25. AutoML이 사람의 전문성을 완전히 대체하지 못하는 이유는 무엇인가요?
26. Framework API와 hardware-specific library가 모델 최적화를 실무에서 가능하게 만드는 방식은 무엇인가요?
27. Quantization error histogram과 sparsity heat map은 각각 어떤 문제를 발견하는 데 도움이 되나요?
28. “parameter 수가 줄었으니 배포 성능도 반드시 좋아진다”는 말이 왜 위험한가요?
29. 원문의 BERT 최적화 흐름을 세 최적화 차원에 맞춰 다시 정리해보세요.
30. 자신이 스마트폰용 모델을 배포해야 한다면, 어떤 순서로 병목을 측정하고 최적화 기법을 선택할지 설명해보세요.