딥러닝의 새로운 지평: 초심자를 위한 Low-Rank Adaptation (LoRA) 완벽 가이드 1편

서론: 거대 인공지능 시대의 새로운 패러다임

 

현대 인공지능(AI) 기술은 초거대 언어 모델(Large Language Models, LLMs)의 등장으로 전례 없는 변혁을 맞이하고 있습니다. 수천억 개에 달하는 파라미터(parameter)와 인터넷 규모의 데이터를 학습한 이 모델들은 인간의 언어를 이해하고 생성하는 능력에서 놀라운 범용성을 보여줍니다.1 하지만 이러한 범용성은 양날의 검과 같습니다. 사전 훈련된(pre-trained) 모델은 일반적인 지식의 보고(寶庫)이지만, 특정 전문 분야나 고유한 작업(specific tasks)에 대해서는 최적화되어 있지 않습니다.2

예를 들어, 인터넷의 방대한 텍스트로 학습한 범용 챗봇은 일상적인 대화에는 능숙하지만, 의료 차트를 분석하거나 법률 문서를 작성하는 등의 전문적인 임무를 정확하게 수행하기는 어렵습니다. 바로 이 지점에서 모델을 특정 목적에 맞게 '적응'시키는 과정, 즉 **미세조정(fine-tuning)**의 중요성이 대두됩니다.2 미세조정은 이미 학습된 범용 모델을 특정 도메인의 데이터로 추가 학습시켜, 해당 분야의 전문가로 탈바꿈시키는 과정입니다.4

그러나 이 과정은 거대한 모델의 모든 파라미터를 다시 훈련해야 하므로 막대한 계산 자원과 비용을 수반하는, 그야말로 '거인의 어깨를 움직이는' 것과 같은 힘겨운 작업이었습니다. 이 거대한 장벽을 허물고 AI 기술의 민주화를 이끈 혁신적인 기술이 바로 Low-Rank Adaptation, 줄여서 LoRA입니다.5 이 보고서는 LoRA가 무엇이며, 어떤 문제를 해결하고, 어떻게 작동하는지, 그리고 AI 생태계에 어떤 변화를 가져왔는지에 대해 초심자도 이해할 수 있도록 단계별로 깊이 있게 탐구할 것입니다.

 

제1장: 현대 AI의 딜레마 - 거대 모델 미세조정의 엄청난 비용

 

LoRA의 혁신성을 이해하기 위해서는 먼저 그것이 해결하고자 하는 문제의 심각성을 명확히 인지해야 합니다. 그 문제는 바로 전체 미세조정(full fine-tuning) 방식이 수반하는 엄청난 비용입니다.

 

전체 미세조정 (Full Fine-Tuning)의 본질과 한계

 

전체 미세조정은 사전 훈련된 모델의 수십억, 수천억 개에 달하는 모든 파라미터를 새로운 작업에 특화된 데이터셋으로 다시 훈련시키는 전통적인 접근법입니다.2 이 방식은 모델의 성능을 극대화할 수 있다는 장점이 있지만, 현대의 거대 모델에 적용하기에는 몇 가지 치명적인 단점을 안고 있습니다.

 

계산 비용 (Computational Cost)

 

가장 큰 문제는 천문학적인 계산 비용입니다. 예를 들어, 1750억 개의 파라미터를 가진 GPT-3 모델을 전체 미세조정하려면, 이 1750억 개 파라미터 전부를 대상으로 그래디언트를 계산하고 가중치를 업데이트하는 과정을 수없이 반복해야 합니다.5 이는 최고 사양의 GPU 수십, 수백 대를 몇 주 혹은 몇 달 동안 가동해야 하는 작업으로, 소수의 거대 기업 외에는 감당하기 어려운 수준의 비용을 발생시킵니다.8

 

메모리 요구량 (Memory Requirements)

 

초보자들이 간과하기 쉬운, 그러나 실제로는 더 심각한 문제가 바로 메모리 요구량입니다. 모델을 훈련시키기 위해 필요한 GPU 메모리는 단순히 모델의 파라미터를 저장하는 공간만으로 끝나지 않습니다. 훈련 과정에서는 다음과 같은 추가적인 요소들이 모두 메모리에 상주해야 합니다 2:

• 모델 가중치 (Model Weights): 모델 자체의 파라미터.
• 그래디언트 (Gradients): 각 파라미터가 손실(error)에 얼마나 기여했는지를 나타내는 값으로, 가중치 업데이트에 필수적입니다. 파라미터 수와 동일한 양의 메모리를 차지합니다.
• 옵티마이저 상태 (Optimizer States): Adam과 같은 현대적인 옵티마이저는 훈련을 안정화하고 가속하기 위해 과거 그래디언트의 이동 평균(momentum)과 같은 추가적인 상태 값을 저장합니다. 이는 파라미터 수의 2배에 달하는 메모리를 추가로 요구할 수 있습니다.
• 순방향 활성화 (Forward Activations): 역전파(backpropagation) 과정에서 그래디언트를 계산하기 위해 순방향 패스에서 계산된 중간 값들을 저장해야 합니다. 모델의 깊이와 배치 크기에 따라 이 또한 막대한 메모리를 차지합니다.

이러한 "숨겨진 비용" 때문에 실제 훈련에 필요한 메모리는 모델 파일 크기의 몇 배에 달합니다. 구체적으로, 10억 개의 파라미터를 가진 모델을 32비트 부동소수점 정밀도(full floating-point precision)로 전체 미세조정하는 데 GPU당 약 24GB의 고대역폭 메모리(High Bandwidth Memory, HBM)가 필요하다는 분석도 있습니다.8 이는 일반적인 소비자용 하드웨어로는 시도조차 불가능한 수준이며 2, "모델을 로드할 수 있는 GPU"와 "모델을 훈련시킬 수 있는 GPU"는 완전히 다른 차원의 개념이라는 것을 의미합니다.

 

저장 공간 및 배포 문제 (Storage and Deployment Issues)

 

비용 문제는 훈련 단계에서 끝나지 않습니다. 만약 10개의 다른 작업에 대해 모델을 미세조정했다면, 175B GPT-3 모델의 경우 수백 GB에 달하는 모델 파일 10개를 각각 저장하고 관리해야 합니다.7 이는 막대한 저장 공간을 낭비할 뿐만 아니라, 여러 작업을 동시에 서비스해야 하는 실제 환경에서 각 모델을 메모리에 올리고 내리는 과정(task-switching)을 매우 비효율적으로 만듭니다.

이러한 기술적 장벽은 단순히 불편함을 넘어, AI 기술의 발전을 저해하는 경제적, 환경적 장벽으로 작용합니다. 막대한 비용은 AI 연구와 개발의 기회를 소수의 거대 자본에 집중시키고, 이는 기술의 민주화를 막고 혁신의 다양성을 감소시킬 수 있습니다. 따라서 더 적은 자원으로, 더 효율적으로 거대 모델을 활용할 수 있는 새로운 방법론의 등장은 단순한 기술적 진보를 넘어 AI 생태계의 지속 가능성과 포용성을 높이기 위한 시대적 요구였습니다. 이 절실한 필요에 대한 해답이 바로 다음에 소개할 파라미터 효율적 미세조정(PEFT)이며, 그 중심에 LoRA가 있습니다.