학습 자료

MLOps 와 비용 — 배포 · 관리, 그리고 토큰 · GPU 값


Article

21강은 이미 학습된 모델을 서비스로 만드는 법을, 22강은 그 모델이 배우는 데이터가 오는 길을 봤다. 두 강의 다 한 번 하고 끝나는 일처럼 보였을 수 있다. 실제로는 아니다. 데이터는 계속 바뀌고, 세상도 계속 바뀌고, 모델은 그때마다 다시 손봐야 한다. 이 순환을 관리하는 일 전체에 MLOps라는 이름이 붙어 있다.

배포는 끝이 아니라 시작이다

일반 소프트웨어는 버그를 고치면 대개 그걸로 끝난다. 모델은 다르다. 코드가 그대로여도 성능이 저절로 떨어질 수 있다.

그래서 모델은 한 번 배포하고 방치하는 게 아니라, 계속 지켜보고 다시 손봐야 한다. 이 순환을 그림으로 본다.

MLOps 순환 고리
  1. 데이터 파이프라인22강 — 수집 · 정제 · 라벨링
  2. 학습11강의 경사하강으로 가중치를 만든다
  3. 배포 (서빙)21강 — API 로 실제 서비스에 올린다
  4. 모니터링응답 품질 · 지연시간 · 드리프트 징후를 계속 지켜본다
  5. 재학습 · 재배포성능이 떨어지면 새 데이터로 다시 학습해 교체한다
화살표는 마지막에서 다시 처음으로 돌아간다. 한 바퀴 돌고 끝나는 직선이 아니라 계속 도는 고리다.

이 고리 전체를 사람이 매번 손으로 돌리면 감당이 안 된다. 그래서 일반 소프트웨어 개발에서 빌드 · 테스트 · 배포를 자동화하는 DevOps의 개념을, 모델의 학습 · 배포 · 모니터링에 맞춰 확장한 것이 MLOps다.

DevOps vs MLOps

DevOps

코드 중심

  • 코드를 고치고, 테스트하고, 배포한다
  • 코드가 그대로면 동작도 그대로다
  • 버전 관리 대상은 코드다

MLOps

코드 + 데이터 + 모델

  • 코드뿐 아니라 데이터와 학습된 가중치도 함께 관리한다
  • 코드가 그대로여도 데이터 드리프트로 성능이 떨어질 수 있다
  • 버전 관리 대상이 코드 · 데이터셋 · 모델 세 가지다
MLOps 가 DevOps 를 대체하는 게 아니라, 그 위에 데이터와 모델이라는 두 축을 더 얹은 것이다.

이 모든 과정에 돈이 든다

지금까지 본 흐름 각 단계마다 비용이 걸려 있다. 실제 요금은 시점·업체마다 계속 바뀌므로 여기서는 어디서 돈이 드는지 구조만 짚는다.

비용이 발생하는 지점
단계무엇에 돈이 드나
학습GPU 를 며칠~몇 달 대량으로 돌리는 비용. 11강에서 본 그 과정이 통째로 GPU 시간이다
서빙 (추론)21강의 API 호출마다 드는 비용. 대개 주고받은 토큰 수에 비례해 청구된다
저장학습 데이터, 벡터DB(19강), 모델 가중치 파일을 보관하는 비용
모니터링 · 재학습드리프트를 감지하는 시스템, 그리고 재학습을 다시 돌릴 때의 학습 비용
직접 모델을 학습시키는 비용은 대개 서빙(API 호출) 비용보다 훨씬 크다. 그래서 많은 회사가 밑바닥부터 학습시키지 않고, 14강의 파인튜닝이나 17~20강의 RAG 로 기존 모델을 활용하는 쪽을 택한다.

토큰 단위로 요금이 매겨진다는 게 이 편에서 처음 나온 개념은 아니다. 12강에서 LLM 이 토큰 단위로 다음 단어를 잇는다고 했다. API 요금도 대개 그 토큰 개수를 기준으로 매겨진다 — 질문이 길수록, 답이 길수록 비용도 늘어난다. 21강의 지연시간·처리량과 이 비용은 대개 맞물려 있다. 더 빠르고 더 많이 처리하려면 더 좋은 GPU 가 필요하고, 그만큼 비용도 오른다.

정리하면

모델은 배포로 끝나지 않는다. 데이터 드리프트로 성능이 조금씩 떨어질 수 있어, 학습 · 배포 · 모니터링 · 재학습이 하나의 순환 고리로 계속 돈다. 이 고리를 자동화해서 관리하는 일이 MLOps 이고, 학습 · 서빙 · 저장 각 단계마다 비용이 걸려 있다.

다시 짚어보기
  1. 01

    모델은 배포한 순간부터 데이터 드리프트로 낡기 시작한다

    코드가 그대로여도 세상이 바뀌면 판단이 어긋난다.

  2. 02

    MLOps 는 데이터 파이프라인 → 학습 → 배포 → 모니터링 → 재학습의 순환 고리다

    22강 데이터, 11강 학습, 21강 서빙을 하나로 잇는 이름이다.

  3. 03

    MLOps 는 DevOps 에 데이터와 모델이라는 두 축을 더한 것이다

    버전 관리 대상이 코드뿐 아니라 데이터셋 · 가중치까지 늘어난다.

  4. 04

    비용은 학습 · 서빙 · 저장 · 재학습 전 단계에 걸쳐 있다

    서빙 비용은 대개 토큰 수에 비례한다. 12강의 토큰이 여기서 돈으로 이어진다.

Part 6이 끝났다. 이미 학습된 모델을 서비스로 만드는 법(21강)에서 시작해, 그 모델이 배우는 데이터가 오는 길(22강), 그리고 이 둘을 감싸는 순환 고리와 비용(23강)까지 왔다.

이제 지도(13부)와 기술(46부)은 다 그렸다. 마지막 7부에서는 이 모든 개념이 채용공고 위에서 어떤 이름의 직무로 나뉘는지 정리하고, 4강에서 던져둔 그 채용공고를 다시 꺼내 한 줄씩 해독한다.