Basic

1. Machine Learning

규칙을 직접 쓰지 않고, 데이터로부터 규칙을 학습하는 방법

입력 → 출력 관계를 함수로 학습

성능은 일반화 능력으로 판단

1.1 Model

머신러닝에서 모델이란 입력을 출력으로 매핑하는 함수이다.

입력

예측 값 를 출력하는 함수

는 모델이 학습하는 파라미터

즉, 모델은 데이터의 패턴을 표현하는 수학적 함수이다.

1.2 Learning

학습이란, 파라미터 를 조정하여 더 나은 예측을 하도록 만드는 과정이다.

초기 파라미터에서 시작해

예측을 수행하고

예측이 얼마나 틀렸는지를 계산한 뒤

이를 바탕으로 파라미터를 반복적으로 업데이트 한다.

즉, 학습은 좋은 학습 파라미터를 찾는 과정이다.

1.3 Loss function

모델의 예측이 정답과 얼마나 다른지 수치로 표현한 함수이다.

예측이 틀릴수록 Loss는 커지고

예측이 맞을수록 Loss는 작아진다.

자주 사용되는 Loss 예시

회귀 문제 → MSE, MAE

분류 문제 → Cross-Entropy

추천 문제 → Binary Cross-Entorpy, Pairwise, Listwise Loss, Contrastive

즉, Loss Function은 문제 유형에 따라 달라지며, 추천 문제에서는 절대적인 예측값보다 상대적인 선호를 반영하는 Loss가 자주 사용된다

1.4 Gradient Descent

Loss Function을 최소화하기 위해 모델의 파라미터를 업데이트하는 방법이다.

Loss Function이 정의되면, 모델은 이 Loss를 줄이는 방향으로 진행한다.

현재 파라미터에서 Loss의 Gradient 계산 후 Learning Rate만큼 이동

종류

종류	특징	사용
Batch Gradient Descent	안정적이지만 계산 비용이 큼	소규모 데이터
Stochastic Gradient Descent (SGD)	빠르지만 노이즈가 큼	이론적 분석, 기본 개념
Mini-batch Gradient Descent	속도와 안정성의 균형	실무 표준
Adam	learning rate 자동 조절, 수렴 빠름	딥러닝 기본 optimizer

Batch → 전체 데이터를 사용해 정확한 gradient를 계산하지만 느리다.

SGD → 샘플 하나로 근사해 빠르지만 업데이트가 불안정하다.

Mini-batch → 작은 묶음 단위로 계산해 가장 실무적으로 사용된다.

Adam → Momentum과 adaptive learning rate를 결합한 방법으로, 딥러닝에서 기본값처럼 쓰인다.

1.5 Generalization & Overfitting

머신러닝의 궁극적인 목표는 훈련 데이터가 아니라 새로운 데이터에도 잘 작동하는 것이다. → 일반화

Overfitting → 훈련 데이터에는 잘 맞지만, 새로운 데이터에서는 성능이 떨어지는 상태 (노이즈도 학습)

Underfitting → 훈련 데이터조차 제대로 설명하지 못하는 상태

Bias → 모델이 너무 단순해서 생기는 상태

Variance → 데이터에 과도하게 민감해서 생기는 상태

즉, 일반화란 새로운 데이터에서도 성능을 유지하는 능력, overfitting은 이를 방해한다.

1.6 Metric

모델의 성능을 사람이 이해하기 쉽게 측정하는 지표이다.

학습 후에 평가에 사용

문제 목적에 맞게 방법 선택

Metric	의미	언제 중요한가	주의할 점
Accuracy	전체 예측 중 맞춘 비율	클래스가 균형적일 때	데이터 불균형에 매우 취약
Precision	양성이라고 예측한 것 중 실제 양성 비율	오탐(False Positive) 이 치명적일 때	재현율을 희생할 수 있음
Recall	실제 양성 중 맞춘 비율	미탐(False Negative) 이 치명적일 때	정밀도가 낮아질 수 있음
F1-score	Precision과 Recall의 조화 평균	불균형 데이터, 두 지표를 동시에 고려할 때	해석이 직관적이지 않을 수 있음
ROC-AUC	분류 임계값 전반에서의 성능	임계값에 독립적 비교가 필요할 때	실제 운영 임계값과 괴리 가능

Accuracy → “전체적으로 얼마나 맞췄나?”

Precision → “맞다고 한 것 중에 진짜는 얼마나 되나?” (스팸으로 잘못 걸면 안 될 때)

Recall → “진짜를 얼마나 놓치지 않았나?” (질병/사기 탐지처럼 놓치면 큰 문제)

F1-score → “Precision과 Recall을 균형 있게 보고 싶을 때”

ROC-AUC → “임계값 바꿔가며 모델 자체의 분리 능력을 보고 싶을 때”

추천/랭킹에 자주 쓰이는 Metrix

Metric	의미	언제 쓰는가	핵심 포인트
Precision@K	상위 K개 중 실제로 맞은 비율	추천 정확도가 중요할 때	순서는 고려 ❌
Recall@K	실제 정답 중 상위 K에 포함된 비율	놓치면 안 되는 아이템이 있을 때	K에 민감
Hit Rate@K	정답이 Top-K에 하나라도 있으면 성공	단순 추천 성공 여부	매우 거친 지표
MRR	정답이 처음 등장한 순위의 역수	검색/QA/단일 정답	첫 위치 중요
MAP	Precision의 평균	여러 정답 있을 때	순서 일부 반영
NDCG ⭐⭐⭐	순위 + 중요도 모두 반영	실무 최다 사용	위에 있을수록 가중치 큼