Basic

Concept

1. Machine Learning

규칙을 직접 쓰지 않고, 데이터로부터 규칙을 학습하는 방법

입력 → 출력 관계를 함수로 학습

성능은 일반화 능력으로 판단

1.1 Model

머신러닝에서 모델이란 입력을 출력으로 매핑하는 함수이다.

입력

예측 값 를 출력하는 함수

는 모델이 학습하는 파라미터

즉, 모델은 데이터의 패턴을 표현하는 수학적 함수이다.

1.2 Learning

학습이란, 파라미터 를 조정하여 더 나은 예측을 하도록 만드는 과정이다.

초기 파라미터에서 시작해

예측을 수행하고

예측이 얼마나 틀렸는지를 계산한 뒤

이를 바탕으로 파라미터를 반복적으로 업데이트 한다.

즉, 학습은 좋은 학습 파라미터를 찾는 과정이다.

1.3 Loss function

모델의 예측이 정답과 얼마나 다른지 수치로 표현한 함수이다.

예측이 틀릴수록 Loss는 커지고

예측이 맞을수록 Loss는 작아진다.

자주 사용되는 Loss 예시

회귀 문제 → MSE, MAE

분류 문제 → Cross-Entropy

추천 문제 → Binary Cross-Entorpy, Pairwise, Listwise Loss, Contrastive

즉, Loss Function은 문제 유형에 따라 달라지며, 추천 문제에서는 절대적인 예측값보다 상대적인 선호를 반영하는 Loss가 자주 사용된다

1.4 Gradient Descent

Loss Function을 최소화하기 위해 모델의 파라미터를 업데이트하는 방법이다.

Loss Function이 정의되면, 모델은 이 Loss를 줄이는 방향으로 진행한다.

현재 파라미터에서 Loss의 Gradient 계산 후 Learning Rate만큼 이동

종류

종류	특징	사용
Batch Gradient Descent	안정적이지만 계산 비용이 큼	소규모 데이터
Stochastic Gradient Descent (SGD)	빠르지만 노이즈가 큼	이론적 분석, 기본 개념
Mini-batch Gradient Descent	속도와 안정성의 균형	실무 표준
Adam	learning rate 자동 조절, 수렴 빠름	딥러닝 기본 optimizer

Batch → 전체 데이터를 사용해 정확한 gradient를 계산하지만 느리다.

SGD → 샘플 하나로 근사해 빠르지만 업데이트가 불안정하다.

Mini-batch → 작은 묶음 단위로 계산해 가장 실무적으로 사용된다.

Adam → Momentum과 adaptive learning rate를 결합한 방법으로, 딥러닝에서 기본값처럼 쓰인다.

1.5 Generalization & Overfitting

머신러닝의 궁극적인 목표는 훈련 데이터가 아니라 새로운 데이터에도 잘 작동하는 것이다. → 일반화

Overfitting → 훈련 데이터에는 잘 맞지만, 새로운 데이터에서는 성능이 떨어지는 상태 (노이즈도 학습)

Underfitting → 훈련 데이터조차 제대로 설명하지 못하는 상태

Bias → 모델이 너무 단순해서 생기는 상태

Variance → 데이터에 과도하게 민감해서 생기는 상태

즉, 일반화란 새로운 데이터에서도 성능을 유지하는 능력, overfitting은 이를 방해한다.

1.6 Metric

모델의 성능을 사람이 이해하기 쉽게 측정하는 지표이다.

학습 후에 평가에 사용

문제 목적에 맞게 방법 선택

Metric	의미	언제 중요한가	주의할 점
Accuracy	전체 예측 중 맞춘 비율	클래스가 균형적일 때	데이터 불균형에 매우 취약
Precision	양성이라고 예측한 것 중 실제 양성 비율	오탐(False Positive) 이 치명적일 때	재현율을 희생할 수 있음
Recall	실제 양성 중 맞춘 비율	미탐(False Negative) 이 치명적일 때	정밀도가 낮아질 수 있음
F1-score	Precision과 Recall의 조화 평균	불균형 데이터, 두 지표를 동시에 고려할 때	해석이 직관적이지 않을 수 있음
ROC-AUC	분류 임계값 전반에서의 성능	임계값에 독립적 비교가 필요할 때	실제 운영 임계값과 괴리 가능

Accuracy → “전체적으로 얼마나 맞췄나?”

Precision → “맞다고 한 것 중에 진짜는 얼마나 되나?” (스팸으로 잘못 걸면 안 될 때)

Recall → “진짜를 얼마나 놓치지 않았나?” (질병/사기 탐지처럼 놓치면 큰 문제)

F1-score → “Precision과 Recall을 균형 있게 보고 싶을 때”

ROC-AUC → “임계값 바꿔가며 모델 자체의 분리 능력을 보고 싶을 때”

추천/랭킹에 자주 쓰이는 Metrix

Metric	의미	언제 쓰는가	핵심 포인트
Precision@K	상위 K개 중 실제로 맞은 비율	추천 정확도가 중요할 때	순서는 고려 ❌
Recall@K	실제 정답 중 상위 K에 포함된 비율	놓치면 안 되는 아이템이 있을 때	K에 민감
Hit Rate@K	정답이 Top-K에 하나라도 있으면 성공	단순 추천 성공 여부	매우 거친 지표
MRR	정답이 처음 등장한 순위의 역수	검색/QA/단일 정답	첫 위치 중요
MAP	Precision의 평균	여러 정답 있을 때	순서 일부 반영
NDCG ⭐⭐⭐	순위 + 중요도 모두 반영	실무 최다 사용	위에 있을수록 가중치 큼

Model

Linear Regression

입력 변수와 출력 변수 사이의 관계를 선형 함수로 모델링하는 회귀 모델

언제 쓰는가?

예측 대상이 연속값일 때

관계가 비교적 단순하다고 가정할 때

장점

구조가 단순하고 학습 속도가 빠르다

feature 영향력을 해석할 수 있다

단점

비선형 관계를 표현하지 못한다

Outlier에 민감하다

Logistic Regression

입력 변수와 출력 변수 사이의 관계를 확률로 모델링하는 분류 모델

언제 쓰는가?

예측 대상이 이진 분류일 때

결과를 확률로 해석하고 싶을 때

핵심 아이디어

Linear Regression처럼 선형 결합을 만든다

결과를 Sigmoid 함수로 변환

출력값을 0~1 사이로 해석

장점

출력이 확률이어서 해석이 쉬움

학습이 빠르고 안정적

feature 영향력(계수 해석)이 가능하다

단점

선형 결정 경계만 표현 가능

복잡한 패턴에는 한계가 있다

outlier나 feature 스케일에 민감

k-NN

입력 데이터와 가장 가까운 k개의 이웃을 기준으로 예측하는 모델

언제 쓰는가?

데이터가 비교적 적을 때

복잡한 패턴을 암묵적으로 반영하고 싶을 때

빠른 베이스라인이 필요할 때

핵심 아이디어

모델을 학습하지 않고, 예측 시점에서 가장 가까운 이웃을 찾는다

학습 없이 거리 기반으로 예측

Lazy Learning Model

장점

구현이 단순

비선형 관계를 자연스럽게 반영

별도의 학습 과정이 없다.

단점

예측이 느리다 (모든 데이터와 거리 계산)

데이터가 커질수록 성능 저하

Feature 스케일에 민감

해석이 어려움

Decision Tree

입력 데이터를 조건 분기 형태로 나누어 결과를 예측하는 트리 구조의 모델

언제 쓰는가?

입력과 출력 관계가 비선형일 때

feature간의 상호작용이 중요할 때

모델 설명 가능성이 필요할 때

전처리를 최소화하고 싶을 때

핵심 아이디어

데이터를 가장 잘 나눌 수 있는 featuredhk 기준값을 선택

분기를 반복하며 불순도 줄이기

리프 노드에서 최종 예측

질문을 계속 던지며 데이터를 쪼개는 모델

장점

비선형 관계를 자연스럽게 표현

feature 스케일링 불필요

해석이 직관적

전처리 부담이 적음

단점

Overfitting에 매우 취약

작은 데이터 변화에도 구조가 크게 변함

단일 트리 성능은 한계가 있다.

Random Forest

XGBoost

Basic

1. Machine Learning

1.1 Model

1.2 Learning

1.3 Loss function

1.4 Gradient Descent

1.5 Generalization & Overfitting

1.6 Metric

1. Linear Regression

2. Logistic Regression