숭어 개발 블로그

[머신러닝] 선형 분류 모델 본문

Machine Learning/선형 분류

[머신러닝] 선형 분류 모델

숭어싸만코 2022. 9. 21. 15:31

 

# 양성클래스 :

모델링 한 사람이 관심을 가지는 클래스

ex) 생존여부 -> 생존


# 음성 클래스 :

관심이 없는 클래스

 

 


 

# 회귀 : 데이터 집단에서 최적의 직선을 찾음                 # 분류: 데이터를 구분하는 경계선의 역할   

                                                                                                    분류 = 왼쪽 : 양성클래스  /  오른쪽 : 음성클래스



Logistic Regression

  • 직선에 비해 곡선이 분류하기에 더 적합하다.
  • S자 형태 곡선 - Sigmoid Function ( Logistic Function )  ==>이 함수를 통해 S자 형태 곡선으로 수정
  • 0~ 1 사이의 값으로 변환된다.
  • Sigmoid가 0.5이상: 양성클래스 / 0.5 이하면 : 음성클래스  ==> x값이 0이면 0.5


SVM ( Support Vector Machine )

# SVM의 목표:  집단의 최 말단으로부터 떨어질 수 있도록 위치

# 1번 , 3번 선 : 데이터들이 경계선과 밀접하게 위치, 약간의 데이터 변화로도 경계선을 넘어갈 확률이 높아짐

# 2번 선 : 약간의 변화가 있더라도 경계선으로부터 비교적 안전 ( 양쪽의 그룹으로 부터 거리가 떨어져있음)

# 두집단으로부터 충분히 떨어져있는 경계선을 찾는게 SVM

 

경사하강법(gradient descent)

-  y = Wx + b

- 초기에는 가중치 ( W ) 와 절편 ( b ) 랜덤값으로 입력 

-  예측값과 실제값의 차이를 알아본다. ==> 선형 회귀모델은 평균 제곱오차(MSE)를 토대로 W와 b를 수정

- loss function : 손실함수  ==> MSE(회귀) , CrossEntropy(분류) 등등...

- optimizer : 최적화 시켜주는 알고리즘 (ex>경사하강법) == > W 와 b를 최적화  


< epoch >

epoch 가 10이라면

초기값 입력 => 실제값과 비교 => loss function을 통해 오차 파악 => W와 b수정 => 10번 반복

 

Cross Entropy


오차 정도를 알려주는 공식

Comments