분류기에 대한 생각들...

분류기들 중에 수학적으로 가장 최적은 svm이다.

svm은 마진을 최대로 하는 초평면을 찾는 방법으로, 당연히 각 클래스별로 마진을 크게 하니, 최적일 수 밖에 없다.

헌데, 정말 실제로도 최적일까.

한가지 고려해야할 사항이 있다. 바로 사전 확률이다.

예를 들어 우리나라의 경우, 비오는 날보다 비가 오지 않는 날이 많다. 따라서 단순하게 내일 날씨는 비가 오지 않는다라고

결정해도, 분류기의 성능은 아마 50% 이상일 것이다.

따라서 사전 확률은 매우 중요하다고 생각된다.

그렇다면 svm은 어디에 사용해야 될까.

본인 생각은 사전 확률이 같은 분류에 사용하면 좋은 성능을 낼 것이다라고 생각한다.

예를들면, 나비와 꽃을 분류하는 문제, 카테고리 나누기 등등의 문제에 적용하면 당연히 좋은 결과를 얻을 것이다.

하지만, 사람과 사람이 아닌 것을 찾는 문제는 다르다. 일반적으로 영상안에 사람이 많을까? 아니면 다른 것들이 많을까.

이러한 이유로 객체와 객체가 아닌 것을 분류하는 문제는 svm은 적합하지 않다고 본다.

그렇다면 어떻게 해야하는가.

당연히 객체 즉, 포지티브 쪽에 좀 더 큰 가중치를 주어 초평면이 포지티브 샘플로 접근해야 한다고 생각한다.

 

 

이러한 생각들로, 요즈음 부스팅을 좀 개선하는 작업을 하고 있다.