평가 방법 정리 ( measure )

True Positive : 실제로 Positive 인 것을 Positive로 인식한 개수 (잘된 긍정)

True Negative : 실제로 Negative 인 것을 Negative로 인식한 개수 (잘된 부정)

False Positive : 실제 Negative 인 것을 Positive로 인식한 개수 ( 잘못된 긍정)

False Negative : 실제 Positive 인 것을 Negative로 인식한 개수 (잘못된 부정)

1. 다중 클래스 ( Multi-Class Classification )

1) Precision1 =  TP1 / (TP1 + FP1) --> 클래스1에 대해 Positive로 인식한 것들 중 실제 Positive의 비율

2) Precision2 =  TP2 / (TP2 + FP2) --> 클래스2에 대해 Positive로 인식한 것들 중 실제 Positive의 비율

3) Recall1 =  TP1 / (TP1 + FN1) --> 클래스1에 대해 실제 Positive들 중 인식된 Positive의 비율

4) Recall2 =  TP2 / (TP2 + FN2) --> 클래스2에 대해 실제 Positive들 중 인식된 Positive의 비율

- Micro-average Precision, Micro-average Recall

다중 클래스 문제에서, 정확도와 재현율을 계산할 때 사용

위와 같이 클래스 별로, TP, FP를 각각 구하고, 다음을 계산

(TP1 + TP2) / ( TP1 + FP1 + TP2 + FP2 ) --> Micro-average Precision 

(TP1 + TP2) / ( TP1 + TP2 + FN1 + FN2 ) --> Micro-average Precision 

- Macro-average Precision, Macro-average Recall

다중 클래스 문제에서, 정확도와 재현율을 계산할 때 사용

클래스 별로, Precision과 recall을 각각 구하고, 다음을 계산

(Precision1 + Precision2)/2 -> 각 클래스 별 Precision의 평균

(Recall1 + Recall2)/2 -> 각 클래스 별 Precision의 평균

참고 : http://rushdishams.blogspot.kr/2011/08/micro-and-macro-average-of-precision.html

2. 이진 분류 ( Binary Classification )

1) receiver operating characteristic (ROC), or ROC curve

2) Accuracy

- ( TP + TN )/ (TP+TN+FP +FN) -> 전체 샘플 중 제대로 맞힌 비율