반응형

F-measure




F-measure란 classifier가 얼마나 정확하게 분류를 하는가를 판단하는 척도 중에 하나이다.

F-measure의 계산을 위해서는 precision과 recall을 구해야 한다.

precision (정확도)

- precision은 positive predictive value (PPV) 라고도 불리며 true positive / total positive 를 의미한다. 즉 양성이라고 판단한 전체 중에 진짜 양성의 비율이다.
- 즉 양성이라고 판단을 했다면 그 판단이 얼마나 정확한 지를 수치화하는 지표이다.

recall (재현율)

- recall은 sensitivity와 동일한 의미를 가진다. ture positive / real positive로 진짜 양성 중에 양성이라고 올바르게 판단내린 비율을 말한다.
- 재현율은 얼마나 대상을 빠트리지 않고 잡아내는지를 나타낸다. 다시 말해서 전체 데이터(대충 1000개라고 치자)에서 찾고자하는 A가 100개가 있는데 내가 정답이라고 생각한 것 300개를 골라냈는데 그 중에 A가 80개 존재했다고 하자.  내가 정답으로 골라낸 것이 몇 개인지 상관없이 재현율을 80%(80/100)라고 한다. 찾은 데이터가 진짜인지 여부는 위의 정확도에서 계산하게 될 것이기 때문이다.

결과적으로 재현율과 정확도가 모두 높다면 원하는 정답을 100% 찾을 수 있겠지만 
재현율만 높다면 정답이라고 생각되는 부분을 많이 찾겠지만 대부분이 오답일 것이고, 
정확도만 높다면 정답를 찾았다고 하는 개수가 몇 개 안되겠지만 적어도 그 부분들에 한해서는 대부분이 정답일 것이다.

헷갈리는 부분이 있다면 아래 포스팅을 참고하자.


2018/07/11 - [bioinformatics] - 민감도와 특이도



두 값을 모두 구했다면 F값을 계산하면 된다.


F = 2 * ( precision * recall / precision + recall ) 


위의 값대로 계산하면 precision과 recall의 조화평균을 구할 수 있다.


precision과 recall등은 파라미터 등에 의해 조절될 수 있기 때문에 ROC 커브를 그려서 프로그램의 전반적인 성능을 테스트 할 수도 있다. 


이 부분에 대해서는 추후에 다루도록 하겠다.


source -

https://en.wikipedia.org/wiki/F1_score

https://en.wikipedia.org/wiki/Precision_and_recall

반응형
저작자표시 비영리 변경금지

'Data Science > statistics' 카테고리의 다른 글

Multiple Comparsion Problem  (1) 2018.07.11
민감도와 특이도  (0) 2018.07.11
반응형

Multiple Comparison Problem




다중비교문제는 대량의 데이터를 통계적으로 유의미한지를 분석하고 싶을 때 쓰인다.

특히나 임상문제를 다룰 때, 특정 약물 A를 처방했을 때 효과가 있는지 없는지를 알고싶다면 약물 처방한 a그룹과 대조군 b그룹 두 집단 사이의 변화가 일어나는 정도를 보고 무위가설을 세운 후 기각당하는지 여부를 가지고서 약물 A가 실제로 효과가 있는지 없는지 여부를 판단하게 될 것이다. 

하지만 비교 집단의 수가 늘어난다면 (예를 들어 약물 농도의 변화나 시간의 변화에 따른 비교 등) 모든 집단간의 비교 결과가 필요하게 되는 것이다. (a와 b집단간의 p-value가 0.05보다 낮다고 해도 b와 c, a와 c집단간의 p-value도 모두 고려해야 유의미한지 여부를 말할 수 있기 때문이다.)


여기에서 적용할 수 있는 p-value가 크게 두 종류가 있는데 Familywise error rate와 False discover rate이다.


Familywise error rate

- 1형 오류를 보정할 수 있는 방법이다. 여러가지 방법이 있지만 가장 많이 쓰이는 방법은 Bonferroni procedure이다. p-value의 임계점을 0.05로 두었을 때 실험이 N번 반복된다면 모든 p-value는 0.05/N 의 값을 가질 때 significant한다고 말할 수 있다. 만약 실험이 10번 반복되어야 한다면 p-value cutoff는 0.005를 가져야 한다.
매우 엄격한 방법이지만 계산이 간단하기 때문에 많이 사용된다.


False discover rate 

- False discovery rate(FDR)는 다중 비교에서 무위가설에서의 1형 오류처럼 적용할 수 있는 검정방법으로 false positive에 total positive를 나눈 비율을 의미한다. Bonferroni correction과 마찬가지로 GWAS분석에 많이 활용되고 있는 통계방법이며 훨씬 덜 엄격한 방법을 채택하고 있다. Benjamini와 Hochberg가 개발하였기 때문에 Benjamini-Hochberg procedure라고도 불린다.


False Discovery Rate = False positive / total positive


- p-value값을 가장 큰 것부터 가장 작은 것 순서로 나열하고 유의 수준 α=0.05k/N 공식을 이용하여 순차적으로 검정한다. 이 분석 방법은 순차적으로 p-value의 값을 줄여감으로써 통계적 파워가 적게 감소하게 되는 장점을 가진다. 



Familywise error rate vs False discover rate

- Benjamini-Hochberg 방법을 Bonferroni correction과 비교해 보면 Bonferroni correction은 검사 개수(N)가 증가할수록 p-value cutoff가 급격히 감소하여 많은 true positive라 하더라도 p-value에서 필터링 되어 결과가 유의하지 않게 나타날 수 있다. 그러나 FDR 방법은 검사 개수(N)가 증가하더라도 Bonferroni correction보다 p-value의 감소가 완만하여 true positive가 제거되는 비율이 낮아지는 장점을 가지고 있다.

- High-throughput techonology가 발달함에 따라 대량의 데이터들이 생산되기 시작했고 이러한 N의 증가를 보정해주기위하여 FDR방법이 많이 쓰이기 시작했다.

- familywise error rate는 비교 그룹 사이에서 어떤 변수들이 동일하게 분포되어 있다고 가정할 때 특정하게 다른 부분을 찾아낸 p-value가 5% 미만일때 신뢰할만하다는 뜻이다.

- False discover rate는 100개의 테스트가 양성으로 나왔을 때 5%의 FDR값을 가진다면 평균적으로 5개의 test는 false positive라는 뜻이다.


conclusion

- 대량의 N 비교를 하지 않을때는 두 방식의 결과는 비슷하다. 하지만 N이 많아지면 Bonferroni는 false negative, 즉 놓치는 부분이 생겨날 것이다. 하지만 Benjamini-Hochberg는 false positive로 잘못된 결과를 보여 줄 것이다.


- 다중비교의 최종 목적은 false positive를 줄이는 것이다. false positive가 포함되어 있는 결과는 해석이 정확하지 않을 수 있기 때문이다. 하지만 반대로 다중 비교의 엄격한 기준 때문에 false negative가 생긴다면 그것도 문제일 것이다. 예를 들어 P-value는 0.013이지만 다중비교의 p-value 계산에서는 signifcant하지 않게 나올 수 있다. p-value를 계산할 때는 분석 방향에 따라 이러한 결과들을 신중하게 다룰 필요가 있다. 그렇지 않으면 중요한 발견을 놓칠 수도 있다. 


- 두 비교 방법은 같은 비교를 할 때 쓰이는 방법이 아니기 때문에 어디에 초점을 주었느냐에 따라 어떤 방식을 쓸 지 결정해야 한다.



Reference -

http://www.biostathandbook.com/multiplecomparisons.html

https://en.wikipedia.org/wiki/False_discovery_rate

https://en.wikipedia.org/wiki/Family-wise_error_rate#Controlling_procedures

반응형
저작자표시 비영리 변경금지

'Data Science > statistics' 카테고리의 다른 글

F-measure  (1) 2018.07.20
민감도와 특이도  (0) 2018.07.11
반응형

민감도와 특이도



민감도와 특이도는 분류 능력이 어느 정도 되는지 성능을 측정할 때 쓰이는 단위다. 
이미 답을 알고 있는 상황에서 어떤 방법으로 접근했을 때 정답을 얼마나 잘 찾아내는지를 수치화할 수 있으며 여러 방법의 민감도와 특이도를 측정하여 더 우수한지 비교에 사용된다.

민감도와 특이도를 구분하기 위해서는 우선 아래의 테이블을 해석할 수 있어야 한다.


참 거짓을 분류해 내야하는 이분법적인 분류에서, 

해당 문제의 진짜 참, 거짓 여부는 True condition이 되며 (이 부분에서 정답을 알고 있어야 한다)

어떤 방법이 분류한 참, 거짓이 Predicted condition이 된다. 


즉 진짜 정답과 어떤 방법이 도출해낸 답이 나오게 되는데 이를 true, false와 positive, negative로 분리해서 표현한다. 


예를 들어 환자가 진찰을 받으러 왔다고 가정하자. 여기서 의사 또는 컴퓨터가 환자를 진찰한 뒤 암에 걸렸는지 걸리지 않았는지를 판단할 것이다. 그리고 진단 결과와는 별도로 환자는 진짜 암에 걸렸을 수도 안 걸렸을 수도 있다. 


이를 4단계로 분류할 수 있다.


1. 정말로 암에 걸린 환자를 진단결과 암 환자라고 판단 내렸다. (true positive)

2. 암에 걸리지 않은 환자를 진단결과 암 환자라고 판단 내렸다. (false positive)

3. 정말로 암에 걸린 환자를 진단결과 암 환자가 아니라고 판단 내렸다. (false negative)

4. 암에 걸리지 않은 환자를 진단결과 암 환자가 아니라고 판단 내렸다. (true negative)


쉽게 이해하는 법은 진단결과에 따라 병에 걸렸으면 positive와 걸리지 않았으면 negative로 구분하고 그 진단결과가 실제와 일치하면 true 일치하지 않으면 false를 앞에 붙이면 된다.


당연하게도 위의 분류방법을 적용하려면 환자가 진짜 암에 걸렸는지를 알고 있어야 한다. 이를 golden standard set이라고 표현하며 믿을만한 정답이 있어야지만 위의 테이블을 적용할 수 있다.




위의 4단계로는 단순히 case의 숫자가 다를 때는 성능을 비교하기 어렵다. 따라서 얼마나 true와 false를 잘 구분하는지를 나타내는 지표로 민감도(sensitivity)와 특이도(specificity)를 사용한다. (FNR과 FPR은 특정 상황에서만 사용된다)
 

민감도 (Sensitivity)

- 민감도는 (true positive / real positive)로서 진짜 환자 중에 진단 결과 환자라고 나온 사람의 비율을 말한다. 즉 100명의 사람 중에 50명이 진짜 질병에 걸린 환자인데 그중에 40명만이 환자라고 진단 내렸다면 40/50으로 80이 된다.

특이도 (Specificity)

- 특이도는 (true negative / real negative)로서 진짜 환자가 아닌 사람 중에 진단 결과 환자가 아니라고 나온 사람의 비율을 말한다. 즉 100명의 사람중에 50명이 질병에 걸리지 않았는데 그중에 10명이 질병에 걸리지 않았다는 결과를 받았다면 10/50으로 20이 된다.


잘 만든 분류 방법이라면 민감도와 특이도가 모두 높겠지만 조금이라도 헷갈리는 부분을 모두 positive로 분류하는 방법이 있다면 민감도는 높을지라도 특이도가 매우 낮아지게 된다. 즉 두 수치 모두 중요하다.


임상 치료에서는 Sensitivity가 높은 방법에 더 중점을 둔다. 정상인을 환자라고 판단하고 (false positive) 치료에 들어간다고 해서 당장 문제가 생기는 건 아니지만 (특이도가 낮으면 생길 수 있는 현상) 환자를 정상인이라고 판단하면 (false negative) (민감도가 낮으면 생길 수 있는 상황) 치료를 해야 하는 시기를 놓칠 수 있고 치명적일 수 있기 때문이다. 그래서 환자를 환자라고 진단하는 것이 더 중요하다.

Reference -

https://en.wikipedia.org/wiki/Sensitivity_and_specificity


반응형
저작자표시 비영리 변경금지

'Data Science > statistics' 카테고리의 다른 글

F-measure  (1) 2018.07.20
Multiple Comparsion Problem  (1) 2018.07.11

+ Recent posts

티스토리툴바