Bias & Fairness

Overview

Bias(편향)는 표본 수집, 기록된 라벨, 입력 선택, 평가 방식에서 생길 수 있다. Adult의 한 집단 학습 표본을 줄여 같은 평가 집합에서 변화를 본다.

기호: A는 원본 sex 열의 집단, Y는 소득 >50K 여부다. 이 역사적 이진 기록은 현재의 정체성 전체를 나타내지 않는다.

Concept

Adult는 1994년 미국 인구조사 유래 자료다. 건설 데이터가 아니다. 원본 48,842행에서 시드 고정으로 6,000행을 추출했다. 표본은 현재 사회의 공정한 판단 기준을 정의하지 않는다.

Female 표본 유지 비율은 학습 데이터에만 적용한다. 전체 정확도는 큰 집단의 결과에 가려 작은 집단의 악화를 놓칠 수 있으므로 집단별 분모와 정확도를 함께 본다.

sex를 입력에서 빼도 marital-status나 relationship 같은 대리 정보가 남는다. 상관 표는 일부 수치 입력의 Pearson 상관만 보여 주며 모든 대리 정보의 검출기가 아니다. 모델은 비교가 명확한 logistic regression으로 브라우저에서 학습한다.

Summary

• 표본·라벨·입력에서 편향이 생길 수 있다.
• 큰 집단의 성능이 전체 수치를 지배할 수 있다.
• 민감 입력 제거만으로 공정성을 보장하지 않는다.
• 역사적 데이터의 한계를 함께 읽는다.

Notation

References

1. Becker & Kohavi (1996). Adult. UCI Machine Learning Repository. CC BY 4.0.
2. Kamiran & Calders (2012). Data preprocessing techniques for classification without discrimination.

Overview

공정성 지표는 서로 다른 질문에 답한다. 선정 비율이 같은지, 정답을 조건으로 오류율이 같은지, 예측 확률의 의미가 같은지를 나눠 살핀다.

기호: Ŷ는 기준값으로 판정한 결과, TP·FP·TN·FN은 혼동행렬의 네 칸이다.

Concept

Demographic Parity(선정률 동등성)는 집단별 P(Ŷ=1)을 비교한다. Equalized Odds(오류율 동등성)는 실제 양성의 TPR(True Positive Rate)와 실제 음성의 FPR(False Positive Rate)를 함께 비교한다.

이 화면의 DP gap은 선정률 차의 절댓값, EO gap은 TPR 차와 FPR 차 중 큰 값이다. PPV(Positive Predictive Value)는 양성 판정 중 실제 양성의 비율이다. 분모가 0인 값은 0으로 꾸미지 않고 —로 둔다.

집단별 calibration은 10개 확률 구간의 ECE로 별도 계산한다. ECE 차가 작아도 두 집단이 모두 나쁘게 보정되었을 수 있다. PPV 하나가 확률 보정 전체를 대신하지 않는다.

Summary

• 지표마다 조건과 분모가 다르다.
• 지표 차이만 아니라 절대값도 읽는다.
• 분모 0은 미정의다.
• 수치만으로 공정성을 선언하지 않는다.

Notation

References

1. Hardt, Price & Srebro (2016). Equality of Opportunity in Supervised Learning.
2. Guo et al. (2017). On Calibration of Modern Neural Networks. PMLR 70.
3. Becker & Kohavi (1996). Adult. UCI Machine Learning Repository. CC BY 4.0.

Overview

집단마다 기준값을 다르게 두면 선정률이나 오류율 차이를 줄일 수 있지만 다른 지표와 정확도도 함께 바뀐다. 가능한 조합 전체를 보며 하나의 숫자만 최적화하는 문제를 살핀다.

기호: t₀·t₁은 집단별 기준값, ΔDP는 선정률 차이다. 확률 모델은 고정한다.

Concept

각 집단 기준값을 0.10에서 0.90까지 0.05 간격으로 훑어 289개 조합을 만든다. 가로축은 DP gap, 세로축은 정확도다. 모든 점은 같은 평가 데이터에서 계산한다.

집단의 기저 양성 비율이 다르고 예측이 완벽하지 않을 때 여러 공정성 조건이 충돌할 수 있다. 불가능성 결과는 특정 조건에 대한 정리이며 모든 지표 조합이 언제나 충돌한다는 뜻은 아니다.

여기의 훑기는 관계를 이해하기 위한 관찰이다. 평가 그림을 보며 배포 기준을 고르면 평가 정보를 선택에 사용한 셈이다. 실제 후처리에서는 보정 집합에서 기준값을 선택하고 별도 집합으로 평가한다.

Summary

• 한 지표의 개선이 다른 지표를 개선하지 않을 수 있다.
• 기저 비율과 오류 조건이 중요하다.
• 확률 보정과 판정 기준을 구분한다.
• 평가 데이터로 배포 기준을 고르지 않는다.

Notation

References

1. Kleinberg, Mullainathan & Raghavan (2017). Inherent Trade-Offs in the Fair Determination of Risk Scores.
2. Hardt, Price & Srebro (2016). Equality of Opportunity in Supervised Learning.
3. Becker & Kohavi (1996). Adult. UCI Machine Learning Repository. CC BY 4.0.

Overview

Mitigation(완화)은 데이터 준비, 학습 목적, 최종 판정의 서로 다른 단계에서 가능하다. 동일한 데이터 분할과 logistic 모델 계열을 사용해 세 개입을 비교한다.

기호: λ는 완화 강도, A는 기록된 집단, p̂는 양성 확률이다.

Concept

Reweighing은 학습 집합의 집단·라벨 조합에 가중치를 준다. 조합의 경험적 빈도를 독립인 경우의 빈도에 가깝게 보정한다. 이미 관측된 라벨 자체의 정당성을 검증하는 방법은 아니다.

학습 중 개입은 평균 예측 확률의 집단 차이를 제곱한 벌점을 BCE(Binary Cross-Entropy)에 더한다. 이는 부드러운 DP 대리 목적이며 실제 기준값 이후의 선정률을 같게 하는 강제 제약은 아니다.

후처리는 보정 집합에서 (1−정확도)+λ·DP gap을 최소화하는 기준값 쌍을 고른다. 선택 후에만 평가 집합의 수치를 계산한다. 세 방법 모두 상황에 따라 정확도나 다른 지표를 악화시킬 수 있다.

Summary

• 개입 위치마다 바꾸는 대상이 다르다.
• 완화 벌점은 엄격한 보장이 아니다.
• 기준값은 보정 집합에서 고른다.
• 정의한 지표 밖의 피해도 검토해야 한다.

Notation

References

1. Kamiran & Calders (2012). Data preprocessing techniques for classification without discrimination.
2. Hardt, Price & Srebro (2016). Equality of Opportunity in Supervised Learning.
3. Becker & Kohavi (1996). Adult. UCI Machine Learning Repository. CC BY 4.0.