AI가 백인 남성을 더 잘 진단한다면? 의료 AI 공정성 문제, 이제는 피할 수 없다

도입 — 미충족 수요 또는 배경 문제 제시

2023년 미국 응급실에서 한 흑인 여성 환자가 흉통을 호소했다. 담당 의사는 AI 기반 위험도 예측 도구를 참고했고, 시스템은 '저위험'으로 분류했다. 그러나 이 환자는 결국 급성 심근경색으로 진단됐다. 이것은 단순한 의료 오류가 아니다. 해당 AI 모델이 훈련된 데이터셋에서 흑인 여성 환자의 비율이 현저히 낮았고, 모델은 그 집단의 임상 패턴을 충분히 학습하지 못했던 것이다.

의료 AI는 오늘날 영상 판독, 패혈증 조기 경보, 재입원 예측, 약물 용량 최적화 등 임상 현장 전반에 빠르게 침투하고 있다. 글로벌 의료 AI 시장은 2023년 약 200억 달러 규모에서 2030년에는 1,880억 달러에 달할 것으로 전망된다[1]. 그러나 이 폭발적 성장의 이면에는 구조적 불평등이 내재해 있다. 의료 빅데이터는 역사적으로 소외된 인구 집단—흑인, 히스패닉, 여성, 노인, 저소득층—을 과소 대표해왔으며, 이 데이터로 훈련된 AI는 불가피하게 그 편향을 재생산하고 증폭시킨다.

**의료 AI 공정성(Fairness)**은 더 이상 윤리학적 추상 개념이 아니다. 진단 정확도의 인구통계학적 격차는 실제 환자 피해로 이어지며, 규제 리스크와 소송 리스크를 수반하고, 궁극적으로 AI 솔루션의 시장 신뢰를 붕괴시킨다. 이 글에서는 의료 AI 편향의 원인을 진단하고, 최신 탐지 및 완화 방법론을 심층 분석하며, 임상·비즈니스 관점에서의 실천적 함의를 도출한다.

이 연구/주제가 지금 주목받는 이유

규제의 파고가 몰려온다

미국 FDA는 2021년 AI/ML 기반 소프트웨어 의료기기(SaMD) 행동 계획을 발표하며 알고리즘 편향 모니터링을 명시적 요구사항으로 포함시켰다[2]. 2023년 바이든 행정부의 AI 행정명령(Executive Order 14110)은 의료 AI의 공정성 검증을 연방 조달 요건으로 격상시켰다. 유럽연합의 AI Act(2024년 발효)는 의료 AI를 '고위험 시스템'으로 분류하며 편향 감사(bias audit)를 법적 의무화했다[3].

빅테크와 바이오테크의 전략적 투자

Google Health는 2023년 피부과 AI 알고리즘의 피부색별 성능 격차를 자체 연구에서 공개하며 공정성 개선 프레임워크 투자를 확대했다[4]. Microsoft는 Azure Health Bot에 인구통계학적 성능 대시보드를 통합했으며, 2024년 NVIDIA는 의료 AI 모델의 공정성 평가 툴킷인 'NVIDIA FLARE'의 업데이트에서 편향 탐지 모듈을 강화했다. 스타트업 생태계에서도 Zephyr AI, Holistic AI 등 공정성 특화 플랫폼들이 시리즈 A·B 투자를 잇달아 유치하고 있다.

임상 현장의 직접적 충격

The Lancet Digital Health에 2023년 게재된 체계적 문헌고찰은 상용 의료 AI 시스템의 성능이 백인 환자 대비 흑인 환자에서 평균 9.7%포인트, 여성 대비 남성에서 7.3%포인트 낮음을 확인했다[5]. 이러한 데이터가 축적되며 의료 AI 구매 의사결정자들—병원 CIO, CMO—은 벤더에게 공정성 지표를 납품 조건으로 요구하기 시작했다. 공정성은 이제 기술적 요구사항이자 구매 기준이다.

핵심 분석

1. 의료 AI 편향의 발생 구조

편향은 단일 지점이 아닌 AI 개발 파이프라인 전반에서 중층적으로 발생한다.

데이터 수준 편향(Data-level Bias)

• 역사적 편향(Historical Bias): 전자의무기록(EMR)에는 역사적 진료 불평등이 고스란히 담겨 있다. 흑인 환자는 동일 증상에서 진통제를 덜 처방받았고[6], 이 패턴을 학습한 AI는 흑인 환자의 통증을 과소평가하도록 최적화된다.
• 대표성 편향(Representation Bias): MIMIC-IV(미국 최대 규모 중환자 빅데이터)에서 히스패닉 환자는 전체의 5.8%에 불과하며, 외국인, 비영어권 환자 데이터는 더욱 희소하다.
• 측정 편향(Measurement Bias): 맥박산소측정기(pulse oximetry)는 피부 멜라닌 색소로 인해 흑인 환자에서 산소포화도를 과대추정하는 것이 임상적으로 검증됐으며[7], 이 데이터를 활용한 AI 모델은 근본적 오류를 내재화한다.

알고리즘 수준 편향(Algorithm-level Bias)

• 단일 정확도 지표(overall accuracy) 최적화는 다수 집단의 성능을 극대화하고 소수 집단의 손실을 묵인한다.
• 프록시 변수(proxy variable) 문제: 우편번호, 보험 유형, 언어 선호도 등 인종·사회경제적 지위의 대리 변수가 모델에 포함될 때 간접적 차별이 발생한다.

배포 수준 편향(Deployment-level Bias)

• 모델이 훈련된 병원과 다른 인구통계학적 구성을 가진 의료기관에 배포될 때 성능 저하가 발생한다(코호트 이동, covariate shift).

2. 공정성 정의와 측정 지표

공정성의 수학적 정의는 단일하지 않으며, 상호 양립 불가능한 여러 정의가 공존한다는 점이 이 분야의 핵심 난제다[8].

**Chouldechova(2017)**는 교정(calibration)과 동등 기회(equal opportunity)를 동시에 달성하는 것이 집단 간 기저 유병률이 다를 경우 수학적으로 불가능함을 증명했다[8]. 이는 공정성 지표 선택이 단순 기술적 결정이 아니라 윤리적·정책적 판단임을 의미한다.

3. 편향 탐지 방법론

정적 감사(Static Auditing)
모델 배포 전 계층화 성능 평가(stratified performance evaluation)를 수행한다. 인종, 성별, 연령대, 보험 유형 등 보호 속성(protected attributes)별로 AUC, F1-score, 보정 곡선을 분리 산출한다. Google의 Responsible AI Toolkit, IBM의 AI Fairness 360(AIF360), Microsoft의 Fairlearn이 대표적인 오픈소스 프레임워크다[9].

동적 모니터링(Dynamic Monitoring)
배포 후 실세계 성능을 지속 추적하는 것이 중요하다. 특히 데이터 드리프트(data drift) 탐지—훈련 데이터와 실제 입력 데이터의 분포 변화—와 함께 집단별 성능 드리프트를 별도로 모니터링해야 한다. SHAP(SHapley Additive exPlanations) 기반 feature importance 변화를 집단별로 추적하는 방법이 활용된다.

설명 가능성 기반 편향 탐지(XAI-based Bias Detection)
LIME(Local Interpretable Model-agnostic Explanations)과 SHAP를 활용해 모델이 특정 집단에 대한 예측 시 어떤 특성에 의존하는지 분석한다. 예컨대 패혈증 예측 모델이 백인 환자에서는 생체 신호 변화에 의존하나, 흑인 환자에서는 보험 유형에 더 높은 가중치를 부여한다면 이는 구조적 편향의 신호다.

반사실적 공정성(Counterfactual Fairness)
"이 환자가 다른 인종이었다면 동일한 예측이 나왔을까?"라는 인과적 질문에 기반한 접근법이다[10]. Pearl의 인과 그래프(causal DAG) 프레임워크를 활용해 보호 속성의 인과 경로를 차단한 후 예측을 비교한다. 계산 복잡도가 높으나 개별 사례 수준의 공정성 보장에 이론적으로 가장 강력하다.

4. 편향 완화 방법론

편향 완화는 개입 시점에 따라 세 가지 범주로 분류된다.

전처리(Pre-processing) 방법

• 재가중화(Reweighting): 과소 대표된 집단의 훈련 샘플에 높은 가중치를 부여한다. 구현이 단순하나 심각한 불균형 시 효과 한계가 있다.
• 합성 데이터 생성(Synthetic Data Generation): GAN(Generative Adversarial Network) 기반으로 소수 집단의 합성 임상 데이터를 생성한다. Datasette, CTGAN, MedGAN 등이 활용된다. 단, 합성 데이터가 실제 임상 특성을 충분히 포착하는지 검증이 필수다.
• 학습 데이터 다양성 확보(Data Curation): 가장 근본적이나 시간·비용 집약적인 방법. NIH의 All of Us 연구 프로그램은 100만 명 이상의 다양한 인구 집단 바이오뱅크를 구축해 편향 없는 훈련 데이터 기반을 만들고자 한다[11].

처리 중(In-processing) 방법

• 공정성 제약 최적화(Fairness-constrained Optimization): 손실 함수에 공정성 페널티 항을 추가한다. 예: Zafar 등의 공정성 제약 분류기[12]. 정확도-공정성 트레이드오프(accuracy-fairness trade-off)가 발생하며, 이를 최소화하는 것이 연구의 핵심 과제다.
• 적대적 탈편향(Adversarial Debiasing): Zhang 등(2018)이 제안한 방법으로, 예측 모델과 함께 보호 속성을 역추론하려는 적대적 분류기(adversary)를 동시에 훈련한다[13]. 예측 모델은 정확도를 최적화하면서 적대적 분류기를 '속이는' 방향으로 학습함으로써 예측이 인구통계학적 정보에 의존하지 않도록 유도된다.
• 다목적 학습(Multi-task Fairness Learning): 공정성을 독립적 학습 목표로 정의하고 Pareto 최적화 프레임워크에서 정확도와 동시 최적화한다.

후처리(Post-processing) 방법

• 임계값 최적화(Threshold Optimization): 집단별로 의사결정 임계값(threshold)을 차등 적용해 TPR·FPR을 균등화한다. 구현이 용이하며 기존 모델 수정 없이 적용 가능하다. 단, 같은 예측 점수에 다른 기준을 적용하는 것의 윤리적 정당성에 대한 논쟁이 있다.
• 보정 후처리(Calibration Post-processing): Platt Scaling, Isotonic Regression을 집단별로 독립 적용해 예측 확률의 그룹 내 신뢰도를 보정한다.

5. 최신 연구 동향: 연합 학습과 공정성의 결합

연합 학습(Federated Learning)은 데이터를 중앙 서버에 집중하지 않고 분산 환경에서 모델을 훈련하는 방식으로, 의료 데이터 프라이버시 문제를 해결하면서 동시에 다양한 기관의 인구통계학적 다양성을 활용할 수 있는 유망한 접근법이다[14]. 그러나 연합 학습 자체도 클라이언트(병원) 간 데이터 이질성으로 인해 새로운 형태의 공정성 문제를 야기할 수 있다. 데이터가 많은 대형 병원의 집단이 글로벌 모델을 지배하는 현상—클라이언트 수준 불공정성(client-level unfairness)—이 최근 연구에서 주목받고 있다.

q-FedAvg(Fair Federated Averaging)[15]는 성능이 낮은 클라이언트에 더 높은 손실 가중치를 부여해 연합 학습 맥락에서의 공정성을 개선하는 알고리즘으로, 여러 병원 네트워크의 의료 AI 공정성 개선에 응용되고 있다.

임상·비즈니스 가치

임상 현장에서의 적용 가능성

즉각적 적용 가능 영역
영상의학 AI(흉부 X-ray, 피부암 스크리닝, 망막 이상 탐지)는 성능의 인구통계학적 격차가 가장 명확하게 측정되는 분야다. Google Health의 망막 당뇨병 진단 AI는 다양한 인종 집단에서 등가 성능 달성을 위해 집단별 임계값 조정을 공개적으로 적용한 사례로 주목된다[4]. 패혈증 조기 경보 시스템(예: Epic의 Sepsis Prediction Model)은 흑인 환자에서 낮은 민감도를 보인다는 연구 결과가 축적되며 재설계 압력을 받고 있다.

구현 로드맵 제안

1. 발견 단계: AIF360, Fairlearn을 활용한 현재 사용 중인 AI 도구의 계층화 감사 시행
2. 개선 단계: 임계값 최적화(즉각 적용 가능) → 재훈련 시 공정성 제약 추가
3. 모니터링 단계: 집단별 성능 KPI를 AI 거버넌스 대시보드에 통합, 분기별 리뷰

한계와 과제

기술적 한계

• 정확도-공정성 트레이드오프는 여전히 근본적 장벽이다. 모든 집단에서 동시에 최고 성능을 달성하는 것은 현재 기술로 불가능하며, 어떤 집단의 공정성을 우선할 것인가는 기술 외적 결정이다.
• 한국을 비롯한 동아시아 국가는 인종 다양성 대신 지역, 사회경제적 계층, 성별에 의한 편향이 더 중요하다. 서구 중심의 공정성 프레임워크를 그대로 이식하면 중요한 편향을 놓칠 수 있다.
• 인종, 민족 등의 보호 속성을 데이터에 기록·활용하는 것 자체가 일부 국가에서 개인정보보호법과 충돌한다.

비즈니스·조직적 한계

• 공정성 감사를 위한 계층화된 검증 데이터셋 구축에는 상당한 비용과 시간이 소요된다.
• AI 벤더들은 편향 데이터 공개 시 법적 책임과 평판 리스크를 우려해 투명성을 회피하는 경향이 있다. 공정성 공개(fairness disclosure)를 위한 산업 표준이 아직 없다.
• 임상의사들이 AI의 공정성 한계를 인지하고 비판적으로 활용하는 AI 리터러시 교육이 현재 대부분의 의료기관에서 부재하다.

비즈니스 기회

의료 AI 공정성은 규제 컴플라이언스 시장을 창출하고 있다. EU AI Act 준수를 위한 의료 AI 감사 서비스 시장은 2024년부터 2028년까지 연평균 31% 성장이 예측된다. 병원 시스템이 공정성 인증 AI만 구매하는 방향으로 조달 정책이 전환되면, 이는 차세대 의료 AI 제품의 핵심 차별화 요소가 된다. 국내 시장에서도 건강보험심사평가원의 AI 기반 의료 질 평가에 공정성 지표가 통합될 경우, 이에 선제적으로 대응하는 기업이 공공 의료 데이터 플랫폼 사업에서 경쟁 우위를 가질 것이다.

References

• Accenture. Artificial Intelligence in Healthcare Market Size Report. 2023. URL: https://www.accenture.com/us-en/insights/health/artificial-intelligence-healthcare (접속일: 2024-11-01)

• US Food and Drug Administration. Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan. 2021. URL: https://www.fda.gov/media/145022/download (접속일: 2024-11-01)

• European Parliament. Regulation (EU) 2024/1689 of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Official Journal of the European Union. 2024. URL: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689 (접속일: 2024-11-01)

• Beede E, Baylor E, Hersch F, et al. A Human-Centered Evaluation of a Deep Learning System Deployed in Clinics for the Detection of Diabetic Retinopathy. CHI '20: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. 2020:1–12. https://doi.org/10.1145/3313831.3376718

• Obermeyer Z, Nissan R, Stern M, et al. Algorithmic bias playbook. Center for Applied AI at Chicago Booth. 2022. (Published context referenced in: Seyyed-Kalantari L, Zhang H, McDermott MBA, et al. Underdiagnosis bias of artificial intelligence algorithms applied to chest radiographs in under-served patient populations. Nat Med. 2021;27(12):2176–2182.) https://doi.org/10.1038/s41591-021-01595-0

• Hoffman KM, Trawalter S, Axt JR, Oliver MN. Racial bias in pain assessment and treatment recommendations, and false beliefs about biological differences between blacks and whites. Proc Natl Acad Sci USA. 2016;113(16):4296–4301. https://doi.org/10.1073/pnas.1516047113

• Sjoding MW, Dickson RP, Iwashyna TJ, Gay SE, Valley TS. Racial Bias in Pulse Oximetry Measurement. N Engl J Med. 2020;383(25):2477–2478. https://doi.org/10.1056/NEJMc2029240

• Chouldechova A. Fair prediction with disparate impact: A study of bias in recidivism prediction instruments. Big Data. 2017;5(2):153–163. https://doi.org/10.1089/big.2016.0047

• Bellamy RKE, Dey K, Hind M, et al. AI Fairness 360: An extensible toolkit for detecting and mitigating algorithmic bias. IBM J Res Dev. 2019;63(4/5):4:1–4:15. https://doi.org/10.1147/JRD.2019.2942287

• Kusner MJ, Loftus J, Russell C, Silva R. Counterfactual Fairness. Advances in Neural Information Processing Systems. 2017;30:4066–4076. URL: https://proceedings.neurips.cc/paper/2017/hash/a486cd07e4ac3d270571622f4f316ec5-Abstract.html (접속일: 2024-11-01)

• National Institutes of Health. All of Us Research Program. URL: https://allofus.nih.gov (접속일: 2024-11-01)

• Zafar MB, Valera I, Gomez Rodriguez M, Gummadi KP. Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment. Proceedings of the 26th International Conference on World Wide Web. 2017:1171–1180. https://doi.org/10.1145/3038912.3052660

• Zhang BH, Lemoine B, Mitchell M. Mitigating Unwanted Biases with Adversarial Learning. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society. 2018:335–340. https://doi.org/10.1145/3278721.3278779

• Rieke N, Hancox J, Li W, et al. The future of digital health with federated learning. NPJ Digit Med. 2020;3:119. https://doi.org/10.1038/s41746-020-00323-1

• Li T, Sanjabi M, Beirami A, Smith V. Fair resource allocation in federated learning. Proceedings of the International Conference on Learning Representations (ICLR). 2020. URL: https://openreview.net/forum?id=ByexElSYDr (접속일: 2024-11-01)