Causality and Machine Learning

0. 인과성과 기계학습: 인과성 추론의 이해와 최신 방법론

인과성(Causality)은 사건 간의 원인과 결과를 밝히는 과정으로, 데이터 분석과 의사결정에 필수적인 개념입니다. 이 글에서는 인과성의 정의와 필요성, 인과성 추론 방법론, 그리고 최신 기계학습 기법을 통한 인과성 분석에 대해 설명합니다.

1. 인과성이란 무엇인가?

인과성은 특정 사건이 다른 사건에 미치는 영향을 밝히는 과정으로, 단순한 상관관계와는 다릅니다. 상관관계는 두 변수 간의 연관성을 보여주지만, 이것이 원인과 결과를 의미하는 것은 아닙니다.

1.1 상관관계 vs. 인과성

• 상관관계(Correlation): 두 변수 간의 연관성만을 보여줌. 예를 들어, 축구 FIFA 랭킹과 COVID 확진자 수 간의 관계가 있다고 해도, 축구 실력이 확진자 수에 영향을 준다고 할 수는 없습니다.
• 인과성(Causality): 변수 간의 실제 원인과 결과를 밝힘으로써, 보다 신뢰할 수 있는 결론을 도출합니다.

Correlation VS. Causation

(출처 : https://www.eufic.org/en/understanding-science/article/correlation-vs.-causation-infographic)

Difference Between Correlation and Causation (Infographic)

 

 

1.2 인과성 추론의 필요성

인과성 추론은 의학, 경제학, 정책 분석 등 의사결정의 정확성을 높이기 위해 필수적입니다. 잘못된 인과 관계를 가정하면, 심각한 의사결정 오류를 초래할 수 있습니다.

2. 인과성 추론 방법론

2.1 Bayes Ball Algorithm

베이즈 볼 알고리즘은 인과 구조를 시각적으로 이해할 수 있는 기법으로, 마코프 가정에 기반하여 체인 구조, 포크 구조, 비도덕성 구조 등을 활용합니다. 그래프 상에서의 탐색을 통해 조건부 독립성을 판단합니다. 이 알고리즘은 공 모양의 '볼(Ball)'이 그래프 내에서 움직이는 방식을 통해 변수 간의 독립성을 확인하는 방식을 취합니다. 이를 통해 관찰된 데이터에서 변수 간의 인과적 관계를 분석할 수 있습니다. 

베이즈볼을 굴려서 A에서 B로

공이 굴러 가면 A와 B는 독립이 아님

굴러가지 못하면 A와 B는 독립

 

알고리즘의 핵심 구조

• Chain Structure (연쇄 구조): $X → Y → Z$의 형태. 여기서 $X$와 $Z$는 $Y$가 관찰되지 않았을 때 독립하지 않으며, $Y$가 관찰되면 독립입니다.
• Fork Structure (Common-Cause Structure, 포크 구조): $Y ← X → Z$의 형태. 여기서 $X$는 $Y$와 $Z$에 영향을 주는 공통 원인입니다. $X$가 관찰되면 $Y$와 $Z$는 독립이지만, $X$가 관찰되지 않으면 $Y$와 $Z$는 독립이 아닙니다.
• Collider Structure (V-Structure, 비도덕성 구조): $X → Y ← Z$의 형태. 여기서 $X$와 $Z$는 독립적이지만, $Y$가 관찰되면$X$와 $Z$는 독립이 아니게 됩니다.

알고리즘의 탐색 규칙

• Chain Structure (연쇄 구조):
  • $ Y $ 가 관찰되지 않으면, $ X $ 와 $ Z $ 는 독립적이지 않으며 공이 지나갈 수 있음.
  • $ Y $ 가 관찰되면, $ X $ 와 $ Z $ 는 독립적이며 공이 통과하지 못함.
• Fork Structure (포크 구조):
  • $ X $ 가 관찰되면, $ Y $ 와 $ Z $ 는 독립적이며 공이 통과할 수 없음.
  • $ X $ 가 관찰되지 않으면, $ Y $ 와 $ Z $ 는 독립적이지 않으며 공이 통과할 수 있음.
• Collider Structure (비도덕성 구조):
  • $ Y $ 가 관찰되면, $ X $ 와 $ Z $ 는 독립적이지 않으며 공이 지나갈 수 있음.
  • $ Y $ 가 관찰되지 않으면, $ X $ 와 $ Z $ 는 독립적이며 공이 통과하지 못함.

* 추가 설명은 따로 포스팅하겠습니다. (참고한 블로그)

 

2.2 잠재 결과(Potential Outcome)와 성향 점수(Propensity Score)

잠재 결과는 무작위 대조군 실험(Randomized Controlled Trial, RCT)이 불가능한 상황에서 사용되며, 매칭(matching), 가중치(weighting) 등의 방법을 통해 인과 관계를 분석합니다. 성향 점수는 연구자가 처리와 결과 사이의 상관관계를 조정하여, 관찰된 데이터로부터 인과적 결론을 도출할 수 있게 합니다.

3. 최신 기계학습 기법을 통한 인과성 추론

3.1 Neural Network 기반 인과성 추론

딥러닝 모델을 사용한 인과성 추론은 데이터의 복잡한 패턴을 학습하여 보다 정밀한 인과적 효과를 추정합니다.

• T-net: 처치 효과를 추정하기 위해 각 처치 그룹에 대해 별도의 회귀 모델을 사용합니다. 이는 각 처치의 독립적인 예측을 가능하게 하며, 모델 간 상호 작용이 최소화됩니다.
• S-net: 입력 특성의 공통 표현을 학습하여 잠재 결과와 성향 점수를 동시에 고려합니다. 이 방식은 처치 그룹 간의 차이를 반영하고 더 정교한 예측을 가능하게 합니다.

T-net, S-net 시각화 예시

3.2 Meta-Learner (S-Learner, T-Learner)

Meta-Learner는 모델을 특정 상황에 맞게 조정할 수 있는 유연한 기법으로, 인과적 효과 추정을 보다 효율적으로 수행합니다.

• S-Learner: 처치(treatment) 인디케이터를 추가 특성으로 포함하여, 전체 인과적 효과를 추정합니다. 하나의 모델에서 처리와 비처리를 동시에 학습하므로 간단한 구조를 가집니다.
• T-Learner: 각 처치에 대해 별도의 모델을 사용하여 처치 전후 결과를 비교합니다. 이는 S-Learner보다 더 명확한 그룹별 분석을 제공할 수 있습니다.
• RA-Learner, PW-Learner, DR-Learner: 두 단계로 구성된 학습자로, 첫 단계에서는 잠재적 결과를 예측하고, 두 번째 단계에서 이 결과를 사용해 인과적 효과를 추정합니다. 특히 DR-Learner는 성향 점수나 결과 회귀 중 하나만 잘 작동해도 좋은 성과를 발휘하는 장점이 있습니다.

3.3 학습자 비교와 성능 평가

다양한 Meta-Learner 모델들은 데이터의 생성 방식에 따라 성능이 크게 달라질 수 있습니다. 예를 들어, DR-Learner는 특정 조건에서 매우 우수한 성능을 보이며, RA-Learner는 confounding이 포함된 상황에서 뛰어난 성능을 발휘합니다.

• 각각의 Meta-Learner 모델이 특정 데이터 조건에서 어떤 성능을 발휘하는 지에 대한 실험은 추후 다루겠습니다.

결론: 인과성 추론의 중요성과 향후 전망

인과성 추론은 단순한 상관관계 분석을 넘어선 정확한 인과적 결론을 도출하는 핵심 도구입니다. 최신 기계학습 기법은 이러한 인과성 추론을 더 정교하게 수행할 수 있도록 돕고 있으며, 다양한 연구와 실제 응용에서 그 가치를 발휘하고 있습니다.