[AI/Concepts] 06. Uncertainty

AI Concepts

불확실성 (Uncertainty)

현실에서는 인공지능이 세계에 대한 부분적인 지식만을 갖고 있기 때문에 불확실성(uncertainty)이 존재합니다.

• 이러한 상황에서도 우리는 인공지능이 가능한 최선의 결정을 내리길 바랍니다.

---

예측 (Prediction)

• 내일 날씨를 100% 정확하게 예측할 수 있는 방법은 없지만, 우리는 최선의 방법을 찾으려 합니다.
• 강수확률: 확률로 표현되며, 이는 불확실성을 나타냅니다.
• Uncertainty: Likelihood를 숫자로 표현
• Probability: 특정 사건이 일어날 확률

우연?

• 불확실성은 여러 사건과 각각의 사건의 수, likelihood, probability로 나타낼 수 있습니다.
  • Likelihood: 사건들을 설명할 수 있는 통계 모델
  • Probability: 특정 사건이 일어날 확률

---

확률 (Probability)

가능 세계들 (Possible Worlds)

• 모든 가능한 상황을 하나의 세계로 간주하며, 이는 그리스 문자 오메가 (𝜔)로 표현됩니다.
• 특정 세계의 확률은 (P(𝜔))로 나타냅니다.

확률의 공리 (Axioms in Probability)

1. 0: 불가능한 사건
   • 예: 표준 주사위를 굴려 7이 나오는 사건은 불가능.
2. 1: 반드시 일어나는 사건
   • 예: 표준 주사위를 굴려 10 미만의 값이 나오는 사건은 확실.
3. 모든 가능한 사건의 확률을 합하면 1이 됩니다.

---

Random Variables

• 확률 이론에서 Random Variables는 가능한 값의 범위를 가지는 변수입니다.
• 예:
  • 주사위를 굴릴 때, Random 변수 Roll은 ({1, 2, 3, 4, 5, 6}) 값을 가집니다.
  • 비행 상태는 비행이 제시간에 도착(on time), 지연(delayed), 취소(canceled)되는지 나타냅니다.
    • (P(Flight = on , time) = 0.6)
    • (P(Flight = delayed) = 0.3)
    • (P(Flight = canceled) = 0.1)

---

무조건 확률 (Unconditional Probability)

• 무조건 확률: 다른 증거 없이 어떤 명제에 대한 믿음의 정도를 나타냅니다.
  • 조건(evidence) 없이 계산됩니다.
  • 예: 주사위를 굴리는 결과는 이전 사건에 의존하지 않음.

---

조건부 확률 (Conditional Probability)

• 조건부 확률: 어떤 증거가 주어진 상태에서 명제에 대한 믿음의 정도를 나타냅니다.
  • 예:
    • (P(\text{rain today | rain yesterday}))
    • (P(\text{disease | test results}))
  • 정의:
    • (P(a | b) = \frac{P(a ∧ b)}{P(b)})
    • 이는 (b)가 참인 세계만 고려하여 (a)와 (b)가 모두 참인 사건을 계산하는 방식입니다.

---

독립성 (Independence)

• 하나의 사건이 일어난다는 사실이 다른 사건의 확률에 영향을 미치지 않는 경우, 두 사건은 독립적입니다.
• 공식:
  • (P(a ∧ b) = P(a) × P(b))

---

베이즈 규칙 (Bayes' Rule)

• 확률 기반 머신러닝의 핵심 규칙으로, 조건부 확률을 계산합니다.
  • (P(a | b) = \frac{P(b | a) × P(a)}{P(b)})
• 예시:
  • (P(\text{구름 | 비}) = 0.8)
  • (P(\text{구름}) = 0.4)
  • (P(\text{비}) = 0.1)
  • 질문: 아침에 구름이 낀다면, 오후에 비가 올 확률은?

---

결합 확률 (Joint Probability)

• 여러 사건이 동시에 발생할 확률을 의미합니다.
  • 예: (P(\text{cloudy}, \text{rain}))
• 확률 규칙:
  • 부정 (Negation): 모든 가능한 세계의 확률의 합은 1.
  • 포함 배제 (Inclusion-Exclusion): (P(a ∨ b) = P(a) + P(b) - P(a ∧ b))
  • 주변화 (Marginalization): (P(a) = P(a ∧ b) + P(a ∧ ¬b))

---

조건화 (Conditioning)

• 주변화(Marginalization)와 유사한 개념입니다.
• 정의:
  • 확률 변수 (X)가 (xᵢ) 값을 가질 확률은 (xᵢ)와 Random Variable (Y)의 결합 확률 합으로 계산됩니다.
  • (P(X = xᵢ) = \sum_Y P(X = xᵢ, Y))

---

베이지안 네트워크 (Bayesian Networks)

• 랜덤 변수들 간의 조건부 의존성을 방향성 있는 그래프 형태로 나타낸 모델입니다.

속성:

1. 방향성 (Directed):
   • 그래프의 각 노드는 Random Variable을 나타냅니다.
   • 화살표는 변수들 간의 의존성을 표현합니다.
2. 조건부 확률: 각 노드는 (P(X | \text{Parents(X)}))로 나타납니다.

예:

• 날씨(W) → 잎의 상태(L) → 수확량(H)
• 새로운 변수가 추가되더라도 기존 확률 변수들과 연결하여 확률 분포를 생성할 수 있습니다.

---

추론 (Inference)

• 확률 기반 추론: 새로운 정보를 확실히 알 수 없지만, 확률 분포를 통해 추론 가능.

속성:

• Query Variable (X): 계산하려는 변수
• Evidence Variable (E): 관찰된 변수
• Hidden Variable (Y): 관찰되지 않은 변수

목표:

• (P(X | e)) 계산

---

열거를 통한 추론 (Inference by Enumeration)

• 증거 (Evidence, e)와 숨겨진 변수 (Hidden, Y)가 주어졌을 때, 변수 (X)의 확률 분포를 찾는 과정.
• (P(X | e) = \frac{P(X, e)}{P(e)})
• 예:
  • 비가 오지 않고, 유지보수가 없는 경우 열차가 제시간에 도착할 확률 계산.

---

근사 추론 (Approximate Inference)

• 열거를 통한 계산이 비효율적일 때 사용.
• 정확한 추론을 포기하고 근사치를 계산합니다.
• 샘플링 (Sampling):
  • 각 변수는 확률 분포에 따라 값을 샘플링합니다.
  • 샘플링 횟수가 많아질수록 실제 확률에 근접.

---

샘플링 기법

1. 거부 샘플링 (Rejection Sampling):

   • 증거와 일치하지 않는 샘플을 버립니다.
   • 증거 확률이 낮을 경우 비효율적.

2. 가능도 가중치 (Likelihood Weighting):

   • 증거 변수를 고정하고, 나머지 변수에 대해 샘플링.
   • 증거에 따라 샘플에 가중치를 부여합니다.

---

시간에 따른 불확실성 (Uncertainty Over Time)

• 시간 차원이 추가된 확률 모델.
• (X_t): 현재 사건
• (X_{t+1}): 다음 사건

---

마르코프 가정 (Markov Assumption)

• 현재 상태는 고정된 유한 개수의 이전 상태에만 의존합니다.
• 예:
  • 내일 날씨 예측 시, 1년치 데이터를 사용하지 않고 1일 전 상태만 고려.

---

마르코프 체인 (Markov Chain)

• 마르코프 가정을 따르는 Random Variables의 연속.
• 전이 모델 (Transition Model):
  • (P(\text{Sunny | 오늘이 Sunny}) = 0.8)
  • (P(\text{Cloudy | 오늘이 Sunny}) = 0.2)

예:

• 오늘 날씨가 Sunny일 때:
  • 내일 Sunny일 확률: (0.8)
  • 내일 Cloudy일 확률: (0.2)

---

히든 마르코프 모델 (Hidden Markov Models)

• 숨겨진 상태를 가진 시스템을 설명하는 마르코프 모델의 한 유형.
• 목표: 관찰된 데이터를 바탕으로 숨겨진 상태를 추론.

특징:

1. 숨겨진 상태 (Hidden State):
   • 로봇 청소기의 위치나 음성을 텍스트로 변환하는 과정과 같은 시스템.
   • 정확히 알 수 없는 상태를 추론하려는 시도.
2. 센서 모델 (Sensor Model):
   • 관측값(증거)이 주어졌을 때 숨겨진 상태의 확률을 나타냅니다.

---

날씨 추론 (Infer the Weather)

• 관찰값: 사람들이 우산을 사용하는지 여부
• 숨겨진 상태: 날씨 (Sunny, Rainy 등)
• 베이즈 정리를 통해:
  • 우산을 썼을 때 비가 올 확률 계산
  • 우산을 썼을 때 해가 뜰 확률 계산

---

근사 추론의 중요성

1. 효율성 문제:

   • 숨겨진 상태와 관찰값이 많을 경우, 정확한 계산은 비현실적.
   • 근사 기법으로 대체하여 효율적인 추론 수행.

2. 샘플링과 가중치:

   • 샘플링을 통해 전체 확률을 근사.
   • 증거의 확률에 따라 가중치를 적용해 신뢰도를 조정.

---

시간 기반 추론

• 마르코프 체인과 전이 모델을 활용해 미래 상태 예측.
• 히든 마르코프 모델로 숨겨진 상태와 관찰값 사이의 관계를 추론.

---

요약 (Summary)

1. 불확실성의 관리:

   • 현실 세계의 불확실성을 숫자로 표현해 모델링.
   • 조건부 확률, 결합 확률 등을 사용해 사건 간 관계 설명.

2. 베이지안 네트워크:

   • 변수 간의 의존성을 방향성 있는 그래프로 표현.
   • 효율적으로 확률 분포 계산.

3. 마르코프 가정과 히든 마르코프 모델:

   • 시간 차원에서 사건을 추론.
   • 숨겨진 상태와 관찰된 데이터를 연결해 미래를 예측.

4. 근사 추론:

   • 정확한 계산 대신 효율성을 확보하는 방식.
   • 샘플링과 가중치 적용으로 현실적인 확률 계산.

5. 결론:

   • 불확실성을 다루는 AI의 핵심은 데이터 기반 확률적 추론.
   • 이는 현실 세계의 복잡한 문제를 이해하고 해결하는 데 기여합니다.