solution

Cho một đồng xu (hoặc quá trình Bernoulli) có xác suất ra "thành công" là $\theta \in [0, 1]$ chưa biết. Ta quan sát $n$ phép thử độc lập và thấy có $k$ lần thành công ($0 \le k \le n$).

Thay vì dùng tiên nghiệm liên tục, ta dùng phương pháp xấp xỉ lưới (grid approximation): chọn $N+1$ điểm lưới đều nhau $\theta_i = i/N$ với $i = 0, 1, \dots, N$, và giả sử tiên nghiệm là đều trên lưới này (mỗi điểm có tiên nghiệm $1/(N+1)$).

Khả năng (likelihood) tại điểm lưới $\theta_i$ (bỏ qua hệ số tổ hợp $\binom{n}{k}$ vì nó không phụ thuộc $i$ và sẽ triệt tiêu khi chuẩn hóa) là

$L(\theta_i) = \theta_i^{k} (1 - \theta_i)^{n-k} \quad (\text{quy ước } 0^0 = 1).$

Xác suất hậu nghiệm chuẩn hóa trên lưới là $P(\theta_i \mid \text{data}) = L(\theta_i) \big/ \sum_{j=0}^{N} L(\theta_j)$.

Hãy tính:

1. $\hat\theta_{MAP}$ — điểm lưới có xác suất hậu nghiệm lớn nhất (nếu có nhiều điểm đồng hạng cao nhất, chọn điểm có chỉ số $i$ nhỏ nhất, tức giá trị $\theta$ nhỏ nhất);
2. $\mathbb{E}[\theta \mid \text{data}] = \sum_{i=0}^{N} \theta_i \cdot P(\theta_i \mid \text{data})$ — kỳ vọng hậu nghiệm trên lưới.

Ví dụ: $n=10, k=7, N=10$: lưới gồm $11$ điểm $0, 0.1, \dots, 1$, điểm có hậu nghiệm lớn nhất là $\theta=0.7$, và kỳ vọng hậu nghiệm xấp xỉ $0.666962$.