solution

Xây dựng một bộ phân loại thư rác (spam) theo mô hình Naive Bayes (Bernoulli). Cho xác suất tiên nghiệm một email là spam là $\pi = P(\text{spam})$ (do đó $P(\text{ham}) = 1 - \pi$). Có $V$ từ trong từ điển; với từ thứ $i$ ta biết:

• $p^{spam}_i = P(\text{từ } i \text{ xuất hiện} \mid \text{spam})$;
• $p^{ham}_i = P(\text{từ } i \text{ xuất hiện} \mid \text{ham})$.

Một email mới được biểu diễn bằng vector nhị phân $x_1, \dots, x_V$ ($x_i = 1$ nếu từ $i$ xuất hiện trong email, ngược lại $x_i = 0$). Theo giả định "ngây thơ" (naive) về độc lập có điều kiện giữa các từ, ta có

$P(\text{spam} \mid x) \propto \pi \prod_{i=1}^{V} \big(p^{spam}_i\big)^{x_i} \big(1 - p^{spam}_i\big)^{1-x_i}, \qquad P(\text{ham} \mid x) \propto (1-\pi) \prod_{i=1}^{V} \big(p^{ham}_i\big)^{x_i} \big(1 - p^{ham}_i\big)^{1-x_i}.$

Hãy tính xác suất hậu nghiệm chuẩn hóa $P(\text{spam} \mid x)$ (sau khi chia cho tổng hai vế) và đưa ra nhãn dự đoán: spam nếu $P(\text{spam} \mid x) \ge 0.5$, ngược lại ham.

Gợi ý cài đặt: để tránh tràn số khi $V$ lớn, nên cộng dồn theo $\log$ rồi dùng kỹ thuật log-sum-exp khi chuẩn hóa, thay vì nhân trực tiếp nhiều số nhỏ.

Ví dụ: $\pi = 0.4$, $V = 0$ (không có từ nào, chỉ dựa vào tiên nghiệm) $\Rightarrow$ $P(\text{spam}\mid x) = 0.4 < 0.5$, in ra ham 0.400000.