solution

Một bộ lọc thư rác được huấn luyện từ $N_s$ email spam và $N_h$ email hợp lệ (ham). Xét $m$ từ khóa đặc trưng, đánh số $1,\ldots,m$. Với từ khóa $j$, biết:

• $cs_j$: số email spam trong tập huấn luyện có chứa từ khóa $j$,
• $ch_j$: số email ham trong tập huấn luyện có chứa từ khóa $j$.

Xác suất tiên nghiệm: $P(\text{spam}) = \dfrac{N_s}{N_s+N_h}$, $P(\text{ham}) = \dfrac{N_h}{N_s+N_h}$.

Xác suất có điều kiện của từng từ khóa được ước lượng bằng phép làm trơn Laplace (add-one): $P(x_j{=}1 \mid \text{spam}) = \frac{cs_j + 1}{N_s + 2}, \qquad P(x_j{=}1 \mid \text{ham}) = \frac{ch_j + 1}{N_h + 2},$ và $P(x_j{=}0\mid \cdot) = 1 - P(x_j{=}1\mid \cdot)$.

Giả định các từ khóa độc lập có điều kiện với lớp (giả định "ngây thơ" của Naive Bayes). Với một email mới có vector đặc trưng $x = (x_1,\ldots,x_m) \in \{0,1\}^m$ (mỗi $x_j=1$ nếu email chứa từ khóa $j$), tính: $\text{score}_{\text{spam}} = P(\text{spam}) \prod_{j=1}^m P(x_j \mid \text{spam}), \quad \text{score}_{\text{ham}} = P(\text{ham}) \prod_{j=1}^m P(x_j \mid \text{ham}),$ rồi chuẩn hóa: $P(\text{spam} \mid x) = \frac{\text{score}_{\text{spam}}}{\text{score}_{\text{spam}} + \text{score}_{\text{ham}}}.$

Ví dụ: $N_s=10, N_h=10$, $m=2$, $cs=(8,2)$, $ch=(2,9)$, $x=(1,0)$. Ta có $P(\text{spam}\mid x) = 0.9375$.