solution

Một bộ phân loại Naive Bayes nhị phân dựa trên $m$ đặc trưng độc lập có điều kiện (theo giả định Naive Bayes) cho trước lớp. Biết xác suất tiên nghiệm $P(\text{lớp}=1) = \pi$ (do đó $P(\text{lớp}=0) = 1-\pi$), và với mỗi đặc trưng $j = 1,\dots,m$, biết $a_j = P(x_j = 1 \mid \text{lớp}=0)$ và $b_j = P(x_j = 1 \mid \text{lớp}=1)$.

Cho một vector quan sát $x = (x_1, \dots, x_m) \in \{0,1\}^m$, do giả định độc lập có điều kiện:

$P(x \mid \text{lớp}=c) = \prod_{j=1}^m P(x_j \mid \text{lớp}=c).$

Áp dụng công thức Bayes để tính xác suất hậu nghiệm $P(\text{lớp}=1 \mid x)$, chuẩn hoá theo $\sum_c P(\text{lớp}=c)\,P(x\mid \text{lớp}=c)$ (nếu tổng này bằng $0$, quy ước xác suất hậu nghiệm bằng $0$). Nhãn dự đoán là $1$ nếu xác suất hậu nghiệm $\ge 0.5$, ngược lại là $0$.

Ví dụ: $\pi = 0.4$, $m=1$, $a_1 = b_1 = 0.5$, $x=(1)$: vì đặc trưng không mang thông tin phân biệt lớp ($a_1=b_1$), xác suất hậu nghiệm bằng đúng tiên nghiệm $0.4$, nhãn dự đoán là $0$.