solution

Hồi quy Ridge (hồi quy sườn núi) thêm một số hạng phạt $L_2$ vào hàm mất mát bình phương nhỏ nhất nhằm giảm phương sai của ước lượng khi dữ liệu có nhiễu lớn hoặc các biến gần đa cộng tuyến. Với hồi quy đơn biến $\hat y = b_0 + b_1 x$ và tham số điều chỉnh (regularization) $\lambda \ge 0$ (chỉ phạt hệ số góc, không phạt hệ số chặn), hàm mất mát cần tối thiểu hóa là:

$L(b_0,b_1) = \sum_{i=1}^n (y_i - b_0 - b_1 x_i)^2 + \lambda b_1^2$

Giải hệ phương trình đạo hàm bằng 0, ta thu được nghiệm dạng đóng:

$b_1 = \frac{S_{xy}}{S_{xx} + \lambda}, \qquad b_0 = \bar y - b_1 \bar x$

trong đó $\bar x, \bar y$ là trung bình mẫu, $S_{xx} = \sum_i (x_i-\bar x)^2$, $S_{xy} = \sum_i (x_i-\bar x)(y_i - \bar y)$. Khi $\lambda = 0$, công thức trên trở về đúng hồi quy tuyến tính OLS thông thường.

Cho $n$, $\lambda$ và $n$ cặp quan sát $(x_i,y_i)$, hãy tính $b_0$ và $b_1$.

Ví dụ: với $n=3,\lambda=0$ và các điểm $(1,2),(2,4),(3,6)$ (thẳng hàng qua gốc tọa độ), kết quả là $b_0=0.0000,\ b_1=2.0000$.