Các lượt nộp
    Danh sách bài
    Trang chủ
    Báo lỗi

    solution

    Đề bài: [Data Science] Một bước lan truyền ngược cho perceptron đa lớp

    Cho mạng 2 lớp: đầu vào x∈Rnx \in \mathbb{R}^{n}x∈Rn, một lớp ẩn hhh nơ-ron với kích hoạt sigmoid, một nơ-ron đầu ra sigmoid. Tham số: W1∈Rh×nW_1 \in \mathbb{R}^{h \times n}W1​∈Rh×n, b1∈Rhb_1 \in \mathbb{R}^{h}b1​∈Rh, W2∈R1×hW_2 \in \mathbb{R}^{1 \times h}W2​∈R1×h, b2∈Rb_2 \in \mathbb{R}b2​∈R.

    Lan truyền tiến: z1=W1x+b1,a1=σ(z1),z2=W2a1+b2,y^=σ(z2)z_1 = W_1 x + b_1,\quad a_1 = \sigma(z_1),\quad z_2 = W_2 a_1 + b_2,\quad \hat{y} = \sigma(z_2)z1​=W1​x+b1​,a1​=σ(z1​),z2​=W2​a1​+b2​,y^​=σ(z2​)

    Với nhãn thật yyy, dùng mất mát L=−[yln⁡y^+(1−y)ln⁡(1−y^)]L = -[y\ln\hat{y} + (1-y)\ln(1-\hat{y})]L=−[ylny^​+(1−y)ln(1−y^​)]. Khi đó: ∂L∂z2=y^−y\frac{\partial L}{\partial z_2} = \hat{y} - y∂z2​∂L​=y^​−y

    Lan truyền ngược tính gradient theo W2W_2W2​: ∂L∂W2=(y^−y) a1⊤\frac{\partial L}{\partial W_2} = (\hat{y} - y)\, a_1^{\top}∂W2​∂L​=(y^​−y)a1⊤​

    In ra vector gradient ∂L∂W2\dfrac{\partial L}{\partial W_2}∂W2​∂L​ gồm hhh giá trị (làm tròn 2 chữ số), cách nhau bởi dấu cách.

    • Định dạng đầu vào:

      Dòng 1: nnn hhh. Dòng 2: xxx (nnn số). hhh dòng: hàng của W1W_1W1​. Dòng kế: b1b_1b1​ (hhh số). Dòng kế: W2W_2W2​ (hhh số). Dòng kế: b2b_2b2​ (1 số). Dòng cuối: yyy (0 hoặc 1).

    • Ràng buộc đầu vào:

      1≤n,h≤81 \le n,h \le 81≤n,h≤8; ∣|∣giá trị∣≤20| \le 20∣≤20; y∈{0,1}y \in \{0,1\}y∈{0,1}.

    • Định dạng đầu ra:

      Một dòng gồm hhh số thực (gradient theo W2W_2W2​) làm tròn 2 chữ số.

    Ví dụ:

    Đầu vào:

    2 2
0 0
1 1
1 1
0 0
1 1
0
1

    Đầu ra:

    -0.13 -0.13

    Giải thích:

    x=[0,0] → z1=[0,0], a1=[0.5,0.5]. z2=1*0.5+1*0.5=1 → yhat=sigma(1)=0.7311. dz2=yhat-y=0.7311-1=-0.2689. gradW2=dz2*a1=-0.2689*[0.5,0.5]=[-0.13,-0.13].

    Đang tải editor...