Ở sub-layer #1 của Decoder nhận vector K và V của Encoder như 2 feature vectors cho cả câu input, còn vector Q sẽ được lấy từ output. Bạn có thể thấy điều này trong kiến trúc tổng quan Transformers (sau khi ra khỏi Encoder có 2 mũi tên nối vào Decoder là K và V). Thêm nữa, output của self-attention là vector Z là dot product của softmax và V chứ không còn là V nữa bạn nhé.
Input của Decoder chính là output của nó từ những time steps trước, và nó phải predict ra token tiếp theo. Bạn xem ảnh GIF Decoding ở trên sẽ thấy, để sinh ra từ "a", decoder cần input ["I", "am"], sau đó nó lại lấy ["I", "am", 'a"] để sinh ra "student".
Bài viết của anh rất hay ạ!
Nhưng sau khi đọc xong em có chút thắc mắc ở câu này "Sau khi masked input đưa qua sub-layer #1 của Decoder, nó sẽ không nhân với 3 ma trận trọng số để tạo ra Q, K, V nữa mà chỉ nhân với 1 ma trận trọng số WQ.". Theo em được tìm hiểu thì các vecto K, Q vẫn sẽ được tạo ra trong quá trình self-attention. Qua bước self-attention này họ chỉ lấy vecto V của self-attention rồi đưa vào Encode-Decode layer attention.
Thêm nữa em có một câu hỏi. Trong quá trình training thì ta có biết được nhãn của output rồi nên ta có thể đưa vào input_decode của Decode layer. Nhưng trong quá trình predict thì không biết nhãn trước của câu thì Decode nó sẽ hoạt động như thế nào.
Anh có thể giải thích giúp em 2 vấn đề trên với ạ. Em xin cảm ơn.
Cảm ơn bạn đã chia sẻ nha. Mình học lớp 12 có nguyện vọng học IT nên có nhiều điều chưa biết rõ. Qua bài viết của bạn mình đã hiểu rõ thêm phần nào rồi
THẢO LUẬN
Rất tiếc ko có 1 hardfork thứ 2 như theDAO cho vụ multisig wallet của Parity (lol)
hay quá bạn
em cũng không hiểu gì hết =(((
Bài viết của anh rất hay ạ! Nhưng sau khi đọc xong em có chút thắc mắc ở câu này "Sau khi masked input đưa qua sub-layer #1 của Decoder, nó sẽ không nhân với 3 ma trận trọng số để tạo ra Q, K, V nữa mà chỉ nhân với 1 ma trận trọng số WQ.". Theo em được tìm hiểu thì các vecto K, Q vẫn sẽ được tạo ra trong quá trình self-attention. Qua bước self-attention này họ chỉ lấy vecto V của self-attention rồi đưa vào Encode-Decode layer attention. Thêm nữa em có một câu hỏi. Trong quá trình training thì ta có biết được nhãn của output rồi nên ta có thể đưa vào input_decode của Decode layer. Nhưng trong quá trình predict thì không biết nhãn trước của câu thì Decode nó sẽ hoạt động như thế nào. Anh có thể giải thích giúp em 2 vấn đề trên với ạ. Em xin cảm ơn.
cảm ơn add
Không có gì ạ
Cảm ơn bác. Do lỗi phông chữ từ database trên host, nó không login được xong em return else về login đâm ra nó mới thế. cảm ơn bác nhiều.
Mình nghĩ bạn nên lấy nhiều tên làm ví dụ cho các hoạt động khác nhau, chứ cái nào cũng thấy huythanh rối quá
cảm ơn bạn
)
Idol đỉnh quá
Cám ơn bạn đã quan tâm
hay quá a, 2020 rồi vẫn giữ nguyên giá trị
@huusu1996 anh biết 418 status code k =))
Cảm ơn bạn đã chia sẻ nha. Mình học lớp 12 có nguyện vọng học IT nên có nhiều điều chưa biết rõ. Qua bài viết của bạn mình đã hiểu rõ thêm phần nào rồi
sua lai tieu de di ad