+3

Introduction Backpropagation ANN(Series 1)

Phần 1: Đạo hàm hồi quy logistic

Trong quá trình thực hiện mạng nơ-ron , chúng ta khởi tạo các tham số kết hợp với các đầu vào thông qua các layer có sử dụng activation function non linear. Đến cuối cùng sẽ là tùy vào mục đích sử dụng mà số layer đầu ra sẽ khác nhau . Từ đó ta có loss, tính toán khoảng cách giữa value true vs value predict . Tiếp tục như vậy ta sẽ update các tham số thông qua optimizer nhưng trước khi thực hiện điều đó ta sẽ phải thông qua backward . Trong bài viết này ta sẽ giải thích về lý thuyết backward . Được giải thích một cách rất rõ ràng, chi tiết , bất cứ ai cũng có thể hiểu biết được . Không có mục đích giải thích forward ANN , nên các bạn cần có hiểu biết chút về forward mạng nơ-ron ANN và hàm loss của chúng. Đầu tiên ta sẽ thực hiện đạo hàm MLP với loss là binary crossentropy để phân tích nhỏ hơn thuạn tiện cho việc tính toán các series tiếp theo sau này.

Bảng 1

Bảng 2

Phần 2: Backward ANN with Loss binary crossentropy

Lan truyền ngược : Backward

Phần 3: Backward ANN with Loss Multiclass crossentropy

Phần 4: Kết luận

Trên đây là bài viết về backward cơ bản. Mọi chi tiết hình ảnh được lấy từ https://www.facebook.com/groups/dunglailaptrinh/permalink/499083831278226(Phần 1) https://www.facebook.com/groups/dunglailaptrinh/permalink/502211257632150(Phần 2) Nickfacebook cũ(đã bị hack) của bản thân.

https://www.facebook.com/groups/dunglailaptrinh/permalink/517440956109180(Phần 3) Nickfacebook hiện tại của bản thân


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí