THẢO LUẬN

thg 2 21, 2023 9:34 SA

@princ3od Nó là một nhược điểm lớn của hệ thống sử dụng LLM đó bạn. Nghe có chút tâm linh nhỉ

0

@nguyen.van.quan điểm khác biệt ở đây là y^u\hat y_u chính là output của teacher

y^u=softmax(T(xu))\hat y_u=softmax(T(x_u))

CE(y^u,T(xu)θ=CE(y^u,T(xu)T(xu)T(xu)θ=(((y^u)ilogsumexpT(xu)T(xu)i)dT(xu)i)T(xu)θ=(((y^u)iexp(T(xu)i)jexp(T(xu)j))dT(xu)i)T(xu)θ=(((y^u)i(y^u)i)dT(xu)i)T(xu)θ=0\frac{\partial CE(\hat y_u, T(x_u)}{\partial \theta} = \frac{\partial CE(\hat y_u, T(x_u)}{\partial T(x_u)} \frac{\partial T(x_u)}{\partial \theta} \\ = \left(\sum \left((\hat y_u)_i - \frac{\partial logsumexp T(x_u)}{\partial T(x_u)_i}\right)d T(x_u)_i\right) \frac{\partial T(x_u)}{\partial \theta} \\ = \left(\sum \left((\hat y_u)_i - \frac{\exp(T(x_u)_i)}{\sum_j \exp(T(x_u)_j)}\right)d T(x_u)_i\right) \frac{\partial T(x_u)}{\partial \theta} \\ = \left(\sum \left((\hat y_u)_i - (\hat y_u)_i\right)d T(x_u)_i\right) \frac{\partial T(x_u)}{\partial \theta} = 0

+1
thg 2 21, 2023 9:26 SA

OpenAI đang down toàn bộ hệ thống rồi. Chắc là đang migrate từ AWS sang Azure.. Kéo theo là các startup AI cũng down theo kha khá 😂😂

0
thg 2 21, 2023 9:17 SA

Reactjs Cài đặt tương đối khó ? Xây dựng app reactjs bao giờ chưa thế ?

0
thg 2 21, 2023 8:59 SA

@phuocdang.dev Cảm ơn bạn rất nhiều

0
thg 2 21, 2023 8:59 SA

@VoDaiPhuoc Cảm ơn bạn rất nhiều về những góp ý. Cá nhân mình nghĩ nếu như tất cả mọi người đều ý thức được như những điều bạn nói thì thật sự quá tốt, nhưng mình thấy không ít bộ phận trong xã hội đang thần thánh hóa nó, hiểu sai nó. Bài viết mình viết ra cũng mong muốn đem đến một vài góc khuất của công nghệ AI hiện nay nói chung và ChatGPT nói riêng bên cạnh những lời tung hô có cánh ngoài kia và mục tiêu cuối cùng cũng là để chúng ta có thể tận dụng công nghệ làm cho cuộc sống tốt đẹp hơn. Mình là người làm công nghệ nên mình luôn mong mỏi điều đó trong bất kì sản phẩm nào. Một lần nữa cảm ơn bạn nhiều

0
thg 2 21, 2023 8:53 SA

@huyDinhTrong Cảm ơn em nhiều

0
thg 2 21, 2023 8:53 SA

@vuhoang132 Cảm ơn bạn đã comment. Chúc bạn có nhiều trải nghiệm hơn nữa với VIblo

0
thg 2 21, 2023 8:53 SA

@devil_boom_129 Hihi, kệ họ đi em. Nếu như những thứ họ làm có thể mang lại hữu ích cho người dùng thì nên ủng hộ em ạ. Còn nếu như nó vẫn còn những vẫn đề về quy chuẩn đạo đức thì nên xem xét lại.

0
thg 2 21, 2023 8:52 SA

E vô tình biết tới anh khi đang tìm hiểu những cách thay thế local environment. Qua đó còn học thêm nhiều cái hay từ blog của a ^^

0
thg 2 21, 2023 8:45 SA

anh ơi, VN cũng bắt trend lắm. Có thằng khởi nghiệp mới đây còn quảng cáo rầm rộ trên báo là VoiceGPT anh ạ. Tức lấy nguyên API của bọn này thêm tí text to speech. Mà nhìn bài báo còn thấy hướng bọn start up này ko phải bền mà là lập ra để đớp xong chết

0

@HQuang cái này là cross-entropy CE(target,predict)\operatorname{CE}(target, predict)

  • target label: stop-gradient(softmax(y^u))\text{stop-gradient}(\text{softmax}(\hat{y}_u))
  • predict label: y^u\hat{y}_u

Một cái là softmax(logit) với 1 cái là (logit) thì làm sao gradient bằng 0 được ông. Mà gradient này chảy về model predict label, nên stop gradient ở target có ảnh hưởng gì đâu. Đoạn tính gradient cho student trên tập unlabeled cũng stop gradient với softmax(y^u)\text{softmax}(\hat{y}_u) đấy: image.png

0

bài viết hữu ích quá

0
thg 2 21, 2023 8:22 SA

đù comment giống với suy nghĩ của mình quá, quả thật là những thuật ngữ từ trc đến giờ chỉ do chúng ta giao tiếp với nhau mà tự định nghĩa ra thôi, bản chất sự việc là như nhau nhưng có người nói thế này có người lại gọi thế khác, thì sự thật vẫn không thay đổi. Cái chính là cách mà mình tư duy nó có sát với cái bản chất nhất hay không:)) Nếu sát sít sìn sịt thì gọi là kiên định, sai bét tè lè nhè mà vẫn giữ quan điểm thì gọi là vừa dốt vừa cố chấp:))) Phét thế chứ mình thuộc dạng thứ 2 à:)))

0
Avatar
đã bình luận câu trả lời trong câu hỏi
thg 2 21, 2023 8:11 SA

@longyu vào chọn phiên bản php đúng nhé. Để biết hosting sài php bản nào thì tạo 1 file info.php trong file đề code :<?php phpinfo();

0
thg 2 21, 2023 7:58 SA

Bài viết hay, cảm ơn đã mở mang đầu óc cho mình

0

mình thay collection của mình thành 'db.user', 'db.product' hay như thế nào anh nhỉ

0

@huukimit hiện tại e cấu hình thêm vào kiểu gì a nhỉ? E đang chạy container dựa trên image chứ không dùng docker-compose

0
thg 2 21, 2023 6:56 SA

Như thường lệ, bài viết công phu và bổ ích quá anh ạ

0
Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí