package quản lý về phần giao diện, lưu trữ file với size ở mức thấp đến trung, nếu mà nhiều với kích thước lớn load chậm là điều đương nhiên rồi. nếu lớn quá thì có thể sử dụng những web mạnh như google driver hay dropbox thông qua api để lưu trữ nhé ) Nếu không thì bạn thử chia nhỏ thành nhiều folder xem để số lượng load ít hơn. cảm ơn bạn
mình có 1 issue: khi mà mình để 1 lượng file lớn (~ 8000 file ảnh) trong 1 thư mục thì nó load chậm và có thể bị die nữa. bạn cho cho mình hỏi có hướng khác phục nào hay không?
Bạn muốn upload video thì nên kiểm tra tính bản quyền của video hoặc âm thanh trên Youtube nhé. Việc upload youtube nên upload tại codec h264 hoặc h265 để tránh lỗi video trong quá trình upload
trên lý thuyết mô hình bạn đưa ra chứa 71 triệu parameters so với tập dữ liệu quá nhỏ như LFW chỉ chứa tầm 210 người và nếu công cái dữ liệu mình thu thập từ thực tế thì tầm 400 person avaible ???? ==> Chính điều này dẫn đến overfit ??
cho mình thắc mắc xíu là thế này dữ liệu mình thì quá ít nếu tiến hành pretrain trên 1 mô hình quá bự thì có thể dẫn đến overfitting ??? thì mình finetuning dữ liệu ? (do mình hiểu finetuning có nghĩa là tinh chỉnh ?? vậy mình có cần phải viết lại 1 cái architecture nhỏ hơn phù hợp hơn với tập dữ liệu của mình hay ko ? )
Đúng rồi bạn, PCA và t-SNE đc tính toán tự động bằng code Js trong file index.html. Còn ko thì bạn có thể dùng bất kì thư viện visualize nào của python.
t-SNE chỉ phù hợp cho mục đích visualize dữ liệu. Bên trên mình có thêm 1 bước dùng PCA để muốn giảm số lượng feature xuống khi chạy t-SNE, từ 4096 về 128, giảm khối lượng tính toán xuống vì dữ liệu quá nhiều (max là 10000 sample) hoặc số feature quá lớn khiến việc visualize trên browser khá giật, lag.
Việc visualize với t-SNE sau khi chạy khoảng 200 iterations, data phân cụm khá rõ ràng với từng class mà, ko có chuyện hiện thị nhầm giữa 2 cái
mô hình không có gì thay đổi cả bạn nhé, vì mô hình của mình ở đây nôm na là có khả năng chuyển đổi ảnh từ 1 khuôn mặt sang 1 vector (sử dụng cho các giai đoạn xử lý sau đó)
THẢO LUẬN
^^
package quản lý về phần giao diện, lưu trữ file với size ở mức thấp đến trung, nếu mà nhiều với kích thước lớn load chậm là điều đương nhiên rồi. nếu lớn quá thì có thể sử dụng những web mạnh như google driver hay dropbox thông qua api để lưu trữ nhé
) Nếu không thì bạn thử chia nhỏ thành nhiều folder xem để số lượng load ít hơn. cảm ơn bạn
Thông tin hữu ích!
mình có 1 issue: khi mà mình để 1 lượng file lớn (~ 8000 file ảnh) trong 1 thư mục thì nó load chậm và có thể bị die nữa. bạn cho cho mình hỏi có hướng khác phục nào hay không?
bạn giải thích cho mình một chút cách hoạt động của dòng code này dc ko
Bạn muốn upload video thì nên kiểm tra tính bản quyền của video hoặc âm thanh trên Youtube nhé. Việc upload youtube nên upload tại codec h264 hoặc h265 để tránh lỗi video trong quá trình upload
Em cảm ơn ạ
))
Mà mình còn 1 diều muốn hỏi là sao mình không thấy bạn kiểm chứng cái train của ad trên một tập validation nhỉ ?????
@hoangken (yaoming)
mong chờ bài viết của anh (clap)
oh, cảm ơn bạn nhiều nhiều

trên lý thuyết mô hình bạn đưa ra chứa 71 triệu parameters so với tập dữ liệu quá nhỏ như LFW chỉ chứa tầm 210 người và nếu công cái dữ liệu mình thu thập từ thực tế thì tầm 400 person avaible ???? ==> Chính điều này dẫn đến overfit ??
cho mình thắc mắc xíu là thế này dữ liệu mình thì quá ít nếu tiến hành pretrain trên 1 mô hình quá bự thì có thể dẫn đến overfitting ??? thì mình finetuning dữ liệu ? (do mình hiểu finetuning có nghĩa là tinh chỉnh ?? vậy mình có cần phải viết lại 1 cái architecture nhỏ hơn phù hợp hơn với tập dữ liệu của mình hay ko ? )
Tks bạn
mô hình không có gì thay đổi cả bạn nhé, vì mô hình của mình ở đây nôm na là có khả năng chuyển đổi ảnh từ 1 khuôn mặt sang 1 vector (sử dụng cho các giai đoạn xử lý sau đó)
Great! Cảm ơn bạn đã share về t-SNE.
Có điều mình có vài điều chưa hiểu, mong bạn giải đáp giúp mình:
Bài viết hay quá bạn ei =))
deploy trên các máy chủ vật lý khác nhau thì bạn có thể dùng các tool khác như swarm hoặc kubernetes nhé