@kiendev Bạn có thể đo thời gian chunk file là biết ngay mà. Việc chunk file là lấy từng phần nhỏ trong file gốc nên nó không quá chậm đâu trừ khi bạn chia batch size lớn + việc chunk file này nó phụ thuộc vào ở dưới máy local của bạn nên không sao. Bạn có thể tạo 1 file ảo dùng lệnh để test nhé
mkfile -n 100g temp_100GB_file
Mình thấy nếu chậm thì sẽ bị chậm ở đoạn gọi lên API BE lưu các phần chia nhỏ file thôi. Hiện tại, mình có F12 lên thì thấy Zalo cũng đang làm tương tự vậy. Zalo hiện tại thì upload quá là ok rồi.
Hello anh, em đã đọc bài viết và học được nhiều khái niệm mới. Bài viết quá dễ hiểu đi ạ. Nhưng em có một câu hỏi như sau ạ (do em mới học docker nên có thể chưa rõ đọan này):
Cụ thể ở cách 2 khi mà mình dùng container tạm thời với câu lệnh sau trên linux
docker run --rm -v $(pwd):/app -w /app node:16-alpine npm install && npm run build
Em đã nắm được câu lệnh trên đoạn nào làm những gì. Tuy nhiên tại sao -v $(pwd):/app lại đặt trước -w /app trong khi theo như em hiểu thì khi chạy đến -w /app (tương đương mkdir /app && cd /app) thì lúc này mới tồn tại /app.
Mình có thể dùng LangChain (LC) để load document, đánh index rồi search mà không cần kết nối đến OpenAI có được không ? Giống như xây dựng một "search engine" trên dữ liệu của mình.
Dùng LC với OpenAI, dữ liệu của mình có gửi đến server của OpenAI không ạ ?
THẢO LUẬN
@kiendev Lý thuyết là vậy nhưng việc cho vào thực tế để chạy production thì tất nhiên sẽ còn nhiều cái cần phải xử lý 😅 Thank b đã góp ý nhé
@kiendev Bạn có thể đo thời gian chunk file là biết ngay mà. Việc chunk file là lấy từng phần nhỏ trong file gốc nên nó không quá chậm đâu trừ khi bạn chia batch size lớn + việc chunk file này nó phụ thuộc vào ở dưới máy local của bạn nên không sao. Bạn có thể tạo 1 file ảo dùng lệnh để test nhé
mkfile -n 100g temp_100GB_fileMình thấy nếu chậm thì sẽ bị chậm ở đoạn gọi lên API BE lưu các phần chia nhỏ file thôi. Hiện tại, mình có F12 lên thì thấy Zalo cũng đang làm tương tự vậy. Zalo hiện tại thì upload quá là ok rồi.
Mình có sample trong source github gửi bài viết hoặc test ở đây nhé => https://codepen.io/nguyenvantuan2391996/pen/JjeyrZW
@maitrungduc1410 em cảm ơn a ạ 🤟
@Hoanghieu bạn có thể nhắn cho mình qua FB nhé: https://www.facebook.com/manhquang.rnd/
Chuẩn mà em 0.5 * Math.log(1.5) = 0.2027325540540822
hi bạn ơi , mình có thể xin contact của bạn để trao đổi 1 số vấn đề không ạ
Bài viết hay ho, cơ mà không biết tác giả đã thử test performance chưa? Mình thì không tự tin lắm với việc chunk file vài GB đổ lên bằng JS.
cảm ơn bạn, mình sẽ ra tiếp những bài viết tiếp theo trong thời gian tới 😄
các tham số đó e truyền cái nào trước cũng đc nhé, Docker sẽ lo tất
.
-w: set working dir là/app-v $(pwd):/app: mount folder hiện tại đang chạy command ở môi trường gốc vào/appbên trong containerbạn viết series này cực kì detail và dễ hiểu. Thanks bạn. Hi vọng sớm có những bài viết hay khác.
ok bạn, follow mình để nhận được những thông báo bài viết mới nhất nha. Good day you !
Chờ phần tiếp
cảm ơn bạn đã ủng hộ mình nhé 😄
seri này hay quá, tiếp tục nhé bro 💪
khá căng, đang vướng vụ này
Bài này dịch từ trang này đúng không? https://www.baeldung.com/reactor-core. Không thấy bạn ghi nguồn nhỉ?
Cảm ơn bài viết của bạn
Hello anh, em đã đọc bài viết và học được nhiều khái niệm mới. Bài viết quá dễ hiểu đi ạ. Nhưng em có một câu hỏi như sau ạ (do em mới học docker nên có thể chưa rõ đọan này): Cụ thể ở cách 2 khi mà mình dùng container tạm thời với câu lệnh sau trên linux
Em đã nắm được câu lệnh trên đoạn nào làm những gì. Tuy nhiên tại sao
-v $(pwd):/applại đặt trước-w /apptrong khi theo như em hiểu thì khi chạy đến-w /app(tương đươngmkdir /app && cd /app) thì lúc này mới tồn tại/app.Chào bạn, Mình xin hỏi 2 vấn đề ạ.
Mình có thể dùng LangChain (LC) để load document, đánh index rồi search mà không cần kết nối đến OpenAI có được không ? Giống như xây dựng một "search engine" trên dữ liệu của mình.
Dùng LC với OpenAI, dữ liệu của mình có gửi đến server của OpenAI không ạ ?
Cám ơn bạn !
tks