0
API báo cáo với dữ liệu lớn
Hiện tại em đang làm chức năng viết api báo cáo cho một dữ liệu tầm hơn 100k record, báo cáo này kết quả trả về là quá trình tính toán của 100k record đó thì api của em đang bị load quá lâu. Có anh chị nào có kinh nghiệm giải quyết vấn đề này có thể giúp em đc k ạ?
Thêm một bình luận
3 CÂU TRẢ LỜI
+2
Với những trường hợp như này process sẽ không chạy trên API bạn nhé Sẽ đẩy trực tiếp vào background job. sau đó kết quả lưu bảng là reports chẳng hạn. còn api sẽ đọc kết quả từ đó. Sẽ có trường hợp hơn 100k thì sao ?....
Còn muốn tính toán bằng lệnh truy vấn khối lượng record nhiều xem dữ liệu có phân theo dòng thời gian được không > ví dụ report 1 tuần, 2 tuần .... thì sử dụng time series database
cảm ơn a ạ
+1
Bạn nên đẩy vào queue hay gì gì đó để xử lý và trả ra thông báo cho người dùng là đợi vài phút,
Sau khi xử lý xong thì gửi thông báo cho người dùng vào nhận 
)
cảm ơn a ạ
+1
Theo mình có 2 cách giải quyết:
- Xem lại code xem đã xử lý tốt nhất chưa(queue, logic code, cache,...)
- Nếu đã tốt tầng code thì có cách, tính toán sẳn 100k record (gọi các record này là coll A) sau đó lưu vào một biến một record (gọi là coll B)nào đó và mõi khi có một record mới vào coll A thì lại tính toán cộng thêm trừ bớt gì đó vào trong coll B.
- Nếu bắt buộc kiểu tổng kết cả năm hay gì đó chắc chắn sẽ tốn thời gian thì mình cho chạy 1 cái job, worker bên server khi nào có kết quả sẽ thông qua socket hay api gì đó báo về người dùng có thể gửi mail, ... theo mình hay xử lý là vậy á ^^
cảm ơn a ạ
