0
Đọc file json dung lượng lớn với php hoặc shell
Em có một file json với dung lượng khoảng tầm 30GB. Em đang dùng laravel, có cách nào để đọc json với dung lượng lớn như thế này không ạ. File json này nén thành một dòng. Em cảm ơn cả nhà nhiều lắm ạ
Thêm một bình luận
1 CÂU TRẢ LỜI
0
Với một file dung dượng lớn như vậy, bạn sẽ không thể dùng cách mở file và get toàn bộ nột dung file như thông thường, bạn sẽ phải dùng streaming parser, tức sẽ đọc từng phần từng phần một của file để đưa vào memory xử lý.
Với PHP thì bạn có thể dùng package salsify/jsonstreamingparser, xem ví dụ ở đây
Như Python thì có thể dùng ijson
Hy vọng bạn có thể xử lý được vấn đề của mình 
Dạ em cảm ơn anh nhiều ạ
