Yêu cầu thg 10 6, 2017 3:25 SA 418 0 1
  • 418 0 1
0

Đọc file json dung lượng lớn với php hoặc shell

Chia sẻ
  • 418 0 1

Em có một file json với dung lượng khoảng tầm 30GB. Em đang dùng laravel, có cách nào để đọc json với dung lượng lớn như thế này không ạ. File json này nén thành một dòng. Em cảm ơn cả nhà nhiều lắm ạ

1 CÂU TRẢ LỜI


Đã trả lời thg 10 9, 2017 7:57 SA
Đã được chấp nhận
0

Với một file dung dượng lớn như vậy, bạn sẽ không thể dùng cách mở file và get toàn bộ nột dung file như thông thường, bạn sẽ phải dùng streaming parser, tức sẽ đọc từng phần từng phần một của file để đưa vào memory xử lý.

Với PHP thì bạn có thể dùng package salsify/jsonstreamingparser, xem ví dụ ở đây

Như Python thì có thể dùng ijson

Hy vọng bạn có thể xử lý được vấn đề của mình 😃

Chia sẻ
Avatar Nguyen Quang Huy @quanghuy1294
thg 10 11, 2017 8:27 SA

Dạ em cảm ơn anh nhiều ạ

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí