Asked Oct 6th, 2017 3:25 a.m. 417 0 1
  • 417 0 1
0

Đọc file json dung lượng lớn với php hoặc shell

Share
  • 417 0 1

Em có một file json với dung lượng khoảng tầm 30GB. Em đang dùng laravel, có cách nào để đọc json với dung lượng lớn như thế này không ạ. File json này nén thành một dòng. Em cảm ơn cả nhà nhiều lắm ạ

1 ANSWERS


Answered Oct 9th, 2017 7:57 a.m.
Accepted
0

Với một file dung dượng lớn như vậy, bạn sẽ không thể dùng cách mở file và get toàn bộ nột dung file như thông thường, bạn sẽ phải dùng streaming parser, tức sẽ đọc từng phần từng phần một của file để đưa vào memory xử lý.

Với PHP thì bạn có thể dùng package salsify/jsonstreamingparser, xem ví dụ ở đây

Như Python thì có thể dùng ijson

Hy vọng bạn có thể xử lý được vấn đề của mình 😃

Share
Avatar Nguyen Quang Huy @quanghuy1294
Oct 11th, 2017 8:27 a.m.

Dạ em cảm ơn anh nhiều ạ

0
| Reply
Share
Viblo
Let's register a Viblo Account to get more interesting posts.