Yêu cầu thg 3 12, 2022 11:48 SA 272 1 4
  • 272 1 4
+1

Tăng hiệu năng khi truy vấn sql trong laravel

Chia sẻ
  • 272 1 4

$countPost = DB::table('posts')->whereIn('id', $arr)->count();

Mình có 1 câu truy vấn như trên. Vấn đề xảy ra khi mảng $arr nó lớn ( rất lớn ) thì nó cho kết quả $countPost =0 . Cụ thể dữ liệu hiện tại của mình có tầm 37.000 bản ghi và mảng $arr thì tầm khoảng 30.000 ID. và hệ thống không count được. Xin giúp đỡ.

4 CÂU TRẢ LỜI


Đã trả lời thg 3 14, 2022 3:05 SA
+2

The number of values in the IN list is only limited by the max_allowed_packet value.

Mình nghĩ đoạn này bạn có thể có 2 cách giải quyết

  1. Sử dụng hàm chunk trong Laravel để giới hạn bản ghi cần
  2. Còn một cách thủ công nữa bạn có thể thử là set cái max_allowed_packet tăng size nó lên (https://stackoverflow.com/questions/8062496/how-to-change-max-allowed-packet-size)
Chia sẻ
Avatar LongThanh @LongThanh.it
thg 3 15, 2022 4:42 SA

cách thứ 2 có vẻ là đúng cái mình cần. thanks

Đã trả lời thg 3 14, 2022 10:33 SA
+2

theo mình chia mảng arr thành nhiều mảng con, rồi count từng cái sau đó cộng lại, đk mảng arr phải làm sạch trước khi chia, tức là ko có id trùng nhau

Chia sẻ
Đã trả lời thg 3 14, 2022 3:02 SA
+1

sao ko dùng count($arr) có phải nhanh hơn ko :v

Chia sẻ
Avatar CongHD @conghdql4
thg 3 14, 2022 5:13 SA

Trường hợp item có trong $arr nhưng không có trong CSDL thì sai rồi bạn

Avatar Lê Vĩnh Thiện @le.vinh.thien
thg 3 14, 2022 6:33 SA

@conghdql4 vậy thì bạn sai từ cái đoạn lấy ra cái $arr. tại sao lại xuất hiện những ID ko tồn tại, rồi để phải xử lý sql khổ như vậy.

Avatar CongHD @conghdql4
thg 3 14, 2022 7:34 SA

@le.vinh.thien Ví dụ như chủ thớt muốn đếm những account đều xuất hiện ở hệ thống A và hệ thống B thì sao bạn ?

Avatar CongHD @conghdql4
thg 3 14, 2022 7:34 SA

@le.vinh.thien Về cơ bản, 1 website có thể trích xuất dữ liệu từ nhiều CSDL 1 lúc.

Avatar Phong @zhujinfeng
thg 3 14, 2022 3:13 CH

Bạn ấy đang muốn xử lý ở db mà bạn? Dùng hàm count như thế thì nó load 30k items lên memory thì chết mất.

Avatar LongThanh @LongThanh.it
thg 3 15, 2022 4:41 SA

Đúng rồi mình không count vậy được. Bài toán của mình như này. Mình phải lấy 1 mảng cực to sau đó vì đặc thù mảng đó sẽ phải trừ đi Mảng A, trừ mảng B nữa sau đó mới ra được cái $arr như trên. Câu truy vấn dưới đây là mình tóm lại thôi chứ thực ra yêu cầu là cần đếm số post trong cái mảng $arr kia và có date > mốc thời gian .

$countPost = DB::table('posts')->whereIn('id', $arr)->count();

Vì thế k dùng count($arr) được. vì cái size của $arr to nên truy vấn nó bị limit gì đó nên cout chắc là ko chạy đc hết nên nó return về 0.

Avatar Lê Vĩnh Thiện @le.vinh.thien
thg 3 15, 2022 7:48 SA

@LongThanh.it vậy thì bài toán của b phải làm lại từ chỗ lấy mảng to, trừ A, B kia. chứ ko phải tìm cách để bypass cái whereIn để nó xử lý đc nhiều hơn vì hãy nghĩ đến dữ liệu có 100k, 1tr thì tăng cái max_allowed_packet đến bao giờ cho đủ. ví dụ mảng $arr chứa 30k posts rồi thì ko cần dùng sql để đếm số post có date > mốc thời gian nữa. có thể dùng for để lặp rồi đếm or đơn giản hơn là khi lấy ra mảng cực to, mảng A, mảng B thì lấy những cái có date phù hợp trc đã.

@conghdql4 Ví dụ như chủ thớt muốn đếm những account đều xuất hiện ở hệ thống A và hệ thống B thì sao bạn ?

ví dụ gặp trg hợp ntn thì nên có 1 bảng riêng để lưu thông tin rằng account ở A có tồn tại ở B ko và ngược lại. việc check này đc thực hiện sau khi đk tài khoản. sau đó việc count và thống kê dễ dàng hơn rất nhiều. ví dụ FB check xem user có dùng Insta ko thì chẳng nhẽ mỗi lần check lại whereIn với hàng triệu , hàng tỷ ID.

Đã trả lời thg 3 22, 2022 2:49 SA
+1

nếu cái $arr bạn lấy từ 1 table khác thì cách tốt nhất là bạn join 2 bảng và count()

Chia sẻ
Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí