Mẹo tạo số lượng lớn dữ liệu trong SQL để performance test

Mayfest2023

Đây là vấn đề mình gặp trong quá trình làm việc, viết vào đây vừa để note lại cho bản thân, vừa chia sẻ với mọi người.

Trong quá trình làm việc với cơ sở dữ liệu, thì thoảng mình cần phải test performance để thực hiện query để kiểm tra thời gian thực thi các câu lệch và tìm cách tối ưu chúng. Thông thường có 1 vài cách để thực hiện:

Tạo bằng tay thao tác trên các SQL tools, hay viết các lệch sql và chạy -> Cái này chỉ tạo được số lượng rất nhỏ.
Tìm trên mạng các database được chia sẻ -> Mình đã thử tìm, thường số lượng không quá lớn, cấu trúc dữ liệu không được như mong muốn.
Viết service tương tác với database và gọi lệnh để insert -> Tốn thời gian, phức tạp, yêu cầu biết code 1 số language (Java, php, js..)

Các bạn hay ngừng lại 5 phút suy nghĩ xem có phương pháp nào đơn giản và hiệu quả hơn không?

Vấn đề

Theo ý kiến cá nhân và trải nghiệm của mình, trong phương pháp trên, mình thấy phương pháp số 3 là đạt được yêu cầu nhưng hơi phức tạp.

Giải pháp

Mình tìm thấy rằng chúng ta có thể dùng stored procedure để hỗ trợ việc này, Cách sử dụng thì khá đơn giản, các bạn có thể xem link tham khảo.

Ví dụ mình cần insert dữ liệu vào bảng users

INSERT INTO test.users (created_date, updated_date) VALUES (DEFAULT, DEFAULT);

Thì mình sẽ tạo 1 stored procedure như bên dưới. Bên trong có 1 vòng lặp, chúng ta có thể khai báo con số bản ghi chúng ta mong muốn.

DELIMITER //
CREATE or replace PROCEDURE AutoInsertValuesToTable()
BEGIN
        DECLARE startingRange INT DEFAULT 10;
       WHILE startingRange <= 20000 DO
          INSERT INTO test.users (created_date, updated_date) VALUES (DEFAULT, DEFAULT);
          SET startingRange = startingRange + 1;
       END WHILE;
END //

DELIMITER ;

và thực hiện lời gọi SQL

call AutoInsertValuesToTable();

Cá nhân mình rất thích dùng cách này, mặc dù vẫn mất thời gian, chờ đợi cho các lệnh, trong thời gian này chúng ta có thể đi làm việc khác và chờ đợi kết quả.

Kết luận

Đây là cách mà mình vẫn dùng để generate dữ liệu để phục vụ quá trình nghiên cứu bản thân, Nếu mọi người có cách nào hay có thể chia sẻ bên dưới comment.