Cần tư vấn giải pháp MySQL lớn lên đến 10 triệu rows

Trước hết, bạn cần phải xác định được xem câu querry nào thực sự đã làm chậm quá trình load website của bạn. Bạn có thể thực hiện việc đó bằng cách bật chức năng log slow queries của Mysql lên:

# Enable slow query log 
SET GLOBAL slow_query_log = 'ON';
# Chỉnh lại thời gian của query được nhận định là long query, mặc định là 10 giây
SET GLOBAL long_query_time = 1;
# Check xem slow query logs sẽ được lưu ở đâu 
SELECT @@GLOBAL.slow_query_log_file;
# Bạn có thể thay đổi file mặc định này bằng cách 
SET GLOBAL slow_query_log_file = '/path/to/filename';

Ngoài ra, bạn cũng nên bật cả log query để check xem có bao nhiêu query đã được thực hiện nữa

SET GLOBAL general_log = 'ON';
# Check xem query logs sẽ được lưu ở đâu 
SELECT @@GLOBAL.general_log_file;

Sau đó hãy thử reload lại trang web để tìm ra nguyên nhân cho việc làm giảm performance service của mình nhé.

Một số nguyên nhân cơ bản có thể kể ra như:

• Gặp phải vấn đề về n+1 query, dẫn đến lượng truy vấn database quá lớn
• Sử dụng nhiều lệnh join phức tạp, cột dữ liệu cần truy vấn chưa được đánh index ...

Câu hỏi của bạn khá chung chung. Nói về MySQL thì 10 triệu dòng không phải là con số nhỏ, nhưng cũng không phải là con số lớn. Trên thế giới đã có rất nhiều Web Site đã Scale MySQL với lượng Data lớn hơn thế này nhiều. Có thể đi theo 1 vài bước sau:

1. Optimize Query: Bạn có thể xem cách đọc các Query bị chậm như cách của anh Thắng bên trên, hoặc lấy trực tiếp các Query mà bạn nghi là chậm sau đó chạy trên MySQL Command sẽ thấy thời gian chạy của Query đó. Bạn có thể xem thêm khoá học này để hiểu thêm về cách Optimize Query: https://goo.gl/md5QdB
2. Replication. Sử dụng cơ chế Replication của MySQL, tạo 1 bản Master chuyên ghi DB và 1 bản chuyên đọc. Giải pháp này nếu như MySQL DB của bạn thường xuyên được ghi vào.
3. Caching. Một giải pháp Caching hay sử dụng hiện nay là Redis. Tốc độ của nó cực cao, nên bạn cứ yên tâm mà sử dụng. Bên Stackoverflow họ dùng SQL Server và Redis để Caching, tốc độ vào trang của họ thì bạn cũng biết rồi đó. Còn về cơ chế Cache thì cũng đơn giản, đầu tiên là kiểm tra ID của bản ghi đó có tồn tại trong Cache không, nếu có thì lấy từ Cache, không thì Query từ DB ra, sau đó cũng Cache bài đó vào Redis. Nếu trang bạn là tin tức là có thể chạy Crontab mỗi ngày lấy ra 100 bài nhiều người đọc nhất, xong đưa vào Cache. Nhìn chung giải quyết vấn đề cho các trang tin tức dễ hơn là các trang thương mại điện tử vì trang tin thì đọc ra là chủ yếu. Về DO thì các vấn đề như Network hay CDN chắc không phải là vấn đề.

Không có một thông tin gì chi tiết nên mình cũng không thể comment gì về cách cải thiện cả. Tuy nhiên với những bảng data với số lượng lớn bản ghi bạn nên cân nhắc chuyển sang dùng NoSQL, độ linh hoạt của query sẽ bị hạn chế nhưng tốc độ đọc ghi thì vô đối Về NoSQL thì nếu có tiền thì xài hàng của AWS, còn không thì có thể dùng Cassandra hoặc MongoDB chẳng hạn.

Bạn có thể chia sẻ thiết kế các bảng liên quan cũng như query log của bạn ra đây được không?

Cá nhân mình thấy 10 triệu records thì bảng cũng chưa phải là quá lớn, chắc có thể fit hoàn toàn trên RAM. CPU cao thì nên check lại xem query nào mất nhiều thời gian nhất, index đánh đã đủ chưa.

Bạn nên thử dùng clickhouse. Bảng trên 10 tỉ dòng vẫn query ngon. Performance gấp 1000 đến 10000 lần Mysql. Mongo không cấu trúc nên không linh động câu query.

mình góp ý là lấy những gì cần lấy, tối ưu queries và sử dụng thêm elasticsearch, nếu data quá lớn thì có thể dùng sang db khác như cassandra or dynamodb nếu có điều kiện, ngoài ra dùng dataloader để batching và caching dữ liệu