Thao tác với tệp có dung lượng lớn trong Ruby
This post hasn't been updated for 6 years
Làm việc với những file dữ liệu lớn, điển hình là CSV không phải là chuyện hiếm gặp. Với Ruby, có khá nhiều cách để xử lý thông tin những file này, nhưng hay cùng kiểm chứng xem tài nguyên hệ thống được tiêu tốn thế nào cho mỗi cách.
Khởi tạo môi trường
Ruby version : 2.4.0
Operation : macOS SierraSierra 10.12.5
Processor : 2.7 GHz Intel Core i5
Memory : 8 GB 1867 MHz DDR3
Tạo file helpers.rb chứa method hiển thị thời gian và lượng bộ nhớ sử dụng :
require "benchmark"
def print_memory_usage
memory_before = `ps -o rss= -p #{Process.pid}`.to_i
yield
memory_after = `ps -o rss= -p #{Process.pid}`.to_i
puts "Memory: #{((memory_after - memory_before) / 1024.0).round(2)} MB"
end
def print_time_spent
time = Benchmark.realtime do
yield
end
puts "Time: #{time.round(2)}"
end
Sau đó thử 1 file csv khoảng trên dưới 1 triệu dòng.
require "csv"
require_relative "./helpers"
headers = ["id", "name", "email"]
name = "Elijah Mikaelson"
email = "elijah@mikaelson.com"
print_memory_usage do
print_time_spent do
CSV.open("data.csv", "w", write_headers: true, headers: headers) do |csv|
1_000_000.times do |i|
csv << [i, name, email]
end
end
end
end
Với máy mình, đây là thông số được trả về khi tạo file csv trên :
Time: 4.69
Memory: 0.14 MB
File data.csv tạo ra có dung lượng khoảng 43 MB.
Sử dụng CSV.read để đọc cả file
require_relative './helpers'
require 'csv'
print_memory_usage do
print_time_spent do
csv = CSV.read('data.csv', headers: true)
sum = 0
csv.each do |row|
sum += row['id'].to_i
end
puts "Sum: #{sum}"
end
end
Sum: 499999500000
Time: 10.85
Memory: 626.81 MB
Xử lý file csv có 43 MB mà đã dùng tới hơn 600 MB, điều này thật sự là không ổn. Điều này xảy ra do có quá nhiều String object được tạo ra, và không được dọn dẹp ngay sau khi đã sử dụng.
Sử dụng CSV.parse
Lần này ta đọc file csv sau đó khởi tạo thành một CSV object để sử dụng.
require_relative './helpers'
require 'csv'
print_memory_usage do
print_time_spent do
content = File.read('data.csv')
csv = CSV.parse(content, headers: true)
sum = 0
csv.each do |row|
sum += row['id'].to_i
end
puts "Sum: #{sum}"
end
end
Sum: 499999500000
Time: 11.1
Memory: 638.34 MB
Hiển nhiên bộ nhớ tiêu tốn tăng lên do chứa cả object CSV ta vừa parse được.
Xử lý từng dòng của file
require_relative './helpers'
require 'csv'
print_memory_usage do
print_time_spent do
content = File.read('data.csv')
csv = CSV.new(content, headers: true)
sum = 0
while row = csv.shift
sum += row['id'].to_i
end
puts "Sum: #{sum}"
end
end
Sum: 499999500000
Time: 9.27
Memory: 42.85 MB
Đã thấy sự khác biệt, với cách đọc từng dòng này, ta chỉ tốn bộ nhớ lưu lại CSV object, kích thước tương đương dung lượng file csv thực tế.
Xử lý từng dòng của file từ IO object
require_relative './helpers'
require 'csv'
print_memory_usage do
print_time_spent do
File.open('data.csv', 'r') do |file|
csv = CSV.new(file, headers: true)
sum = 0
while row = csv.shift
sum += row['id'].to_i
end
puts "Sum: #{sum}"
end
end
end
Sum: 499999500000
Time: 9.93
Memory: 0.23 MB
Bạn có thấy gì không, chỉ 0.23 MB thôi ?
Hoặc ta có thể dùng CSV.foreach
require_relative './helpers'
require 'csv'
print_memory_usage do
print_time_spent do
sum = 0
CSV.foreach('data.csv', headers: true) do |row|
sum += row['id'].to_i
end
puts "Sum: #{sum}"
end
end
Sum: 499999500000
Time: 9.65
Memory: 0.2 MB
Để tạo ra sự khác biệt này, theo mình khi sử dụng IO object, thực chất ta đang stream nội dung của object, dùng tới đâu load tới đó chứ không phải load tất cả nội dung file vào bộ nhớ, từ đó dẫn tới sự khác biết hoàn toàn bộ nhớ.
Kết luận
Phần lớn các trường hợp ta xử lý file csv lớn đều không cần load tất cả vào bộ nhớ làm gì, vì vậy ta hoàn toàn có những cách để xử lý để tiết kiệm tài nguyên hệ thống triệt để.
All Rights Reserved