Sidekiq trick: Thực thi job trên 1 host cố định trong cluster

Sidekiq

Các bạn code ruby chắc hẳn không hề xa lại với sidekiq. Đây là một gem thường được dùng cho việc xử lý background jobs trong Rails. Về sidekiq, bạn có thể đọc thêm ở bài viết này: https://viblo.asia/p/gioi-thieu-ve-sidekiq-va-mot-so-co-che-hoat-dong-Qbq5QW2GZD8

Sidekiq gồm 3 phần chính là Sidekiq Client, Sidekiq Server và Redis.

• Sidekiq client: đẩy job vào hàng đợi.
• Redis: là data storage cho sidekiq, dùng để lưu trữ các job được đẩy xuống từ sidekiq client.
• Sidekiq server: là một process độc lập, pull job từ queue trong Redis và xử lý.

Tình huống

Giả sử bạn có nhiều Sidekiq server (host), tất cả các host này đều sử dụng chung 1 redis server để lưu trữ các job.

Thông thường, 1 job sau khi đẩy vào hàng đợi sẽ được random 1 trong các Sidekiq Server pull về và thực thi.

Tuy nhiên, vì một lí do đặc biệt, bạn muốn 1 job nào đó chỉ được thực thi trên 1 Host cố định. Vậy phải làm thế nào?

Giải pháp

Ý tưởng là chúng ta có thể sử dụng 1 queue chỉ tồn tại trên Host mình muốn.

Vậy làm thế nào để tạo ra 1 queue như trên ?

Sửa file config/sidekiq.yml

Đầu tiên chúng ta sẽ yêu cầu các Sidekiq Server khi được khởi tạo sẽ listen 1 queue có tên là hostname của Sidekiq Server đó.

:verbose: false
:concurrency: 25
:queues:
  - default
  - <%= `hostname`.strip %>

Trong đó hostname là linux command trả về tên của Server. Với mỗi host, kết quả trả về sẽ khác nhau. Nhờ đó chúng ta đã tạo ra 1 dynamic queue.

Chỉ định queue cho Worker

Giả sử server muốn chạy job này có tên là AHIHI

class SpecificWorker
  include Sidekiq::Worker
  sidekiq_options queue: "AHIHI"

  def perform(filename)
    # process image
  end
end

Bây giờ khi 1 job SpecificWorker được đẩy vào queue, nó sẽ được lưu vào hàng đợi có tên là "AHIHI". Và nó sẽ chỉ được thực thi trên server bạn muốn.

hoặc trong tình huống Sidekiq client và Sidekiq Server cùng đặt trên 1 host. Bạn muốn Sidekiq Server nào thực thi Job được tạo bởi Sidekiq Client trên host đấy thì có thể là

sidekiq_options queue: `hostname`.strip

It worked like a charm!