Đã đăng vào khoảng 8 giờ trước 13 phút đọc

[Điểm báo] Giới thiệu về AKOrN - ARTIFICIAL KURAMOTO OSCILLATORY NEURONS

Giới thiệu về AKOrN - Artificial Kuramoto Oscillatory Neurons

Dựa trên bài báo Artificial Kuramoto Oscillatory Neurons (ICLR 2025 Oral)

AI có thực sự cần một loại neuron mới?

Suốt hơn 70 năm qua, gần như mọi mô hình Deep Learning đều được xây dựng từ cùng một "viên gạch" cơ bản: Artificial Neuron.

Một neuron truyền thống thực hiện một phép biến đổi rất đơn giản:

$y = \sigma(Wx + b)$

Trong đó:

(x): vector đầu vào
(W): ma trận trọng số
(b): bias
(\sigma): hàm kích hoạt (ReLU, GELU,...)

Sau khi tính xong giá trị này, neuron lập tức truyền kết quả sang tầng tiếp theo.

Input
   │
Linear (Wx+b)
   │
Activation
   │
Output

Cơ chế này cực kỳ hiệu quả và là nền tảng của hầu hết các mô hình hiện đại như CNN, Transformer hay MLP.

Tuy nhiên, nếu nhìn sang não bộ sinh học, neuron thật không hoạt động theo cách "tính xong rồi truyền đi" như vậy.

Neuron sinh học liên tục trao đổi tín hiệu với nhau, dao động theo thời gian và hình thành các cụm đồng bộ (synchronization). Nhiều nghiên cứu thần kinh học cho rằng chính sự đồng bộ này đóng vai trò quan trọng trong việc kết hợp (binding) nhiều đặc trưng khác nhau thành một nhận thức thống nhất về một đối tượng.

Đó chính là câu hỏi mà AKOrN đặt ra:

Nếu mỗi neuron không còn là một hàm tính tĩnh, mà trở thành một hệ động lực học có khả năng đồng bộ với các neuron khác thì sao?

Kuramoto Model - Mô hình đồng bộ dao động

Ý tưởng của AKOrN bắt nguồn từ Kuramoto Model, một mô hình nổi tiếng trong vật lý dùng để mô tả hiện tượng đồng bộ của nhiều oscillator.

Ví dụ kinh điển là hàng chục chiếc metronome đặt trên cùng một tấm gỗ.

Ban đầu mỗi chiếc dao động theo nhịp riêng.

Sau một thời gian, nhờ truyền dao động qua mặt gỗ, tất cả dần gõ cùng một nhịp.

Kuramoto mô tả quá trình này bằng phương trình:

$\frac{d\theta_i}{dt} =b\omega_i + \frac{K}{N} \sum_{j=1}^{N} \sin(\theta_j-\theta_i)$

Trong đó:

( $\theta_i$ ): phase của oscillator thứ (i)
( $\omega_i$ ): tần số tự nhiên
(K): coupling strength
(N): số oscillator
( $\sin(\theta_j-\theta_i)$ ): mức ảnh hưởng giữa hai oscillator

Nếu không có coupling:

$\frac{d\theta_i}{dt}=\omega_i$

mỗi oscillator quay hoàn toàn độc lập.

Khi thêm thành phần coupling,

$\sum_j\sin(\theta_j-\theta_i)$

mỗi oscillator sẽ liên tục điều chỉnh pha của mình để "gần" các oscillator khác hơn.

Sau nhiều bước cập nhật,

[ $\theta_1$ $\approx$ $\theta_2$ $\approx$ ... $\approx$ $\theta_N$ ]

Toàn bộ hệ thống đạt trạng thái synchronization.

Điểm đặc biệt là không có một bộ điều khiển trung tâm nào cả. Trạng thái đồng bộ xuất hiện hoàn toàn từ những tương tác cục bộ giữa các oscillator.

AKOrN biến neuron thành oscillator như thế nào?

Ở phần trước, chúng ta đã tìm hiểu Kuramoto Model, trong đó mỗi oscillator được mô tả bởi một pha ( $\theta_i$ ). Động lực học của hệ được biểu diễn bởi phương trình

$\dot{\theta}_i = \omega_i + \sum_j J_{ij}\sin(\theta_j-\theta_i)$

trong đó ( $\omega_i$ ) là tần số dao động tự nhiên của oscillator, còn ( $J_{ij}$ ) biểu diễn độ mạnh của tương tác giữa oscillator (i) và (j). Nếu ( $J_{ij}$ >0), hai oscillator có xu hướng đồng bộ pha; ngược lại nếu ( $J_{ij}$ <0), chúng có xu hướng lệch pha. Qua nhiều lần cập nhật, toàn bộ hệ có thể tự hội tụ về một trạng thái đồng bộ mà không cần bất kỳ bộ điều khiển trung tâm nào.

Tuy nhiên, mô hình này chưa thể áp dụng trực tiếp cho Deep Learning. Trong Kuramoto gốc, mỗi oscillator chỉ mang một biến pha, trong khi neuron trong mạng neural hiện đại thường biểu diễn một vector đặc trưng nhiều chiều. Vì vậy, AKOrN mở rộng mỗi oscillator thành một vector trên mặt cầu đơn vị:

$\mathbf{x}_i \in \mathbb{R}^N,\qquad \|\mathbf{x}_i\|_2 = 1$

Việc ràng buộc các oscillator trên unit hypersphere cho phép mô hình mở rộng từ dao động một chiều sang không gian đặc trưng nhiều chiều, phù hợp với biểu diễn trong Deep Learning.

Từ đó, phương trình động lực học của AKOrN được tổng quát thành

$\dot{\mathbf{x}}_i = \Omega_i\mathbf{x}_i + \operatorname{Proj}_{\mathbf{x}_i} \left( \mathbf{c}_i + \sum_j J_{ij}\mathbf{x}_j \right)$

với phép chiếu

$\operatorname{Proj}_{\mathbf{x}_i}(\mathbf{y}) = \mathbf{y} - \langle \mathbf{y}, \mathbf{x}_i \rangle \mathbf{x}_i$

Mặc dù nhìn có vẻ phức tạp, phương trình này thực chất vẫn giữ nguyên tinh thần của Kuramoto nhưng được bổ sung thêm các thành phần cần thiết để hoạt động như một neuron trong mạng học sâu:

( $\Omega_i\mathbf{x}_i$ ) là natural frequency term, mô tả xu hướng dao động nội tại của từng oscillator, tương tự (\omega_i) trong mô hình gốc.
( $\sum_j J_{ij}\mathbf{x}_j$ ) mô tả sự tương tác giữa các oscillator, giúp chúng trao đổi thông tin và dần tiến tới trạng thái đồng bộ.
( $\mathbf{c}_i$ ) là thành phần hoàn toàn mới trong AKOrN. Đây là tín hiệu được tính từ đầu vào của layer hiện tại (hoặc activation của layer trước), đóng vai trò đưa dữ liệu vào hệ động lực học dưới dạng 1 condition.
( $\operatorname{Proj}_{\mathbf{x}_i}(\cdot)$ ) chiếu vector cập nhật lên không gian tiếp tuyến của mặt cầu đơn vị, đảm bảo mỗi oscillator vẫn duy trì ràng buộc ( $|\mathbf{x}_i|_2$ = 1) sau mỗi lần cập nhật hay nói cách khác đảm bảo các cập nhật đóng vai trò như 1 lực quay chứ không đẩy thông tin ra khỏi mặt cầu.

Nói cách khác, thay vì tính toán đầu ra chỉ trong một phép biến đổi như neuron truyền thống, mỗi neuron AKOrN liên tục trao đổi thông tin với các neuron lân cận, kết hợp tín hiệu từ dữ liệu đầu vào và cập nhật trạng thái của mình qua nhiều bước đồng bộ. Chỉ sau khi hệ đạt trạng thái ổn định, biểu diễn cuối cùng mới được sử dụng cho các lớp tiếp theo.

Hàm năng lượng và tính hội tụ

Một câu hỏi tự nhiên là: Nếu các oscillator cứ liên tục tương tác với nhau, điều gì đảm bảo hệ sẽ hội tụ thay vì dao động lung tung với tốc độ ngày càng mất kiểm soát?

Để trả lời câu hỏi này, các tác giả xây dựng một Lyapunov energy function

$E = -\frac{1}{2} \sum_{i,j} \mathbf{x}_i^{\top} J_{ij} \mathbf{x}_j - \sum_i \mathbf{c}_i^{\top} \mathbf{x}_i.$

Dưới một số giả thiết đối xứng của (J_{ij}) và (\Omega_i), mỗi bước cập nhật đều làm giảm giá trị của (E). Điều này chứng minh rằng động lực học của AKOrN sẽ tiến tới một trạng thái cân bằng ổn định thay vì dao động vô hạn.

Điều quan trọng cần lưu ý là hàm năng lượng này không phải là loss function được tối ưu trong quá trình huấn luyện. Thay vào đó, nó đóng vai trò là một Lyapunov function để chứng minh rằng quá trình synchronization của các oscillator là ổn định và hội tụ. Chính trạng thái đồng bộ cuối cùng này sẽ trở thành biểu diễn của layer trước khi được truyền sang tầng tiếp theo.

I would rewrite it into a single cohesive section like this. It keeps the flow of Section 4, but removes unnecessary implementation details while preserving the key ideas.

Xây dựng Neural Network với AKOrN

Ở phần trước, chúng ta đã tìm hiểu cách một Artificial Kuramoto Oscillatory Neuron hoạt động dưới góc nhìn của hệ động lực học. Tuy nhiên, một neuron đơn lẻ chưa đủ để giải quyết các bài toán học sâu. Vì vậy, tác giả xây dựng AKOrN Block – một khối xử lý có thể thay thế cho các layer truyền thống trong mạng neural.

Đầu tiên, dữ liệu đầu vào được biến đổi thành một conditional stimuli (C). Đây là tín hiệu điều khiển quá trình đồng bộ của các oscillator, đóng vai trò đưa thông tin từ dữ liệu vào hệ động lực học.

Tiếp theo, các oscillator trong Kuramoto Layer liên tục cập nhật trạng thái của mình thông qua các phương trình động lực học đã trình bày ở phần trước. Trong mỗi bước cập nhật, các oscillator vừa trao đổi thông tin với nhau thông qua ma trận kết nối (J), vừa chịu ảnh hưởng từ tín hiệu đầu vào (C), giúp toàn bộ hệ dần tiến tới một trạng thái đồng bộ ổn định. Thay vì kiểm tra điều kiện hội tụ ở mỗi lần cập nhật, mô hình thường thực hiện một số bước synchronization cố định trong quá trình suy luận. Trong quá trình này (J) có thể là kết quả của 1 mô hình attention hoặc convolution với đầu vào là feature hiện tại để mô phỏng mối liện hệ giữa các neuron.

Cuối cùng, trạng thái đồng bộ của các oscillator được đưa qua Readout Layer để chuyển thành một vector đặc trưng thông thường, sau đó truyền sang layer tiếp theo hoặc tầng phân loại. Việc tách riêng Kuramoto Layer và Readout Layer giúp AKOrN có thể đưa biểu diễn từ các hệ thống động lực học từ từ trở về với các feature đơn giảm bình thường từ đó có thể tiếp tục truyền vào các cấu trúc khác.

Vì sao synchronization lại giúp học biểu diễn tốt hơn?

Một trong những động lực chính của AKOrN là giải quyết bài toán feature binding.

Giả sử mạng đang nhìn thấy một chiếc xe màu đỏ.

CNN hoặc Transformer có thể trích xuất nhiều đặc trưng riêng lẻ:

red
wheel
window
door
shadow

Nhưng làm thế nào để mô hình biết rằng những đặc trưng này đều thuộc cùng một chiếc xe, chứ không phải nhiều đối tượng khác nhau?

AKOrN giả thuyết rằng các neuron biểu diễn cùng một đối tượng sẽ dần đồng bộ pha thông qua quá trình synchronization.

Nhờ đó, các đặc trưng liên quan có xu hướng hình thành một biểu diễn thống nhất trước khi được truyền sang tầng tiếp theo.

Theo kết quả trong bài báo, cơ chế này giúp cải thiện hiệu năng trên nhiều bài toán như object discovery, visual reasoning, adversarial robustness và uncertainty estimation.

Kết luận

Artificial Kuramoto Oscillatory Neurons không chỉ đề xuất một loại neuron mới, mà còn mang đến một góc nhìn khác về cách mạng neural có thể xử lý thông tin.

Thay vì xem neuron là một phép biến đổi tĩnh:

$y=\sigma(Wx+b)$

AKOrN coi mỗi neuron là một hệ động lực học có khả năng tương tác và đồng bộ với các neuron khác trước khi tạo ra đầu ra cuối cùng.

Điểm thú vị là sự hội tụ của quá trình này được đảm bảo bởi một Lyapunov energy function, giúp mô hình đạt trạng thái ổn định mà không cần tối ưu năng lượng như các Energy-Based Models.

Mặc dù chi phí tính toán vẫn cao hơn so với các neuron truyền thống do cần nhiều bước synchronization trong mỗi layer, AKOrN mở ra một hướng nghiên cứu đầy hứa hẹn: liệu việc bổ sung động lực học và khả năng đồng bộ vào neuron có thể giúp các mô hình AI học biểu diễn gần hơn với cách bộ não sinh học hoạt động?

Tài liệu tham khảo

Miyato, T., Löwe, S., Geiger, A., & Welling, M. Artificial Kuramoto Oscillatory Neurons. ICLR 2025 (Oral).
arXiv:2410.13821 — https://arxiv.org/abs/2410.13821
Official code: https://github.com/autonomousvision/akorn

AI research Sun* AI Research Team