Phạm Văn Toàn @pham.van.toan

24.1K 1.4K 93

Bất kỳ ai có liên kết 1 phút đọc

114

SSL - Thí nghiệm ý tưởng Enselble Momentum

Bài đăng này đã không được cập nhật trong 2 năm

Ý tưởng

Tạo các momentum models

Thực hiện ensemble các momentum models khi huấn luyện trên dữ liệu có nhãn theo các chiến lược:

Chiến lược 1: 1 mạng => n momentum khác nhau => n momentum models
Chiến lược 2: n mạng (cùng 1 kiến trúc nhưng trọng số được khởi tạo ngẫu nhiên), 1 momentum => n momentum models

Lựa chọn số lượng model ensemble

Lựa chọn theo top K
Lựa chọn tất cả các model

Chiến lược ensemble

Thử nghiệm average
Thử nghiệm major voting (với hard label)
Thử nghiệm soft voting (với soft label)
Paper thử nghiệm các chiến lược ensemble khác nhau:
- Portrait Segmentation Using Ensemble of Heterogeneous Deep-Learning Models

Kết quả thí nghiệm

Tạo các momentum models

Chiến lược 1 - 1 mạng, n momentum khác nhau

Chiến lược 2 - n mạng, 1 momentum

Momentum = 0.95, n_epochs=200, tversky + diceloss

Đo trên tập validation

╒═════════╤══════════╤══════════╕
│ Model   │      IoU │     Dice │
╞═════════╪══════════╪══════════╡
│ Model 0 │ 0.835727 │ 0.910514 │
├─────────┼──────────┼──────────┤
│ Model 1 │ 0.835411 │ 0.910326 │
├─────────┼──────────┼──────────┤
│ Model 2 │ 0.8343   │ 0.909666 │
├─────────┼──────────┼──────────┤
│ Model 3 │ 0.835455 │ 0.910352 │
├─────────┼──────────┼──────────┤
│ Model 4 │ 0.83541  │ 0.910325 │
├─────────┼──────────┼──────────┤
│ Model 5 │ 0.835458 │ 0.910354 │
├─────────┼──────────┼──────────┤
│ Model 6 │ 0.83541  │ 0.910325 │
├─────────┼──────────┼──────────┤
│ Model 7 │ 0.83603  │ 0.910693 │
├─────────┼──────────┼──────────┤
│ Model 8 │ 0.833504 │ 0.909192 │
├─────────┼──────────┼──────────┤
│ Model 9 │ 0.833516 │ 0.9092   │
├─────────┼──────────┼──────────┤
│ Origin  │ 0.835343 │ 0.910286 │
├─────────┼──────────┼──────────┤
│ Average │ 0.835022 │ 0.910095 │
╘═════════╧══════════╧══════════╛

Đo trên tập test

╒═════════╤══════════╤══════════╕
│ Model   │      IoU │     Dice │
╞═════════╪══════════╪══════════╡
│ Model 0 │ 0.735673 │ 0.844682 │
├─────────┼──────────┼──────────┤
│ Model 1 │ 0.735781 │ 0.844838 │
├─────────┼──────────┼──────────┤
│ Model 2 │ 0.733272 │ 0.843391 │
├─────────┼──────────┼──────────┤
│ Model 3 │ 0.736988 │ 0.845837 │
├─────────┼──────────┼──────────┤
│ Model 4 │ 0.735781 │ 0.844838 │
├─────────┼──────────┼──────────┤
│ Model 5 │ 0.736972 │ 0.845827 │
├─────────┼──────────┼──────────┤
│ Model 6 │ 0.735778 │ 0.844836 │
├─────────┼──────────┼──────────┤
│ Model 7 │ 0.732669 │ 0.842882 │
├─────────┼──────────┼──────────┤
│ Model 8 │ 0.736508 │ 0.845504 │
├─────────┼──────────┼──────────┤
│ Model 9 │ 0.736512 │ 0.845506 │
├─────────┼──────────┼──────────┤
│ Origin  │ 0.72509  │ 0.837188 │
╘═════════╧══════════╧══════════╛

Train model semi với nhãn giả của ensemble tất cả momentum models

Kết quả trên tập test, n_epochs=200, tversky + diceloss

Sử dụng soft label

╒═══════════════════╤══════════╤══════════╕
│ Dataset           │      IoU │     Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB      │ 0.816859 │ 0.899199 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.605836 │ 0.754543 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB       │ 0.67823  │ 0.808268 │
├───────────────────┼──────────┼──────────┤
│ CVC-300           │ 0.805148 │ 0.892057 │
├───────────────────┼──────────┼──────────┤
│ Kvasir            │ 0.836237 │ 0.910816 │
├───────────────────┼──────────┼──────────┤
│ Total             │ 0.748462 │ 0.852977 │
╘═══════════════════╧══════════╧══════════╛

Sử dụng hard label


╒═══════════════════╤══════════╤══════════╕
│ Dataset           │      IoU │     Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB      │ 0.794219 │ 0.885309 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.614481 │ 0.761212 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB       │ 0.682618 │ 0.811376 │
├───────────────────┼──────────┼──────────┤
│ CVC-300           │ 0.809873 │ 0.89495  │
├───────────────────┼──────────┼──────────┤
│ Kvasir            │ 0.829578 │ 0.906851 │
├───────────────────┼──────────┼──────────┤
│ Total             │ 0.746154 │ 0.85194  │
╘═══════════════════╧══════════╧══════════╛

Train model semi với nhãn giả của ensemble top k momentum models

Kết quả trên tập test, n_epochs=200, tversky + diceloss, k = 5

Sử dụng soft label

╒═══════════════════╤══════════╤══════════╕
│ Dataset           │      IoU │     Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB      │ 0.81719  │ 0.8994   │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.6357   │ 0.777282 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB       │ 0.639619 │ 0.780204 │
├───────────────────┼──────────┼──────────┤
│ CVC-300           │ 0.819238 │ 0.900639 │
├───────────────────┼──────────┼──────────┤
│ Kvasir            │ 0.841304 │ 0.913813 │
├───────────────────┼──────────┼──────────┤
│ Total             │ 0.75061  │ 0.854268 │
╘═══════════════════╧══════════╧══════════╛

Sử dụng hard label

╒═══════════════════╤══════════╤══════════╕
│ Dataset           │      IoU │     Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB      │ 0.820985 │ 0.901693 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.625755 │ 0.769802 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB       │ 0.658182 │ 0.79386  │
├───────────────────┼──────────┼──────────┤
│ CVC-300           │ 0.799716 │ 0.888714 │
├───────────────────┼──────────┼──────────┤
│ Kvasir            │ 0.837478 │ 0.911552 │
├───────────────────┼──────────┼──────────┤
│ Total             │ 0.748423 │ 0.853124 │
╘═══════════════════╧══════════╧══════════╛

Train model semi với nhãn giả của best checkpoint

Kết quả trên tập test, n_epochs=200, tversky + diceloss

Sử dụng soft label

╒═══════════════════╤══════════╤══════════╕
│ Dataset           │      IoU │     Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB      │ 0.828063 │ 0.905946 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.611597 │ 0.758995 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB       │ 0.672619 │ 0.80427  │
├───────────────────┼──────────┼──────────┤
│ CVC-300           │ 0.808071 │ 0.893849 │
├───────────────────┼──────────┼──────────┤
│ Kvasir            │ 0.819295 │ 0.900673 │
├───────────────────┼──────────┼──────────┤
│ Total             │ 0.747929 │ 0.852747 │
╘═══════════════════╧══════════╧══════════╛

Sử dụng hard label

╒═══════════════════╤══════════╤══════════╕
│ Dataset           │      IoU │     Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB      │ 0.823532 │ 0.903227 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.605503 │ 0.754284 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB       │ 0.660763 │ 0.795734 │
├───────────────────┼──────────┼──────────┤
│ CVC-300           │ 0.818012 │ 0.899897 │
├───────────────────┼──────────┼──────────┤
│ Kvasir            │ 0.830585 │ 0.907453 │
├───────────────────┼──────────┼──────────┤
│ Total             │ 0.747679 │ 0.852119 │
╘═══════════════════╧══════════╧══════════╛

SSL

Ý tưởng

Tạo các momentum models

Lựa chọn số lượng model ensemble

Chiến lược ensemble

Kết quả thí nghiệm

Tạo các momentum models

Chiến lược 1 - 1 mạng, n momentum khác nhau

Chiến lược 2 - n mạng, 1 momentum

Train model semi với nhãn giả của ensemble tất cả momentum models

Sử dụng soft label

Sử dụng hard label

Train model semi với nhãn giả của ensemble top k momentum models

Sử dụng soft label

Sử dụng hard label

Train model semi với nhãn giả của best checkpoint

Sử dụng soft label

Sử dụng hard label

Mục lục