SSL - Thí nghiệm ý tưởng Enselble Momentum
Bài đăng này đã không được cập nhật trong 2 năm
Ý tưởng
Tạo các momentum models
Thực hiện ensemble các momentum models khi huấn luyện trên dữ liệu có nhãn theo các chiến lược:
- Chiến lược 1: 1 mạng => n momentum khác nhau => n momentum models
- Chiến lược 2: n mạng (cùng 1 kiến trúc nhưng trọng số được khởi tạo ngẫu nhiên), 1 momentum => n momentum models
Lựa chọn số lượng model ensemble
- Lựa chọn theo top K
- Lựa chọn tất cả các model
Chiến lược ensemble
- Thử nghiệm average
- Thử nghiệm major voting (với hard label)
- Thử nghiệm soft voting (với soft label)
- Paper thử nghiệm các chiến lược ensemble khác nhau:
Kết quả thí nghiệm
Tạo các momentum models
Chiến lược 1 - 1 mạng, n momentum khác nhau
Chiến lược 2 - n mạng, 1 momentum
Momentum = 0.95, n_epochs=200, tversky + diceloss
Đo trên tập validation
╒═════════╤══════════╤══════════╕
│ Model │ IoU │ Dice │
╞═════════╪══════════╪══════════╡
│ Model 0 │ 0.835727 │ 0.910514 │
├─────────┼──────────┼──────────┤
│ Model 1 │ 0.835411 │ 0.910326 │
├─────────┼──────────┼──────────┤
│ Model 2 │ 0.8343 │ 0.909666 │
├─────────┼──────────┼──────────┤
│ Model 3 │ 0.835455 │ 0.910352 │
├─────────┼──────────┼──────────┤
│ Model 4 │ 0.83541 │ 0.910325 │
├─────────┼──────────┼──────────┤
│ Model 5 │ 0.835458 │ 0.910354 │
├─────────┼──────────┼──────────┤
│ Model 6 │ 0.83541 │ 0.910325 │
├─────────┼──────────┼──────────┤
│ Model 7 │ 0.83603 │ 0.910693 │
├─────────┼──────────┼──────────┤
│ Model 8 │ 0.833504 │ 0.909192 │
├─────────┼──────────┼──────────┤
│ Model 9 │ 0.833516 │ 0.9092 │
├─────────┼──────────┼──────────┤
│ Origin │ 0.835343 │ 0.910286 │
├─────────┼──────────┼──────────┤
│ Average │ 0.835022 │ 0.910095 │
╘═════════╧══════════╧══════════╛
Đo trên tập test
╒═════════╤══════════╤══════════╕
│ Model │ IoU │ Dice │
╞═════════╪══════════╪══════════╡
│ Model 0 │ 0.735673 │ 0.844682 │
├─────────┼──────────┼──────────┤
│ Model 1 │ 0.735781 │ 0.844838 │
├─────────┼──────────┼──────────┤
│ Model 2 │ 0.733272 │ 0.843391 │
├─────────┼──────────┼──────────┤
│ Model 3 │ 0.736988 │ 0.845837 │
├─────────┼──────────┼──────────┤
│ Model 4 │ 0.735781 │ 0.844838 │
├─────────┼──────────┼──────────┤
│ Model 5 │ 0.736972 │ 0.845827 │
├─────────┼──────────┼──────────┤
│ Model 6 │ 0.735778 │ 0.844836 │
├─────────┼──────────┼──────────┤
│ Model 7 │ 0.732669 │ 0.842882 │
├─────────┼──────────┼──────────┤
│ Model 8 │ 0.736508 │ 0.845504 │
├─────────┼──────────┼──────────┤
│ Model 9 │ 0.736512 │ 0.845506 │
├─────────┼──────────┼──────────┤
│ Origin │ 0.72509 │ 0.837188 │
╘═════════╧══════════╧══════════╛
Train model semi với nhãn giả của ensemble tất cả momentum models
Kết quả trên tập test, n_epochs=200, tversky + diceloss
Sử dụng soft label
╒═══════════════════╤══════════╤══════════╕
│ Dataset │ IoU │ Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB │ 0.816859 │ 0.899199 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.605836 │ 0.754543 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB │ 0.67823 │ 0.808268 │
├───────────────────┼──────────┼──────────┤
│ CVC-300 │ 0.805148 │ 0.892057 │
├───────────────────┼──────────┼──────────┤
│ Kvasir │ 0.836237 │ 0.910816 │
├───────────────────┼──────────┼──────────┤
│ Total │ 0.748462 │ 0.852977 │
╘═══════════════════╧══════════╧══════════╛
Sử dụng hard label
╒═══════════════════╤══════════╤══════════╕
│ Dataset │ IoU │ Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB │ 0.794219 │ 0.885309 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.614481 │ 0.761212 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB │ 0.682618 │ 0.811376 │
├───────────────────┼──────────┼──────────┤
│ CVC-300 │ 0.809873 │ 0.89495 │
├───────────────────┼──────────┼──────────┤
│ Kvasir │ 0.829578 │ 0.906851 │
├───────────────────┼──────────┼──────────┤
│ Total │ 0.746154 │ 0.85194 │
╘═══════════════════╧══════════╧══════════╛
Train model semi với nhãn giả của ensemble top k momentum models
Kết quả trên tập test, n_epochs=200, tversky + diceloss, k = 5
Sử dụng soft label
╒═══════════════════╤══════════╤══════════╕
│ Dataset │ IoU │ Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB │ 0.81719 │ 0.8994 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.6357 │ 0.777282 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB │ 0.639619 │ 0.780204 │
├───────────────────┼──────────┼──────────┤
│ CVC-300 │ 0.819238 │ 0.900639 │
├───────────────────┼──────────┼──────────┤
│ Kvasir │ 0.841304 │ 0.913813 │
├───────────────────┼──────────┼──────────┤
│ Total │ 0.75061 │ 0.854268 │
╘═══════════════════╧══════════╧══════════╛
Sử dụng hard label
╒═══════════════════╤══════════╤══════════╕
│ Dataset │ IoU │ Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB │ 0.820985 │ 0.901693 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.625755 │ 0.769802 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB │ 0.658182 │ 0.79386 │
├───────────────────┼──────────┼──────────┤
│ CVC-300 │ 0.799716 │ 0.888714 │
├───────────────────┼──────────┼──────────┤
│ Kvasir │ 0.837478 │ 0.911552 │
├───────────────────┼──────────┼──────────┤
│ Total │ 0.748423 │ 0.853124 │
╘═══════════════════╧══════════╧══════════╛
Train model semi với nhãn giả của best checkpoint
Kết quả trên tập test, n_epochs=200, tversky + diceloss
Sử dụng soft label
╒═══════════════════╤══════════╤══════════╕
│ Dataset │ IoU │ Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB │ 0.828063 │ 0.905946 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.611597 │ 0.758995 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB │ 0.672619 │ 0.80427 │
├───────────────────┼──────────┼──────────┤
│ CVC-300 │ 0.808071 │ 0.893849 │
├───────────────────┼──────────┼──────────┤
│ Kvasir │ 0.819295 │ 0.900673 │
├───────────────────┼──────────┼──────────┤
│ Total │ 0.747929 │ 0.852747 │
╘═══════════════════╧══════════╧══════════╛
Sử dụng hard label
╒═══════════════════╤══════════╤══════════╕
│ Dataset │ IoU │ Dice │
╞═══════════════════╪══════════╪══════════╡
│ CVC-ClinicDB │ 0.823532 │ 0.903227 │
├───────────────────┼──────────┼──────────┤
│ ETIS-LaribPolypDB │ 0.605503 │ 0.754284 │
├───────────────────┼──────────┼──────────┤
│ CVC-ColonDB │ 0.660763 │ 0.795734 │
├───────────────────┼──────────┼──────────┤
│ CVC-300 │ 0.818012 │ 0.899897 │
├───────────────────┼──────────┼──────────┤
│ Kvasir │ 0.830585 │ 0.907453 │
├───────────────────┼──────────┼──────────┤
│ Total │ 0.747679 │ 0.852119 │
╘═══════════════════╧══════════╧══════════╛
All rights reserved
