-
Notifications
You must be signed in to change notification settings - Fork 1
/
highline_process.txt
93 lines (69 loc) · 3.75 KB
/
highline_process.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
- add Albumentation to augment
- Active learning phase:
+ tách tập train: chia tạm thành các phần.
+ giữ nguyên tập test, làm mốc.
- Cách query: Pool-Based sampling:
+ Cách 1 : sau khi training x% data, xét trong tập 20% data tiếp theo trong pool dataset, những ảnh nào cos ece lowns ...
+ Cách 2:
- Lần lặp 1: lấy 20% original training set -> train model X1 - thu được test_iou = 20% (giả sử), 80% data còn lại để X1 đánh giá, chọn ra những ảnh có ece cao ( tìm ngưỡng nào đó ) ,
ta thu được một training dataset mới, giả sử như tập training set mới này chiếm 40% original training set.
- Lần lặp 2: lấy new collected training data set này để train model X2 - thu được test_iou = x , lặp lại quá trình collect data mới như trên.
- ..
- Điều kiện dừng : xảy ra 1 trong đk dưới đây
+ Plot test_iou từ những lần lặp ở trên,khi thấy biểu đồ này ko tăng nhiều lên nữa thì dừng lại , ta sẽ thấy điểm yên ngựa trên đồ thị VV
kiểm tra xem giá trị test_iou này có đạt được 87% hay không.
+ nếu graph plot test_iou ở trên vẫn tăng liên tục thì continue đến khi hết training data.( đây là trường hơp j??? )
- The segmentation uncertainty map is computed as: Q = 1 − p¯2 − (1 − p¯)2
- We compare the estimated segmentation uncertainty maps in terms of the Expected Calibration Error (ECE)
- 25% data:
Test Dice Coeff: 0.81353242047455
INFO: Test IOU : 0.6964942997564441
Test IOU : 0.6964942997564441
Test Dice Coeff: 0.8221562346038611
INFO: Test IOU : 0.7108761444687843
Test IOU : 0.7108761444687843
Test Dice Coeff: 0.8258616402745247
INFO: Test IOU : 0.7174287977749887
Test IOU : 0.7174287977749887
Test Dice Coeff: 0.8370331111161605
INFO: Test IOU : 0.7348670541592266
Test IOU : 0.7348670541592266
Epoch 2/30: 100%|████████| 672/672 [00:58<00:00, 11.39img/s, loss (batch)=0.125]
INFO: Checkpoint 2 saved !
Test Dice Coeff: 0.8498532561504323
INFO: Test IOU : 0.7474604297591292
Test IOU : 0.7474604297591292
Epoch 4/30: 100%|████████| 672/672 [01:01<00:00, 10.94img/s, loss (batch)=0.103]
INFO: Checkpoint 4 saved !
Test Dice Coeff: 0.8537741228938103
INFO: Test IOU : 0.754509604819443
Test IOU : 0.754509604819443
Epoch 5/30: 100%|████████| 672/672 [01:00<00:00, 11.10img/s, loss (batch)=0.095]
INFO: Checkpoint 5 saved !
Test Dice Coeff: 0.8552477165408756
INFO: Test IOU : 0.7609727508995844
Test IOU : 0.7609727508995844
Epoch 6/30: 100%|███████| 672/672 [01:02<00:00, 10.79img/s, loss (batch)=0.0963]
INFO: Checkpoint 6 saved !
Test Dice Coeff: 0.8627196051504301
INFO: Test IOU : 0.7689835814678151
Test IOU : 0.7689835814678151
Epoch 7/30: 100%|███████| 672/672 [01:01<00:00, 10.86img/s, loss (batch)=0.0981]
INFO: Checkpoint 7 saved !
----------------
10/2
When selecting next data :
- using add_img_to_pool with filename="data_one32nd"
- re-writing dataset loader
Mean: tensor(-4.2677, device='cuda:0')
std: tensor(0.1414, device='cuda:0')
Mean: tensor(-4.2683, device='cuda:0')
std: tensor(0.1393, device='cuda:0')
- train data: fetch data cho từng phase, mỗi phase sau khi training đều lưu best iou ckpt
lưu lại test iou vào tfboard
- Khi sửa các phương pháp: chú ý thay đường dẫn thư mục ckpt và đổi tên trong tfboard.
19/2:
- adding augment
- visualize std/also other acquisition function after each phase to make a std histogram
- trong file json khi khởi tạo 84 ảnh đầu tiên (1/32) lượng data training ban đầu : chứa khoảng ảnh của 5-6 bệnh nhân ( tức ko bị random
ảnh của nhiều bệnh nhân ).