(4.27) backbone 실험

모델	배치	시드	time/step	epoch	loss	val_loss	val_mIoU	LB score
DeepLabV3+, resnext50	16	77	4.8s	10	0.108	0.283	0.463	0.5754
DeepLabV3+, seresnext50	16	77	6.8s	16	0.057	0.280	0.476	0.5670
DeepLabV3+, resnext50	8	77	2.4s	9	0.098	0.294	0.451	0.5795

비고

• scheduler: CosineAnnealingWarmup(LR_start=2e-6, LR_max=1e-4, T_0=20, T_up=2)
• batch_size를 8로 주면 마지막(327번째) 배치에서 size관련 에러 발생
  ㄴ train_loader에서 drop_last=True로 해결했으나 원인파악을 못함
  
• V3에 비해 V3+가 파라미터 수도 작고, 러닝타임도 빠름
• smp 모델에서 인코더 부분만 timm 모델로 교체하려 했으나, 동일 모델이라도 weight값이 아예 달랐음 (일단 시도 예정)

배치16 기준 러닝타임(per step)

• PSPNet : eff-b0(3.2s), eff-b3(3.5s), resnet34(6.0s)
• DeepLabV3+ : resnext50(4.8s), eff-b0(6.7s), seresnext50(6.8s), eff-b3(9.5s), effi-b5(15.5s)