[피어세션] 2021-06-02

[nureesong]

⛔️ Merging 안 한 사람 반성합시다 🙇‍♀️🙇🏻

# lr logging            
if isinstance(lr_scheduler.get_lr(), float) or isinstance(lr_scheduler.get_lr(), int):
    wandb.log({"learning_rate": lr_scheduler.get_lr()})            
else:                
    for lr_ in lr_scheduler.get_lr():                    
        wandb.log({"learning_rate": lr_})

학습 중단 후 연결해서 학습 시킬 때

📌 cosine annealing 주기 고려해서 lr 수정
📌 teacher forcing = 0으로 수정

오늘 제출 5회 남음

1. 주영오빠: EfficientNetv2, input size = (256,512) 보라색 콩나물
2. 준철: swin_tiny
3. 누리: EffNetv2, h=256 w=512, encoder num_layer = 4 갈색 콩나물

---

제출용 모델

1. swin
2. SATRN - EffNet_v2

• inference 시간 계산 (주영 effnet - SATRN 기준)
  with torch.no_grad(): inference.py 에 붙이기
  이미지 30장 → 11초 (배치8)
  test 12000장 → 30분 정도 소요 예상
  5-fold → ??

Augmentation 실험

• Normalization issue. 왜 세로로 긴 이미지를 rotate해서 normalize한 게 더 안 좋지?? → 준철 재실험!
  Attention은 정사각형으로 짜부해서 세로로 잘라서 attention에 넣으니까 세로로 된 이미지에 대한 정보를 오히려 잘 담고 있을수도.
• Attention 비교 실험
  hidden_dim = 256으로 두 배 올리면 많이 오름. (회색)
  layer = 1 → 2 or 4로 올려볼까?
• Resize - Normalize - ToTensorV2 순서로
• aug 추가하면 train_score는 낮게 나오는 게 정상이다. 모델에게 더 어렵게 학습시키는 거니까.

---

실험결과 & 진행 상황

• swin_base 데이터 2만 개만 써서 실험 중 → 성능 잘 나온다.
• SATRN Beam search 구현 거의 다 되어감. tensor shape 에러 디버깅 중.
• SATRN decoder: GPT2
  Hugging face에서 사용 가능한 pretrained model이 많지 않다.
• CSTR 깃허브에서 복사해오는 중. → 시간 부족해서 안 해도 될 듯.
• \tan의 늪...에 빠져 im2latex 데이터 아직 미완성...
  준철: 각 토큰 별로 얼마나 잘 맞추는지 validation 확인해보기
  ⇒ 못 맞추는 토큰 위주로 데이터 증강할 예정
• Aida 이미지 데이터 증강: mix
  Aida에서 lim, 분자, 분모 잘라서 쓸 수 있을 듯.
  5000장 분모, 분자 자르기 → 10000장
  5000장 중 반은 \to → \rightarrow
  lim 위치에 int, sum 붙이는 것도 가능할 듯.
  bbox 정보 이용해서 인쇄물 + 손글씨 믹스??

---

💡 실험 아이디어

• ASTER - Bi-Directional LSTM 추가해보기
• 🧑🏻‍🏫 준철이의 GAN 강의 기대 중!!
• 우리 vocab은 영어, 숫자 외에도 토큰이 많으니까 디코더도 늘려보면 좋을 것 같다.
  vocab이 늘어난 만큼 복잡도가 늘어나니까 layer, hidden dim을 늘리면 될 것 같다.
• DST - gt의 주제에 대한 loss를 하나 더 추가해서 성능 올랐음.