[피어세션] 2021-06-18

[nureesong]

깃허브 리드미 정리

• 발표 소개 2~3줄 요약
  • 대회 속에서 모델은 탄생한다. <모델 3형제의 탄생>
    • 구관이 명관 Attention과 BiLSTM의 힘을 보여준다 - EfficientASTER
    • 논문과는 다른 낯선 느낌의 basline SATRN, 논문과 같이 구현됨과 동시에 백본을 교체하여 새롭게 탄생했다 - EfficientSATRN
    • CNN + Transformer를 사용하는건 구시대의 유물?! SwinTransformer로 인코더를 대체한다 - SwinTRN
  • 학습은 기초부터 심화까지 순차적으로
    • 과외 선생님의 방문 빈도를 조절하자 - Teacher Forcing Scheduler
    • 아무리 쉬운 문제도 다 알려주면 재미가 없지 - Teacher Forcing Ratio 최대 비율 0.7~0.8로 설정
    • 선생님 우리애가 이제 잘해서 조금만 나오셔도 될 것 같습니다. - 후반부 Teacher Forcing Ratio 0.3으로 설정
  • 진짜 앙상블이 뭔지 보여주지
    • 한 토큰마다 머리를 맡대고 추론하자 - Decoder 단에서의 soft voting을 통한 앙상블
    • 서버가 우리를 품기에는 그릇이 작다 - 부족한 서버자원을 극복하기 위해 인코딩 진행 후 결과를 임시 파일들로 저장하고 이를 통한 디코딩 연산
• 본인 사진 (정사각형), 이력서 링크 올리기!!

---

발표 구성

• To be Modeler
  첫 회의 때 설정했던 목표: matphix 이기기
  일반화가 중요하니 데이터 부분을 강조하기!!
  데이터 성질에 맞게 모델링 설계
  성능 개선을 위한 TF scheduler, optimizer 등은 가볍게

• And Beyond!
  ⚠️ 상용화를 위해서는 경량화 같은 작업이 필요
  ✅ 데모 페이지 - 크롬 익스텐션 버전 완성
  🌟 외부데이터로 일반화!! → 데모 페이지는 im2latex이 유리할 듯

• 서버 알차게 쓰기
  3명: 전체 데이터로 학습 (SATRN, Swin)
  지형: knowledge distillation
  준구: 데모 페이지 만들기
  누리: 외부데이터 추가학습

  • 처음부터 학습 (katex 포맷으로 정제 필요)
  • 우리 모델로 fine tuning (vocab size 다름) → swin, SATRN 인코더 끝에 linear layer 수정

• pretrained weight (pth) 파일을 깃에 올려서 외부인도 구현 가능하게 해놓기

• 시연 화면 녹화

• QnA 대비

  • OCR 프로젝트 하는 네트워킹 기업 리스트업 하기
    앞으로 경쟁력을 갖추기 위한 서비스 아이디어 고민
  • 현재 출시된 OCR 서비스 현황
    아이패드에서 손글씨로 수식을 쓰면 변환됨 (Notability)
  • 최신 연구 동향 조사 (논문 인트로 읽기)