2021 10 06

Ice breaking

• 금요일날 어떤 논문 읽어야 할까요???
  • BERT 가 가장 좋아보임.
  • 영진님이 70점을 넘겨주셨다!
• 세현님 논문리뷰??

영진

• k-fold로 하면 xlm roberta가 klue roberta보다 조금 차이가 있음. -> klue는 3epochs 부터 eval loss 증가 xlm roberta는 4epochs부터 증가
• RBert 에 다시 도전!!
• dataset이 달라지면 resize 할 필요가 없지 않나??
• GRU를 백본 model 위에 얹는 코드를 작성. num_layer parameter 지정해주면 다층 layer 쌓아줄 수 있음.
• concat_entity? -> 세현님 경우에는 제거하였음.
• "[SEP]" 일괄처리 대신 -> tokenizer.sep_token

현수

• 올린 논문 resize는 안하고 token 첫번째 위치만 가져와서 딴다.

연주

• 영진님 코드 기반으로 csv 에서 영어->한국어로 해서 다시 해봤지만 성능 차이가 없었다.
• special token 추가한 버전으로 실험중에 있음. -> 차이가 있을까?

성욱

• 양 끝에 \b 가 있다. -> 기존 baseline code slicing으로 처리해줘서 생기는 문제같음.
• 제일 최근에 완성된 csv파일로 돌렸는데 제출 성능이 안좋아졌다..

세현

• ALBERT 논문 발표
• Focal Loss 성능 확실하다.
• RBERT 세현님이 구현한것과 큰 차이가 있을까?
• lstm 추가로 붙이는것

pretraining

• 준홍: tokenizer는 기존 klue bert, model은 50epochs
• 성욱: tokenizer도 dataset에 맞춰 제작, model 30epochs
• 재영: tokenizer는 기존 klue bert, model은 기존 pretrain 된 model에 추가로 데이터셋을 학습시켜준다.