MRC 6강

• 본인이 생각하는 핵심부문을 요약하기
• 의문점, 궁금했던 점도 적기
• 쓸만한 실습코드 있으면 여기다가 붙여넣기

영진

Improved Baseline은 Embedding Layer을 resize하지 않아도 되는 간편함이 있다.

~~~~

재영

준홍

연주

현수

Improved Baseline은 Embedding Layer을 건드리지 않기 때문에, 기존에 있는 hidden features를 그대로 사용함으로서, initiialized된 special token을 활용하지 않는 장점이 있다.

세현

성욱

• Retrieval : 유사도를 구할 때 Near Neighbor Search (L2 Norm - Euclidean Distance) 보다는 Inner Product Search를 많이 사용한다.
  • 유사도를 구하는 다양한 알고리즘 적용해보기
• Approximating Similarity Search
  • SQ(Scalar Quantization)
  • PQ(Product Quantization)
  • SQ를 실험해본 후 PQ 적용하기
• IVF를 진행할 때 다양한 clustering 기법 활용해보기
• FAISS 적용해보기
• 질문
  • Cluster 학습은 어떤 식으로 진행되는가? (기준 같은 것?!)