You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
iBERT의 경우, activation function에 들어가는 인자들이 많아 구현에 고민을 하게된다. 아직은 Transformer를 Text, Vision, Audio별로 나눌지 각 모델별 객체를 어떻게 세팅할지 결정하지 못했기 때문에 modeling_ibert.py에 있는 activation_bit에 사용되는 [8, 16, 22] 만 남긴 상태. 향후 TODO로 남겨둠.
목적: transformers activation function 구현
GeLU
Quantized
Commons
The text was updated successfully, but these errors were encountered: