Teacher Forcing Scheduler

[ilovemyminutes]

class TeacherForcingScheduler:
    """Teacher Forcing 스케줄러 클래스. Train에 활용
    Example:
        # Define TF Scheduler
        total_steps = len(train_data_loader)*options.num_epochs
        teacher_forcing_ratio = 0.6
        tf_scheduler = TeacherForcingScheduler(
            num_steps=total_steps,
            tf_max=teacher_forcing_ratio
            )
        
        # Train phase
        tf_ratio = tf_scheduler.step()
        output = model(input, expected, False, tf_ratio)

    Args:
        num_steps (int): 총 스텝 수
        tf_max (float): 최대 teacher forcing ratio. tf_max에서 시작해서 코사인 함수를 그리며 0으로 마무리 됨
    """
    def __init__(self, num_steps: int, tf_max: float):
        linspace = self._get_cosine(num_steps, tf_max)
        self.__scheduler = iter(linspace)
        
    def step(self):
        try:
            return next(self.__scheduler)
        except:
            warnings.warn('Teacher forcing scheduler has been done. Return just 0 for now.')
            return 0.0

    @staticmethod
    def _get_cosine(num_steps, tf_max):
        factor = tf_max / 2
        x = np.linspace(0, np.pi, num_steps)
        x = np.cos(x)
        x *= factor
        x += factor
        return x

    @staticmethod
    def _get_arctan(num_steps, tf_max):
        x = np.linspace(-5, 5, num_steps)
        x = -np.arctan(x)
        x -= x[-1]
        x *= (tf_max/x[0])
        return x

[ilovemyminutes]

• num_steps = 100, tf_max = 0.5 예시

[ilovemyminutes]

Arctan 추가 실험 중 -코사인 스케줄러 러닝 커브를 본 결과, 학습 앞쪽에서 TF 세게 주다가 뒷쪽에서 힘빼주는 게 좋아보였기 때문에 시도하게 됨

• num_steps = 2000, tf_max = 0.6 예시