Home

• • 🌄P stage 4-OCR 한사랑 개발회 Wiki

    

    
    
    이 Wiki는 P stage 4-OCR 수식인식기 프로젝트에 대해서 서술하는 페이지입니다.

    [2021-06-18 Fri] Wiki 내용 갱신되었습니다.

    [2021-06-17 Thur] Wiki 내용 갱신되었습니다.

    [2021-05-27 Thur] Wiki 페이지 개설했습니다.

    
    

    Table of Contents

    • Github Link
    • 팀원 소개
    • 팀 활동
      • Git을 활용한 협업
      • 논문 조사
    • Data EDA
      • EDA 개요
      • 발견한 문제
      • EDA 결론
    • Data Augmentation
    • Model
      • SATRN
      • 기타 시도
    • Demo
    • 회고
    
    

    Github Link

    p4-ocr-hansarang

    
    

    팀원 소개

    • 박재우(JJayy)
    • 💾송광원(remaindere)
    • ✨신찬엽(chanyub)
    • 조원(jo-member)
    • 🚫탁금지(Atica57)
    • ♠️허재섭(shjas94)
    
    

    팀 활동

    Git을 활용한 협업

    팀원 대부분 협업의 경험이 전무했기 때문에 Pull Request 혹은 Merge에 대해 능숙하지 않았습니다. 하지만 개발자에게 있어 협업은 매우 중요하다고 생각되어 협업 도구로 널리 알려진 Github의 기능을 최대한 활용하여 협업을 원활하게 진행하고자 했습니다. 또한 Git 작성 규칙을 정하고 이에 따르며 효율적으로 Git을 사용하고자 했습니다.

    • discussion

    discussion 탭에는 각 팀원이 학습을 하면서 서로 공유하면 좋겠다고 판단되는 정보, 코드 등을 작성하여 올렸습니다.

    "

    
    
    • issue

    issue 탭은 각 팀원이 학습을 진행하면서 발견한 문제점을 작성하여 올렸습니다.

    
    

    논문 조사 및 정리

    text detection 및 text recognition에 관한 배경지식을 얻기위해 여러 논문을 읽고 서로 리뷰하는 시간을 가졌습니다. 리뷰한 논문의 요약본 리스트는 아래와 같습니다.

    • CSTR.pdf
    • Misspelling Correction with Pre-trained Contextual Language Model.pdf
    • CRNN.pdf
    • An_Attentional_Scene_Text_Recognizer_with_Flexible_Rectification.pdf
    • CBAM.pdf
    • Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks.pdf
    • TextBoxes_A Fast Text Detector with a Single Deep Neural Network.pdf

    
    

    Data EDA

    ※ EDA file은 여기에서 보실 수 있습니다.

    EDA 개요

    사전에 주어진 총 10만장(출력물 5만장, 손글씨 5만장)의 학습 데이터는 어떤 특징을 갖고 있는지 시각화하고 분석했습니다. 세부적으로 수행한 내용은 다음과 같습니다.

    • 수식 sequence 길이의 분포
    • Aspect Ratio의 분포
    • 수식 이미지의 너비 및 높이 간 관계
    • 사용 빈도가 높은 상위 20개의 token 분포
    • level별 분석 결과

    • 수식 sequence 길이의 분포

      수식의 ground truth sequence 길이의 분포를 막대그래프로 시각화한 결과 평균적으로 10 ~ 20 사이의 값을 가짐을 확인하였습니다.

      

    • Aspect Ratio의 분포

      수식이미지의 높이 대비 너비의 비율 분포를 막대그래프로 시각화한 결과 평균적으로 4.3 임을 확인하였습니다. 이를 통해, 평균적으로 이미지가 너비 길이가 높이 길이보다 약 4배 더 길다는 것을 알 수 있었습니다.

      

    • 수식이미지의 너비 및 높이 간 관계

      수식이미지의 너비 및 높이의 관계를 seaborn의 jointplot로 시각화한 결과 대체적으로 이미지는 너비의 길이가 높이보다 더 긴 형태를 띄는 것을 확인하였습니다.

      

    • 사용 빈도가 높은 상위 20개의 token 분포

      수식의 ground truth을 구성하는 전체 token 중 사용 빈도가 높은 상위 20개의 token의 분포를 막대그래프로 표현했습니다. 분석결과 중괄호 기호가 가장 많이 사용되었으며 수학적으로 많이 사용되는 기호(ex. 'x', 'y')도 있음을 확인했습니다. 또한 분수를 표현하는 기호(\frac)이 상위 20개 안에 존재하는 것으로 보아 분수를 인식하는 것이 수식 인식의 정확도를 높일 중요한 token임을 예상할 수 있었습니다.

      

    • level별 분석 결과

      train dataset의 "level.txt"는 수식의 난이도 정보가 저장되어있는 파일로서 각 칼럼은 (경로,난이도)로 구성되어 있습니다. 각각 1 - 초등, 2 - 중등, 3 - 고등, 4 - 대학, 5 - 대학 이상 으로 구성되어 있습니다. level 별로 주로 사용되는 token의 사용 빈도가 다를 것이고, 이에 따라 sequence의 길이, aspect ratio 등의 분포도 다를 것이라 예상하여 level 별 EDA를 진행했습니다.

      • 수식 sequence 길이의 분포

        5개 level 모두 대체적으로 전체 데이터셋의 분포를 따르고 있습니다. 다만 level이 높아질 수록 sequence 길이의 범위와 최대값이 커집니다. 이는 고학년으로 갈 수록 좀 더 복잡한 수식을 이용함에 따라 sequence의 길이도 길어지는 것이라고 유추할 수 있습니다.

      • Aspect Ratio의 분포

        5개 level 모두 aspect ratio 평균이 전체 데이터셋의 aspect ratio 평균과 비슷함을 확인했습니다. 분포의 형태는 조금씩 차이가 있지만 대체적으로 이미지의 너비가 높이보다 길다는 것을 확인할 수 있었습니다.

      • 수식이미지의 너비 및 높이 간 관계

        5개 level 모두 전체 데이터셋의 그래프와 같이 대체적으로 이미지는 너비의 길이가 높이보다 더 긴 형태를 띔을 확인했습니다. 다만 level 5는 다른 level보다 같은 너비에 대해 더 긴 높이를 갖는 이미지가 좀 더 많이 존재함을 알 수 있었습니다. 이는 고학년으로 갈 수록 복잡한 수식(ex. 미분 기호)을 사용함에 따라 이미지의 높이도 길어질 확률이 커질 것이라고 유추해볼 수 있었습니다.

      • 사용 빈도가 높은 상위 20개의 token 분포

        분석한 결과 중괄호 및 소괄호 기호는 모든 level에서 사용 빈도가 높음을 확인했습니다. 또한 level이 높을 수록 변수 표현에 이용되는 기호가 많이 사용됨을 파악했습니다. 이는 학업 난이도가 높아질 수록 숫자보다는 기호를 더 많이 사용함을 유추할 수 있었습니다. 그리고 모든 level에 분수 token이 많이 사용하는 token 목록에 포함되는 것으로 보아 분수를 인식하는 것과 level은 서로 관련성이 얕다고 판단했습니다.

      아래 그림은 각 level에 따른 그래프를 나타낸 것입니다. 각 level 마다 왼쪽에는 수식 sequence 길이 및 Aspect Ratio의 분포, 사용 빈도가 높은 상위 20개의 token 분포에 대한 그래프가 있습니다. 그리고 오른쪽에는 수식이미지의 너비 및 높이 간 관계에 대한 jointplot 그래프가 있습니다.

      level 1

      

      level 2

      

      level 3

      

      level 4

      

      level 5

      

    발견한 문제

    EDA 수행 과정에서 학습에 상당한 영향을 줄 것으로 예상되는 문제점을 정리하면 아래와 같습니다.

    • 일부 token의 data 부족

    아래의 그림과 같이 train data에 등장하는 token들 중 빈도수가 가장 적은 50개를 뽑아 그래프로 확인했습니다. 이를 통해 10회 미만으로 등장한 token들에 대한 추가적인 data가 필요하다고 판단했습니다. 사이트를 활용하여 부족한 token들을 포함하는 수식을 train파일에 50개 정도의 data를 추가해주었습니다.

    
    • 세로로 된 수식이미지

    일부 이미지의 경우 세로형태의 수식 이미지가 있음을 발견할 수 있었고 실제 학습할 때 세로 이미지를 잘 인식하지 못하는 결과를 얻었습니다.

    

    이와 관련하여 aspect ratio을 재확인해보니 aspect ratio가 최솟값인 이미지인 경우 위와 같이 세로로 세워진 이미지임을 확인할 수 있었습니다.

    • 수식 이외에 발견되는 요소

    일부 이미지의 경우 배경에 선이 그어져 있거나 형광펜 표시가 있거나 특정 위치에 원형 표시를 하는 등 학습과정에서 노이즈(noise)로 작용할 수 있는 요소들을 발견하였습니다.

    

    EDA 결론

    EDA를 통해 얻은 결론을 정리하면 아래와 같습니다.

    • data의 수가 적은 token에 대해 외부 data를 추가해주어야 함
    • 세로로 된 이미지를 인식할 수 있는 방법을 고안해야 함
    • 이미지의 노이즈(noise)를 최대한 줄이는 방법을 고안해야 함
    
    

    Data Augmentation

    Resize

    EDA를 통해 Aspect Ratio가 평균적으로 4.0에 가깝다는 것을 확인하여 기존 input 이미지의 사이즈 128 X 128에서 100 X 400으로 이미지 크기를 재설정(Resize)하여 dataset을 구성하였습니다.

    Rotate

    EDA에서 언급한 바와 같이 세로로 된 이미지의 인식률을 높이기 위해서는 이미지를 90도 반시계(혹은 시계) 방향으로 회전시킬 필요가 있었습니다. 저희는 opencv 라이브러리가 제공하는 rotation 함수를 이용해 이미지를 불러와 세로로 긴 이미지를 50% 확률로 시계방향 회전, 50% 확률로 반시계방향으로 회전하도록 dataset을 구성하였습니다.

    rotation를 적용하는 코드의 예시는 [discussion-rotate 연산시 발생하는 문제 해결]를 통해서 확인할 수 있습니다.

    binarization

    이진화(binarization)은 이미지의 모든 픽셀을 오로지 흑과 백으로만 표현하는 것을 말합니다. 이진화를 할 때는 gray scale을 적용한 뒤 이진화를 진행합니다. 이진화를 적용할 경우 이미지에서 수식 token을 제외한 나머지 노이즈(noise)를 줄여 학습의 효과를 더 높일 수 있습니다.

    이진화를 적용하는 코드의 예시는 [discussion-이진화 및 가로 세로 선 제거 방법]를 통해서 확인할 수 있습니다.

    Normalization

    딥러닝 학습 과정에서 발생할 수 있는 Overfitting 문제를 보완하기 위해 이미지의 각 픽셀 값을 0~1 사이의 값으로 정규화(normalization)시켰습니다.

    
    

    Model

    SATRN

    SATRN은 self-attention mechanism을 활용하여 이미지 상의 텍스트에 있는 글자의 two dimensional spatial dependency를 파악해 학습합니다. 결과적으로 임의적으로 배치된 텍스트를 기존 모델보다 잘 인식하고 irregular text 벤치마크에서 기존의 STR 알고리즘들 보다 평균적으로 5.7pp만큼 앞선다고 알려져있습니다.

    그림 1. SATRN 구조 개요

    저희는 수식 이미지에서 임의로 배치되어 있는 텍스트가 학습에서 큰 비중을 차지할 것이라 예상했습니다. 그래서 SATRN을 기본 model로 정하면서 구조 변경, optimizer 변경 등 여러 조건들을 변경하면서 다양한 실험을 진행했습니다.

    • 구조 변경

      • locality-aware feedforward layer

        기존 baseline에 구현된 Fully-connected feed forward를 논문에서 제시한 Convolution feed forward로 교체하고 실험을 진행했습니다.

      

      • Adaptive 2D positional Encoding(A2DPE)

        기존 baseline에서 구현된 일반적인 2D positional encoding을 논문에서 제시한 학습가능한 A2DPE으로 교체하고 실험을 진행했습니다.

        아래는 A2DPE를 정의한 수식을 나타냅니다.

      

      • Backbone

        Encoder의 backbone을 다양한 CNN model을 적용하여 실험을 진행했습니다. 사용한 backbone model은 아래의 리스트와 같습니다.

        • EfficientNet
        • DenseNet
        • ShallowCNN

    • Mini SATRN

      다양한 실험을 빠르게 진행하기 위해 SATRN 의 size를 줄인 뒤 실험을 진행했습니다.

    • Layer Parameter 수정

      • Decoder Layer 수 증가

        Mini SATRN 실험환경에서 Decoder Layer의 수를 추가할 수록 성능이 향상됨을 확인했습니다.

        

      • Active Function 교체

        Encoder의 backbone이 ShallowCNN인 실험환경에서 activation function을 ReLU대신 mish를 사용하여 실험을 진행했습니다.

        

    • Optimizer

      SATRN model에 적용한 optimizer의 종류는 다음과 같습니다.

      • Adam
      • Adadelta
      • AdamW
      • AdamP
      • MADGRAD
      • NAdam

      이 때, Mini SATRN 실험 환경에서 Adam, AdamW, MADGRAD를 대상으로 아래의 표1과 같이 parameter를 지정한 뒤 실험한 결과는 아래의 그래프와 같습니다.

      optimizer	learning rate	momentum	weight decay	eps	betas	amsgrad
      Adam	5e-4	X	0	1e-08	(0.9, 0.999)	False
      AdamW	5e-4	X	1e-4	1e-08	(0.9, 0.999)	False
      MADGRAD	5e-4	0.9	1e-4	1e-6	X	X

      표1. Mini SATRN 실험 환경에서 사용한 optimizer parameter('X'는 optimizer는 해당 parameter를 이용하지 않음을 의미한다)
    
    

    기타 시도

    • Beam search

    Beam search는 Greedy search과 함께 많이 사용되는 휴리스틱 방법입니다. 각 step에서 탐색의 영역을 K개의 가장 가능도가 높은 토큰들로 유지하며 다음 단계를 탐색합니다. Beam search는 Beam 개수(K) 만큼 출력값을 도출하여 다양성을 주기 때문에 틀린 답을 내놓더라도 다른 sequence보다 더 알맞는 답을 도출했을거라 유추할 수 있고 이 과정을 통해 최적의 답에 가까워질 수 있습니다. 여기서 K는 사용자가 지정하는 hyper-parameter입니다. K를 크게할 수록 넓은 영역을 탐색해 보다 좋은 target sequence를 생성할 수 있지만, 그만큼 속도가 느려지기 때문에 적절하게 조절하는 것이 중요합니다. 일반적으로 5 또는 10으로 설정한다고 알려져 있습니다.

    저희는 수식 인식기 프로젝트에 적합한 Beam search 를 구현하기 위해 token을 뽑을 때 argmax를 사용해 각 step마다 beam size K 만큼 token을 뽑아 최대한 적합한 sequence를 선택하려 시도했습니다.

    • Ensemble

    다양한 augmentation을 적용한 model들을 한번에 load하여 soft voting 방식으로 ensemble하려 시도했습니다. 이때 baseline에는 존재하지 않는 torch.nograd로 memory 를 절약하고자 했습니다.

    
    • Language Model

    Misspelling Correction with Pre-trained Contextual Language Model 에서 제안한 아이디어를 바탕으로 BERT를 프로젝트에 적용해서 학습을 진행해보고자 했습니다.

    • Robust Scanner

    Robust Scanner는 RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition에서 제안한 모델입니다. 기존 attention 기반 text recognition model이 임의로 배치된 text 를 잘 인식하지 못한다는 한계점을 보완하기 위해 text 글자의 위치 정보를 학습과정에서 보강한다는 특징이 있습니다. 이러한 점이 수식인식기의 기호를 인식하는데 도움이 될 것이라 추론하여 모델 설계 및 구현을 시도해봤습니다.

    
    

    Demo

    간단한 demo를 개발함으로써 저희의 수식인식기 프로젝트가 실제 서비스로 구현될 가능성을 가짐을 보이고자 했습니다. 개발은 steamlit 오픈 소스 프레임워크를 이용하여 웹 프로그래밍을 진행했습니다. 실제 demo 사이트 링크를 통해 이미지를 업로드 하거나 마우스로 수식을 써서 결과를 확인할 수 있습니다.

    아래의 사진은 링크를 클릭하면 나오는 첫 화면입니다.

    

    아래의 사진과 같이 하나의 수식 이미지를 업로드한 뒤 도출된 결과를 확인하여 정상적으로 작동함을 확인할 수 있습니다.

    
    

    회고

    팀 순위 - 12팀 중 5등

    LB Score

    • score : 0.5751
    • sentence accuracy : 0.5448
    • wer : 0.1528