Skip to content

boostcampaitech6/level2-3-cv-finalproject-cv-13

Folders and files

NameName
Last commit message
Last commit date

Latest commit

Β 

History

77 Commits
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 

Repository files navigation

🩻 MEDI-KNEE

무릎 MRI 진단 보쑰 μ„œλΉ„μŠ€

μ„œλΉ„μŠ€ 데λͺ¨μ˜μƒ


ν”„λ‘œμ νŠΈ μ†Œκ°œ

μ˜λ£Œμ§„μ„ μœ„ν•œ MRI μ˜μƒ 뢄석 μ„œλΉ„μŠ€ MEDI-KNEEλŠ” 무릎 μ§ˆλ³‘ 진단을 λ³΄μ‘°ν•˜λŠ” μ„œλΉ„μŠ€λ‘œ, μ§ˆλ³‘ 진단 ν™•λ₯ , MRI μŠ¬λΌμ΄λ“œ μ€‘μš”λ„ κ·Έλž˜ν”„, 이상 λΆ€μœ„ κ²€μΆœμ„ 보쑰 및 μ œκ³΅ν•©λ‹ˆλ‹€.

기획 배경

  • 무릎 톡증을 ν˜Έμ†Œν•˜λŠ” 무릎 κ΄€μ ˆμ¦ ν™˜μžμ˜ 지속적인 증가
  • OECD 평균보닀 적은 μ˜μ‚¬ 수 β†’ μ˜μ‚¬ 1인 λ‹Ή 업무 λΆ€λ‹΄ 증가
  • λ³΅μž‘ν•œ κ΄€μ ˆ 쀑 ν•˜λ‚˜μΈ 무릎 κ΄€μ ˆμ˜ MRI 진단을 보쑰할 수 μžˆλŠ” μ„œλΉ„μŠ€ 개발


데이터셋

  • 무릎 μ§ˆλ³‘ 진단 λͺ¨ν˜• ν•™μŠ΅μ„ μœ„ν•΄ μŠ€νƒ ν¬λ“œ λŒ€ν•™κ΅μ—μ„œ μ œμž‘ν•œ Knee MRI 데이터셋을 ν™œμš©ν–ˆμŠ΅λ‹ˆλ‹€.
  • MRNet 데이터셋 링크

λͺ¨λΈ

  • MRI λ°μ΄ν„°λŠ” Axial, Coronal, Sagittal 3개의 μΆ•μœΌλ‘œ κ΅¬μ„±λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. λ”°λΌμ„œ μ§ˆλ³‘μ΄ μžˆλŠ”μ§€ μ—†λŠ”μ§€ νŒλ‹¨ν•˜κΈ° μœ„ν•΄μ„œλŠ” 각 μΆ•λ³„λ‘œ ν•œ 개의 λͺ¨λΈ, 총 3개의 λͺ¨λΈμ΄ ν•„μš”ν•©λ‹ˆλ‹€.

  • μ €ν¬λŠ” 총 3가지 μ§ˆλ³‘ (Abnormal, ACL, Meniscus)에 λŒ€ν•œ 진단을 μ œκ³΅ν•˜λŠ” 것을 λͺ©μ μœΌλ‘œ ν•˜κ³ , 각 μ§ˆλ³‘ 별 3개의 좕이 μžˆμœΌλ―€λ‘œ 총 9개의 λͺ¨λΈμ΄ ν•„μš”ν•©λ‹ˆλ‹€.

    • Task: Abnormal(비정상), ACL(μ „λ°©μ‹­μžμΈλŒ€ νŒŒμ—΄), Meniscus(λ°˜μ›”μƒ 연골 νŒŒμ—΄)
    • Plane: Axial, Coronal, Sagittal
  • λ˜ν•œ, 각각의 μ§ˆλ³‘μ— λŒ€ν•˜μ—¬, 3개의 λͺ¨λΈμ΄ μ˜ˆμΈ‘ν•œ 결과값을 Fusionν•˜μ—¬ ν•˜λ‚˜μ˜ ν™•λ₯ κ°’을 λ„μΆœν•˜λŠ” 과정이 ν•„μš”ν•©λ‹ˆλ‹€. λ”°λΌμ„œ 3개의 Fusion Model이 μΆ”κ°€λ‘œ ν•„μš”ν•©λ‹ˆλ‹€.

  • 이 과정을 그림으둜 ν‘œν˜„ν•˜λ©΄ μ•„λž˜ 사진과 κ°™μŠ΅λ‹ˆλ‹€.


XAI: GradCAM, CAM-Score

  • XAIλ₯Ό μœ„ν•΄ Grad-CAM, CAM-Scoreλ₯Ό ν™œμš©ν•˜μ—¬ λͺ¨λΈμ˜ νŒλ‹¨ 과정을 μ„€λͺ…ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

Grad-CAM

  • MRI μ΄λ―Έμ§€μ—μ„œ 병변이 μžˆλŠ” λΆ€μœ„, 이상 λΆ€μœ„λ₯Ό ν‘œν˜„ν•˜μ—¬ 진단을 λ³΄μ‘°ν•©λ‹ˆλ‹€

CAM-Score

  • CAM-Scoreλž€?​

    • MRI μŠ¬λΌμ΄λ“œλ³„λ‘œ μ€‘μš”ν•œ 정도λ₯Ό μ˜λ―Έν•©λ‹ˆλ‹€.​
    • μ§ˆλ³‘μ΄ λ³΄μ΄λŠ” μŠ¬λΌμ΄λ“œ, ν˜Ήμ€ μ§ˆλ³‘κ³Ό 연관이 μžˆλŠ” μŠ¬λΌμ΄λ“œμ˜ 경우 CAM-Scoreκ°€ λ†’μŠ΅λ‹ˆλ‹€.​
  • μ™œ CAM-Scoreκ°€ ν•„μš”ν•œκ°€μš”?​

    • CAM-scoreκ°€ 높은 μŠ¬λΌμ΄λ“œλ₯Ό μš°μ„ μ μœΌλ‘œ λ³΄μ—¬μ€ŒμœΌλ‘œμ¨, MRI νŒλ…μ˜ μ‹œκ°„μ„ 쀄이고 λͺ¨λΈμ˜ νŒλ… 이유λ₯Ό μ„€λͺ…ν•  수 μžˆμŠ΅λ‹ˆλ‹€.


μ„œλΉ„μŠ€ νŒŒμ΄ν”„λΌμΈ


μ„œλΉ„μŠ€ ꡬ성

  • File upload
    • DICOM νŒŒμΌμ„ μ—…λ‘œλ“œν•˜κ±°λ‚˜ μƒ˜ν”Œ 데이터λ₯Ό μ—…λ‘œλ“œν•  수 μžˆλŠ” ν™”λ©΄μž…λ‹ˆλ‹€.
  • Result
    • ν™˜μžμ˜ μ§ˆλ³‘ 진단 κ²°κ³Ό, 그리고 Abnormal / ACL / Meniscus일 ν™•λ₯ μ΄ μ–Όλ§ˆλ‚˜ λ˜λŠ”μ§€ κ²°κ³Όλ₯Ό λ³΄μ—¬μ£ΌλŠ” ν™”λ©΄μž…λ‹ˆλ‹€.
    • 3개의 μΆ•λ³„λ‘œ λͺ¨λΈμ΄ κ°€μž₯ μ€‘μš”ν•˜λ‹€κ³  μƒκ°ν•œ μŠ¬λΌμ΄λ“œλ₯Ό λ³΄μ—¬μ€λ‹ˆλ‹€.
    • Grad-CAM을 μ‹œκ°ν™”ν•˜μ—¬ λͺ¨λΈμ΄ μ€‘μš”ν•˜λ‹€κ³  μƒκ°ν•œ 뢀뢄을 확인할 수 μžˆμŠ΅λ‹ˆλ‹€.
  • Plane 별 전체 data 확인
    • μŠ¬λΌμ΄λ“œ 별 μ€‘μš”λ„λ₯Ό 확인할 수 μžˆμŠ΅λ‹ˆλ‹€.
  • 결과에 λ”°λ₯Έ report 생성
    • ν™˜μžμ˜ 진단 κ²°κ³Όλ₯Ό ν•œλˆˆμ— μ•Œ 수 μžˆλŠ” 리포트λ₯Ό λ‹€μš΄λ‘œλ“œν•  수 μžˆμŠ΅λ‹ˆλ‹€.

Team SMiLE

κΉ€μ˜μΌ_T6030 μ•ˆμ„Έν¬_T6094 μœ ν•œμ€€_T6106 윀일호_T6110 이재혁_T6132
Github GitHub GitHub GitHub GitHub GitHub
E-mail Gmail Badge Gmail Badge Gmail Badge Gmail Badge Gmail Badge