Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[feat] 데이터 자동화 기능 #25

Merged
merged 9 commits into from
Sep 3, 2024
Merged

[feat] 데이터 자동화 기능 #25

merged 9 commits into from
Sep 3, 2024

Conversation

jeongeungyeong
Copy link
Contributor

Issue

PR 타입(하나 이상의 PR 타입을 선택해주세요)

  • 기능 추가
  • 기능 삭제
  • 버그 수정
  • 의존성, 환경 변수, 빌드 관련 코드 업데이트

반영 브랜치

ex) feat/data_auto-> dev

변경 사항

  • 스케줄러를 설정하여 위 로직을 지정한 시간마다 실행시킵니다.
  • 스케줄러 설정
    • 사용자에게 원활한 서비스를 제공하기 위해 서버가 여유로울 때 진행
    • 이후 이어서 운영데이터 업데이트 매주 월요일 새벽 3시
    • 데이터 전처리 과정에서 현재 영업 상태까지 받도록 코드 수정
  • 원본 테이블의 변경 내용 패치 Job Step2 추가
    • 영업상태가 폐업으로 변경된 경우
      • 운영 테이블에서 데이터 삭제
      • 원본 테이블에서 가공처리 상태 false로 수정
    • 영업 상태가 운영인데, 데이터가 변경된 경우
      • 원본 테이블에서 바뀐 정보를 받아와 영업 테이블에 업데이트

테스트 결과

Schedule : 성공시

Job: [SimpleJob: [name=dataPipeJob]] launched with the following parameters: [{}]
Executing step: [dataPipeStep]
데이터 삽입 성공 및 처리 상태 업데이트: wanted.ribbon.store.domain.Store@3917c51d
페이지 처리 완료: {}개 행 처리됨
배치 작업 완료. 총 {}개의 행이 처리되었습니다.
Step: [dataPipeStep] executed in 161ms
Executing step: [dataFetchStep]
삭제된 맛집: 이름={}, 주소={}
정보가 바뀐 맛집의 수는: 0
정보가 지워진 맛집의 수는: 1
Step: [dataFetchStep] executed in 8s644ms
Job: [SimpleJob: [name=dataPipeJob]] completed with the following parameters: [{}] and the following status: [COMPLETED] in 9s639ms

Schedule : 실패시

Step: [dataPipeStep] failed with exception: [NullPointerException]
Step: [dataFetchStep] failed with exception: [NullPointerException]
Job: [SimpleJob: [name=dataPipeJob]] failed with status: [FAILED]

@jeongeungyeong jeongeungyeong self-assigned this Sep 3, 2024
@jeongeungyeong jeongeungyeong linked an issue Sep 3, 2024 that may be closed by this pull request
데이터 자동화 기능 #12
Open
4 tasks
jw427
jw427 approved these changes Sep 3, 2024
View reviewed changes
Copy link
Contributor

@jw427 jw427 left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

수고하셨습니다!

K-0joo
K-0joo approved these changes Sep 3, 2024
View reviewed changes
Copy link
Contributor

@K-0joo K-0joo left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

너무 고생하셨습니다! 은경님의 고심의 흔적이 😭

rhaehf
rhaehf approved these changes Sep 3, 2024
View reviewed changes
Copy link
Contributor

@rhaehf rhaehf left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

너무 수고많으셨어요~

@jeongeungyeong jeongeungyeong merged commit f2d058e into dev Sep 3, 2024
@jeongeungyeong jeongeungyeong deleted the feat/data_auto branch September 3, 2024 09:40
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@jw427 jw427 jw427 approved these changes

@K-0joo K-0joo K-0joo approved these changes

@rhaehf rhaehf rhaehf approved these changes

Assignees

@jeongeungyeong jeongeungyeong

Labels
feat
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.

데이터 자동화 기능
4 participants
@jeongeungyeong @rhaehf @K-0joo @jw427