Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[feat] 데이터파이프라인 공공데이터 수집 기능 고도화 #29

Merged
merged 6 commits into from
Oct 1, 2024
Merged

[feat] 데이터파이프라인 공공데이터 수집 기능 고도화 #29

merged 6 commits into from
Oct 1, 2024

Conversation

jeongeungyeong
Copy link
Contributor

Issue

PR 타입(하나 이상의 PR 타입을 선택해주세요)

  • 기능 추가
  • 기능 삭제
  • 버그 수정
  • 의존성, 환경 변수, 빌드 관련 코드 업데이트

반영 브랜치

ex) feat/create_datapipe -> dev2

변경 사항

  • application-secert.yml 일부 데이터 변경 -> notion 문서에 업데이트

    도메인 수정 
    1. `genrestrt` -> `datapipe` 로 도메인 수정
2.  table과 entity는 동일
3. `GenrestrtController` -> `OpenApiController`로 수정
    의존성 추가 
    1.  WebClient 방식 사용을 위한 `Webflux` 의존성 추가
2.  macOs 관련 `netty` 의존성 추가
    Config 추가 
      1.  `securityConfig` 관련 데이터 파이프라인 권한 모두 허용으로 설정
  2.  `AppConfig` WebClient 관련 설정 추가
    경기도 공공데이터 수집 
      1.  카테고리 종류에 상관없이 모든 맛집 데이터 수집 가능 
  2.  WebClient 방식으로 변경
  3.  db 저장 비동기 방식으로 분리

테스트 결과

Request

HTTP : GET
URL: /api/datapipes/fetch-and-save

Response : 성공시

200 OK

성공 시 응답 
{
    "message": "서비스명(중국식,까페 등)의 원본데이터 4885개가 DB에 성공적으로 저장됐습니다.",
    "total": 4885,
    "gyeongGiApiResponses": [
        {
            "sigunNm": "고양시",
            "sigunCd": "41280",
            "bizplcNm": "페레가모",
            "licensgDe": null,
            "bsnStateNm": "폐업",
            "clsbizDe": null,
            "locplcAr": 136.9,
            "gradFacltDivNm": "null",
            "maleEnflpsnCnt": 0,
            "yy": 0,
            "multiUseBizestblYn": "null",
            "gradDivNm": "null",
            "totFacltScale": 136.9,
            "femaleEnflpsnCnt": 0,
            "bsnsiteCircumfrDivNm": "주택가주변",
            "sanittnIndutypeNm": "null",
            "sanittnBizcondNm": "까페",
            "totEmplyCnt": 0,
            "refineRoadnmAddr": "경기도 고양시 일산동구 정발산동 706 1&지층일부호",
            "refineLotnoAddr": "경기도 고양시 일산동구 무궁화로75번길 6-16, 1층, 지층 일부호 (정발산동)",
            "refineZipCd": "null",
            "refineWgs84Lat": 126.7724401,
            "refineWgs84Logt": 37.66586462
        },
... 
        {
            "sigunNm": "고양시",
            "sigunCd": "41280",
            "bizplcNm": "허브1080",
            "licensgDe": null,
            "bsnStateNm": "폐업",
            "clsbizDe": null,
            "locplcAr": 89.96,
            "gradFacltDivNm": "null",
            "maleEnflpsnCnt": 0,
            "yy": 0,
            "multiUseBizestblYn": "null",
            "gradDivNm": "null",
            "totFacltScale": 89.96,
            "femaleEnflpsnCnt": 0,
            "bsnsiteCircumfrDivNm": "null",
            "sanittnIndutypeNm": "null",
            "sanittnBizcondNm": "까페",
            "totEmplyCnt": 0,
            "refineRoadnmAddr": "경기도 고양시 일산동구 마두동 915-1번지 (1층전부)",
            "refineLotnoAddr": "경기도 고양시 일산동구 산두로 14 1층 전부 (마두동)",
            "refineZipCd": "null",
            "refineWgs84Lat": 126.7883469,
            "refineWgs84Logt": 37.6603252
        }
]}

Response : 실패시

403 Forbidden

  • 공공데이터 요청 횟수 초과
  • 공공데이터 서비스키 오류

@jeongeungyeong jeongeungyeong self-assigned this Sep 29, 2024
@jeongeungyeong jeongeungyeong linked an issue Sep 29, 2024 that may be closed by this pull request
맛집 데이터 파이프라인 리팩토링 #27
Open
4 tasks
jw427
jw427 approved these changes Sep 30, 2024
View reviewed changes
Copy link
Contributor

@jw427 jw427 left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

고생하셨어요!

rhaehf
rhaehf approved these changes Oct 1, 2024
View reviewed changes
Copy link
Contributor

@rhaehf rhaehf left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

수고하셨습니다!

K-0joo
K-0joo approved these changes Oct 1, 2024
View reviewed changes
Copy link
Contributor

@K-0joo K-0joo left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

수고하셨어요!

@jeongeungyeong jeongeungyeong merged commit 58e256b into dev2 Oct 1, 2024
@jeongeungyeong jeongeungyeong deleted the feat/create_datapipe branch October 1, 2024 22:18
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@jw427 jw427 jw427 approved these changes

@K-0joo K-0joo K-0joo approved these changes

@rhaehf rhaehf rhaehf approved these changes

Assignees

@jeongeungyeong jeongeungyeong

Labels
feat refactor
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.

맛집 데이터 파이프라인 리팩토링
4 participants
@jeongeungyeong @rhaehf @K-0joo @jw427