Skip to content
@DEU-hanium

DEU-hanium

README.md

2023 한이음 ICT 멘토링 프로젝트 - 잡았다 요놈 팀

프로젝트 주제 및 내용

  • 주제: 나의 웹 컨텐츠를 지키기 위한 크롤링 탐지 봇
  • 내용
    • ChatGPT, NovelAI 등 인공지능의 발달에 따라 웹 컨텐츠를 학습 데이터로 쓰기 위해 무단 크롤링이 증가하여 웹 컨텐츠의 저작권 침해와 더불어 웹 서버의 트래픽 부담이 증가하였다.
    • 본 프로젝트는 클라우드 환경에서 배포되는 웹 서버의 악성 크롤링을 막고자 ALB 로그의 수집, 로그 데이터 적재(OpenSearch), 크롤링 트래픽 탐지, WAF를 통한 접근 차단 등을 자동화하여 웹 컨텐츠를 보호하고, Kibana를 통해 차단된 트래픽을 모니터링 할 수 있도록 한다.
    • 또한, Slack봇을 연동하여 악성 크롤링 탐지 시 알림을 받을 수 있도록 하며 원격 제어 기능을 추가한다.

프로젝트 결과

시연영상

아키텍처

architecture drawio

기능별 구현 내용

프로젝트 참여자

  • 전성신(멘토)
  • 임종훈(팀장)
  • 김준기
  • 이상진
  • 남정욱
  • 최서윤

Popular repositories Loading

  1. ELBLogs-to-OpenSearch ELBLogs-to-OpenSearch Public

    Amazon ELB 로그 OpenSearch에 적재하기

    Python

  2. hanium-api-server hanium-api-server Public

    Python

  3. detect_crawling detect_crawling Public

    크롤링 트래픽 탐지 알고리즘

    Python

  4. insert-sampleData-OpenSearch insert-sampleData-OpenSearch Public

    insert test-data into opensearch

    Python

  5. .github .github Public

    CSS 1

  6. sample-page sample-page Public

    JavaScript

Repositories

Showing 7 of 7 repositories
  • .github Public
    DEU-hanium/.github’s past year of commit activity
    CSS 0 1 0 0 Updated Oct 28, 2023
  • detect_crawling Public

    크롤링 트래픽 탐지 알고리즘

    DEU-hanium/detect_crawling’s past year of commit activity
    Python 0 0 0 0 Updated Oct 28, 2023
  • sample-page Public
    DEU-hanium/sample-page’s past year of commit activity
    JavaScript 0 0 0 0 Updated Oct 28, 2023
  • crawler Public
    DEU-hanium/crawler’s past year of commit activity
    JavaScript 0 0 0 0 Updated Oct 27, 2023
  • hanium-api-server Public
    DEU-hanium/hanium-api-server’s past year of commit activity
    Python 0 0 0 0 Updated Oct 27, 2023
  • ELBLogs-to-OpenSearch Public

    Amazon ELB 로그 OpenSearch에 적재하기

    DEU-hanium/ELBLogs-to-OpenSearch’s past year of commit activity
    Python 0 0 0 0 Updated Aug 30, 2023
  • insert-sampleData-OpenSearch Public

    insert test-data into opensearch

    DEU-hanium/insert-sampleData-OpenSearch’s past year of commit activity
    Python 0 0 0 0 Updated May 20, 2023

Top languages

Loading…

Most used topics

Loading…