Skip to content

ChehST/scrap

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

48 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Scrap - парсер для Авито!

Внимание! Это мой первый, осознанный и пока ещё песочный проект

Scrap - в частности скрипт, который парсит доску с определённой категорией товаров. Пока что рано говорить, что любой может им легко воспользоваться, но для меня это мотивация довести проект до конца.

linting: pylint

Установка и инструкции к эксплуатации:

  1. Клонируем репозитрий на локальный компьютер
$ git clone "https://github.com/ChehST/scrap.git"
  1. Устанавливаем настраиваем виртуальное окружение, тянем зависимости
$ cd scrap
$ python -m venv venv
$ source venv/bin/adctivate    # Активируем venv
$ pip install -r reguirements.txt
$ deactivate     # Деактивируем venv
  1. Приступаем к эксплуатации: Не забываем активировать venv передзапуском,
$ source venv/bin/adctivate    # Активируем venv
$ python main/scrap_cli.py [URL]

На место URL вставляем полную ссылку с интересующей вас категорией пример:

$ python main/scrap_cli.py https://www.avito.ru/habarovsk/bytovaya_elektronika

На выходе получаем файл parsed_data.csv в корневой папке scrap/ Data csv file