Skip to content

Latest commit

 

History

History
72 lines (52 loc) · 2.72 KB

README.md

File metadata and controls

72 lines (52 loc) · 2.72 KB
Raw

Desafio 2: Crawlers

Parte do trabalho na IDwall inclui desenvolver crawlers/scrapers para coletar dados de websites. Como nós nos divertimos trabalhando, às vezes trabalhamos para nos divertir!

O Reddit é quase como um fórum com milhares de categorias diferentes. Com a sua conta, você pode navegar por assuntos técnicos, ver fotos de gatinhos, discutir questões de filosofia, aprender alguns life hacks e ficar por dentro das notícias do mundo todo!

Subreddits são como fóruns dentro do Reddit e as postagens são chamadas threads.

Para quem gosta de gatos, há o subreddit "/r/cats" com threads contendo fotos de gatos fofinhos. Para threads sobre o Brasil, vale a pena visitar "/r/brazil" ou ainda "/r/worldnews". Um dos maiores subreddits é o "/r/AskReddit".

Cada thread possui uma pontuação que, simplificando, aumenta com "up votes" (tipo um like) e é reduzida com "down votes".

Sua missão é encontrar e listar as threads que estão bombando no Reddit naquele momento! Consideramos como bombando threads com 5000 pontos ou mais.

Entrada

  • Lista com nomes de subreddits separados por ponto-e-vírgula (;). Ex: "askreddit;worldnews;cats"

Parte 1

Gerar e imprimir uma lista contendo número de upvotes, subreddit, título da thread, link para os comentários da thread, link da thread. Essa parte pode ser um CLI simples, desde que a formatação da impressão fique legível.

Parte 2

Construir um robô que nos envie essa lista via Telegram sempre que receber o comando /NadaPraFazer [+ Lista de subrredits] (ex.: /NadaPraFazer programming;dogs;brazil)

Dicas

  • Use https://old.reddit.com/
  • Qualquer método para coletar os dados é válido. Caso não saiba por onde começar, procure por JSoup (Java), SeleniumHQ (Java), PhantomJS (Javascript) e Beautiful Soup (Python).

scrappy-coco

The project is composed by two services:

  • app: The service which runs Scrapy and make it available by using ScrapyRT.
  • telegram: The service that get messages in Telegram bot by pulling.
  • mongo: The service that stores all the data.
  • Prometheus: Service to monitoring.
  • node-exporter: Prometheus exporter.
  • cadvisor-exporter(disabled for now): Prometheus exporter.

Contributing

Install development dependencies:

pip install -r requirements-dev.txt
docker-compose up --build

Running

Starting containers:

docker-compose up --build

It's also possible to consume Scrapy thrue HTTP request(ScrapyRT credits), like the following:

curl -v "http://localhost:9080/crawl.json?url=http://old.reddit.com/r/cats&spider_name=reddit" | jq