cqu_news_scrapy_spider

重大新闻网的爬虫试作

使用方法

cd ${project_dir}
scrapy runspider cqu_news/spiders/crawl.py -o <output_file_name.json|csv>

或者使用额外的命令指定日志级别

scrapy runspider cqu_news/spiders/crawl.py -o <output_file_name.json|csv> --loglevel=INFO
scrapy runspider cqu_news/spiders/crawl.py -o <output_file_name.json|csv> --loglevel=VERBOSE --logfile=cqu_news_2020061301.log

详细说明

参见博客：[Python][Scrapy][爬虫]爬虫应用实战--重大新闻网新闻摘要.py

Issues & Messages

欢迎发PR或Q275176629

License

MIT