Benvenuti al corso Web Scraping 2014

Da questa pagina è possibile avere accesso al materiale rilasciato per il corso sul Web Scraping del 14-15 Gennaio 2014.

È possibile accedere agli esempi di codice, alle slides e ai video e alla trascrizione del 2° giorno di corso. I video sono senza audio.

Relatore

Emmanuele Somma

Riferimenti

Installazione programmi in Windows

È possibile usare le versioni portabili open source dei programmi visti nel corso che si installano senza la necessità di avere utenze amministrative e possono essere utilizzati direttamente.

• Open Source Chrome - da installare sul desktop Windows (come si installa video )

• Open Source Python - da installare sul desktop Windows (si installa più o meno come il precedente)

Google Spreadsheet

• ImportHTML
• ImportHTML Query Language: Tavole Pivot
• ImportData
• ImportFeed
• ImportXML
• ImportXML

Espressioni Regolari

• Regular Expressions Tutorial

XML

• Selettori CSS

Imparare Python

• http://www.codecademy.com/tracks/python
• https://developers.google.com/edu/python/
• http://docs.python.org/2/tutorial/
• http://www.learnpython.org/
• http://www.py4inf.com/
• http://www.tutorialspoint.com/python/index.htm

Uso di Python per lo scraping

• Creating a Spider with Python Mechanize to Monitor Your Website

• The python files from my web scraping tutorials

• http://www.slideshare.net/hhamalai/python-for-data-science

• How to use proxies

• HTML Scraping

• An Introduction to Compassionate Screen Scraping

• Web Scraping with Python

Tutorial librerie Python

• BeautifulSoup Tutorial

Python per l'Analisi dei Dati

• Python for Data Analysis: The Landscape of Tutorials

Distribuzioni Python per l'analisi dei dati

• Enthough Canopy
• Continuum Anaconda

I link utilizzati negli esempi

• Tabella OECD
• Wikipedia: Global Peace Index
• Pagine Gialle: Pizzerie a Roma
• Il Meteo
• Ricerca Repubblica.it
• CSV Stanford.edu
• Wikipedia: 2012 Summer Olympics medal table
• Blog

Giorno 1

• 01 Introduzione (pdf)
• 02-0 Installazione Chrome (video)
• 02 Google Chrome Scraper 1 (video)
• 03 Google Chrome Scraper 2 (video)
• 04 Google Chrome Scraper 3 (video)
• 05 Google Chrome Scraper 4 (video)
• 06-0 Installazione Outwit Hub (video)
• 06 Outwit Hub (video)
• 07 Google Spreadsheet ImportHTML (video)
• 08 CSV & Google Spreadsheet ImportData (video)
• 09 XML intro (pdf)
• 10 Google Spreadsheet ImportFeed (video)
• 11 XPath intro (pdf)
• 12 Google Spreadsheet ImportXML 1 (video)
• 13 HTML Intro (keynote pdf)
• 14 CSS Selectors (keynote pdf)
• 15 Firebug (video)
• 16 Google Spreadsheet ImportXML 2 (video)
• 17 Google Spreadsheet ImportXML 3 (video)

Giorno 2

• 01 Intro
• 02 Esempio 1 (Regular Expression) (video)
• 03 Esempio 2 (lxtml.html) (video)
• 04 Esempio 3 (BeautifulSoup) (video)
• 05 Esempio 4 (Linkedin) (video)
• 06 Mechanize 1 (google.com) (video)
• 07 Mechanize 2 (spider) (video)
• 08 Mechanize 3 (NYTimes) (video)
• 09 Webscraping 1 (video)
• 10 Webscraping 2 (paginegialle) (video)
• 11 scraperwiki (video)
• 12 scrapy (video)