Scrapy

De la Viquipèdia, l'enciclopèdia lliure.
Saltar a la navegació Saltar a la cerca

No s’ha de confondre amb Scrapie


Scrapy
programari
Logotip
Tipus Rastrejador web (no apareix a la llista )
Desenvolupador Scrapinghub, Ltd.
Data de la primera versió 26 de juny de 2008
Última versió 1.8.0 (28 d'octubre de 2019)
Sistema operatiu Microsoft Windows
macOS
Linux
Llenguatge Python
Llicència Llicència BSD
( llicència gratuïta )
Lloc web scrapy.org

Scrapy ( / ˈskreɪpaɪ / SKRAY-PEYE ) és un marc de rastreig web de codi obert escrit en Python . Creat originalment per al rascat web, també es pot utilitzar per extreure dades mitjançant API o com a rastrejador web d’ús general [1] . La manté Scrapinghub Ltd. , una empresa de serveis i desenvolupadors de raspadors web.

L'arquitectura del projecte Scrapy consisteix en "aranyes", que són rastrejadors web als quals se'ls dóna un conjunt d'instruccions. Seguint l’esperit de no repetir-vos marcs, com ara Django [2] , facilita la creació i l’escala de grans projectes de rastreig, cosa que permet als desenvolupadors reutilitzar el seu codi. Scrapy també ofereix un intèrpret d’ordres de rastreig web, que els desenvolupadors poden utilitzar per provar suposicions sobre el comportament d’un lloc [3] . Algunes empreses conegudes utilitzen Scrapy com: Lyst [4] [5] , Parse.ly [6] , Sayone Technologies [5] , Sciences Po Medialab [7] , Data.gov.uk.

Història

Scrapy va ser creat per l'empresa francesa Mydeco, on va ser desenvolupat i mantingut per empleats de Mydeco i Insophia (una empresa consultora a Montevideo , Uruguai). La primera versió pública es va llançar a l'agost del 2008 sota la llicència BSD , amb la versió 1.0 al juny del 2015. El 2011, Scrapinghub es va convertir en el mantenidor oficial [8] [9] .

Nota

  1. ^ Scrapy a simple vista: documentació de Scrapy 2.0.0 , a doc.scrapy.org . Consultat el 5 de març de 2020 .
  2. ^ Preguntes més freqüents: documentació de Scrapy 2.0.0 , a doc.scrapy.org . Consultat el 5 de març de 2020 .
  3. ^ Scrapy shell: documentació de Scrapy 2.0.0 , a doc.scrapy.org . Consultat el 5 de març de 2020 .
  4. ^ Scraable Scraping Using Machine Learning a Lyst , a discussions.lystit.com . Consultat el 5 de març de 2020 (arxivat de l' original el 9 d'octubre de 2016) .
  5. ^ a b Scrapy | Empreses que utilitzen Scrapy , a scrapy.org . Consultat el 5 de març de 2020 .
  6. ^ (EN) Rastreig web i extracció de metadades a Python , de Speaker Deck. Consultat el 5 de març de 2020 .
  7. ^ (EN) Jacomy Mathieu Ooghe-Tabanou Benjamin, Hyphe v0.0.0: ha sortit la primera versió del nostre nou webcrawler. , sobre médialab Sciences Po . Consultat el 5 de març de 2020 .
  8. ^ (EN) scrapy / scrapy , a GitHub. Consultat el 5 de març de 2020 .
  9. ^ (EN) Autor Ajay Ohri, Interview ScrapingHub #python #webcrawling a DECISION STATS, 12 de desembre de 2015. Obtingut el 5 de març de 2020.

Enllaços externs