Se il tuo sito web è nuovo o è online da un po' di tempo, c'è la possibilità che i tuoi contenuti vengano "scrapati". Ma cosa significa esattamente "web scraping"? Questo post ti spiegherà cos'è e come prevenire il web scraping.
Cos'è il Web Scraping? Il web scraping è una tecnica per ottenere automaticamente dati dalle pagine web. Si basa sull'indicizzazione dei contenuti. Può anche concentrarsi sulla conversione delle informazioni contenute nei siti web in informazioni duplicate comprensibili. Questi dati possono poi essere esportati in altri formati, come fogli di calcolo. Il primo web scraping bot non dannoso, chiamato "World Wide Web Wanderer", è stato lanciato nel 1993 e ha stimato le dimensioni della neonata World Wide Web. Bidder's Edge, uno dei primi bot di web scraping per l'e-commerce potenzialmente pericolosi, è stato rilasciato all'inizio degli anni 2000 per raccogliere informazioni sui prezzi dei rivali su siti di aste. In un caso legale, eBay contro Bidder's Edge, il tribunale ha dichiarato il web scraping online accettabile, ma l'eccessivo sovraccarico sui server di eBay causato dai bot di scraping, che estraevano così tanti dati, è stato evidenziato come causa di perdita di guadagno. Oggi il web scraping è ancora un'area legalmente ambigua. Piuttosto che aspettare una risposta legale, le aziende online potrebbero installare efficaci misure di sicurezza per i bot e metodi di rilevamento degli scraper bot. Il personale responsabile di questa operazione di scansione, nota come "scraping", è chiamato bot o crawler. Sono robot progettati per attraversare autonomamente siti web e raccogliere dati o informazioni contenute al loro interno. I dati che possono essere acquisiti sono estremamente diversi. Esistono tecnologie, ad esempio, che si occupano del mappaggio dei prezzi o della raccolta di informazioni sui prezzi degli hotel o dei viaggi per siti di comparazione. Altri metodi, come lo "scraping SERP", vengono utilizzati per trovare i risultati migliori nei motori di ricerca per determinati termini. Molte grandi aziende utilizzano il web scraping. Google è forse l'esempio più evidente: dove pensi che ottenga tutte le informazioni di cui ha bisogno per indicizzare i siti web? I suoi bot cercano continuamente il web e classificano le informazioni in base alla rilevanza.
È illegale fare Web Scraping di un Sito Web? La legalità del web scraping può variare a seconda di vari fattori, tra cui la giurisdizione, i contenuti specifici che vengono estratti e lo scopo dell'attività di scraping. In alcuni casi, il web scraping può essere considerato legale, mentre in altri potrebbe essere considerato illegale e soggetto ad azioni legali. Tuttavia, per assicurarsi che lo scraping del sito web sia legale, bisogna capire se i contenuti sono pubblici o privati. Ecco alcuni esempi di come i contenuti di un sito possono essere considerati off-limits per gli scraper di dati: - Se è necessario effettuare l'accesso per visualizzare i contenuti del sito web; - Se il file "robots.txt" sul sito web indica agli spider e agli scraper di non eseguire la scansione del sito; - Se i contenuti sono memorizzati su server privati e sono esplicitamente contrassegnati come non pubblici, come ad esempio alcuni archivi governativi; - Se i contenuti contengono informazioni sensibili, come informazioni bancarie o numeri di identificazione; È importante ricordare che, a seconda del tipo di dati oggetto dello scraping, come ad esempio le informazioni personali, potrebbe violare diverse normative sulla privacy dei dati e essere considerato un reato.
5 Modi per Prevenire lo Scraping di un Sito Web Monitora il Traffico del Sito Web Se non monitori il traffico del tuo sito web, è probabile che tu non riesca a individuare possibili bot, inclusi quelli che stanno facendo web scraping del sito. Monitorando il traffico del sito web e identificando fonti di traffico sospette, puoi bloccarle prima che causino seri problemi al tuo sito web. Usa un File "Robots.txt" Il file "Robots.txt" indica agli spider dei motori di ricerca e agli scraper quali pagine del tuo sito web possono essere accessibili. Assicurati che il tuo file "robots.txt" sia chiaro e ben strutturato. Specifica chiaramente le sezioni a cui non vuoi che gli spider e gli scraper abbiano accesso. È importante ricordare che il file "robots.txt" è più una raccomandazione e, sebbene molti motori di ricerca e web scraper rispetteranno le istruzioni contenute nel file, molti altri lo ignoreranno. Questo potrebbe sembrare scoraggiante, ma dovresti comunque avere il file "robots.txt" in posizione. Usa CAPTCHA Il CAPTCHA è una forma di test di verifica che rende facile per gli esseri umani accedere a un sito o un'applicazione, ma rende praticamente impossibile per strumenti automatizzati come gli scraper di contenuti. CAPTCHA sta per "Completely Automated Public Turing Test to Tell Computers and Humans Apart" e può essere aggiunto a qualsiasi modulo sul tuo sito web, comprese le pagine di accesso. Questi test servono come un cancello che consente l'accesso solo a coloro che superano il test. Se utilizzi CAPTCHA, assicurati che i test non siano impossibili da risolvere, in modo da consentire alle persone di accedere senza problemi. Alcuni test, come quelli con caratteri insoliti, potrebbero essere problematici per utenti con dislessia o altre disabilità visive. Limita il Numero di Richieste Limitare il numero di richieste che un indirizzo IP o un user agent può fare al tuo sito web può aiutare a prevenire il web scraping. Puoi fare ciò utilizzando un limite di velocità, che limita il numero di richieste che possono essere effettuate sul tuo sito web in un determinato periodo di tempo. In questo modo, puoi impedire agli scraper web di inundare il tuo sito web con richieste, causando potenzialmente il blocco del sito. Usa una Content Delivery Network (CDN) Una Content Delivery Network, o CDN, è una rete globale di server che collaborano per fornire i contenuti del tuo sito web agli utenti ovunque si trovino nel mondo. Le CDN possono aiutare a prevenire il web scraping memorizzando nella cache il tuo sito web e servendo contenuti statici come foto e video da un server locale anziché dal server principale del sito web. Quando una CDN fa ciò, il carico totale sul server principale si riduce, rendendo più difficile agli scraper web effettuare lo scraping della pagina. Inoltre, se hai una sezione privata nel backend, questa è un ulteriore livello di sicurezza per impedire ai bot di forzare l'accesso al tuo sito. Solo per un mese offriamo a tutti i nostri nuovi clienti un'opportunità unica per rafforzare la sicurezza del loro sito web e collegare il servizio CDN di un provider di hosting con una reputazione mondiale. Utilizza il codice promozionale SC50CDN8 e ottieni il 50% di sconto solo ora.