Vad är webbskrapning och vad används det till

Web scraping är att använda bots för att samla in information från internet, antingen för legitima eller olagliga ändamål. En webbskraperbot tittar på texten, bilderna och till och med HTML-koden den hittar online och skickar information till sin ägare. Mycket webbskrapning är olagligt – till exempel kan cyberbrottslingar använda scraper-robotar för att kopiera hela webbplatser och använda dem för att stjäla människors kreditkortsnummer.

Webbskrapning kan antingen vara skadligt eller inte. Många människor använder scraper bots på ett legitimt sätt; många andra använder dem för oetiska eller olagliga ändamål. Om du har ett företag bör du veta något om fördelarna med webbskrapverktyg och farorna med skadliga skraprobotar.

Vad är några legitima användningsområden för skrapbots?

Den mest uppenbara är scraper-bots som används av sökmotorer för att rangordna webbplatser. Även ett stort företag som Google hade aldrig råd att rangordna varje webbplats manuellt. Det finns så många av dem att algoritmer måste göra det.

En sökmotorbot flyttar från en webbsida till en annan och avgör vad webbplatsen handlar om och dess kvalitet. Boten kommer att titta på hur snabbt sajten laddas, hur bra innehållet är, om sajten fungerar bra på mobiltelefoner eller inte och andra faktorer innan den rankas.

Om webbplatsen är utmärkt kommer den att rankas högst upp i en internetsökning efter vanliga sökord. Om det inte är så bra kan det fortfarande rankas högst upp för sökord som är ovanliga. Det finns många andra legitima användningsområden för dessa bots.

Sentimentanalys

Om ett företag släpper en ny produkt behöver de mycket information för att få en sann bild av vad allmänheten tycker om den. De kan använda en skraparbot för att titta på forum och sociala medier för att samla in information. Recensioner och försäljning är det bästa sättet att veta om användarna gillar en produkt, men information från inlägg på sociala medier kan berätta för ett företag hur man kan förbättra den.

Generering av leads

Att hitta potentiella kunders kontaktinformation tar tid. En bra bot kan samla en enorm mängd information på kort tid och ge dig en lång lista med kunder att kontakta.

Marknadsundersökning

Du kan också använda bots för att samla information om saker som pristrender på fastigheter eller något annat. En scraper-bot kan också själv kategorisera information.

Vad är skadlig webbskrapning?

Skadliga webbskrapor använder bots för att göra oetiska saker. Vissa av dessa saker är helt klart mycket olagliga; andra gånger är de oetiska men överskrider inte tydligt några juridiska gränser. Du bör veta om hur hackare kan använda webbskrapning illegalt eller hur dina konkurrenter kan använda scraper-bots för att få en fördel över dig.

Upphovsrättsintrång

En webbskrapa bot kan stjäla all HTML-kod, text och bilder från en webbplats. Ägaren kan då olagligt skapa kopior av denna sida någon annanstans på internet. Detta låter dem tjäna pengar på innehåll som andra människor skapat.

Ibland är det inte lätt att avgöra vilken av webbplatserna som är kopian. Även utan stöld är upphovsrättsintrång skadligt för företagare. Om du lägger mycket tid eller pengar på att skapa innehåll för din webbplats, tolerera inte någon som kopierar det.

Stöld och bedrägeri

I sig är kopiering olagligt eftersom det är upphovsrättsintrång. En tjuv kan dock gå utöver detta och använda en kopierad sida för att stjäla människors pengar eller begå identitetsstöld.

Om någon hittar en kopia av en webbplats och misstar den för den riktiga, kan de göra ett köp från denna webbplats. En hacker kan sedan ta deras kreditkorts- eller bankinformation och stjäla pengar från dem.

Undersöka och underskrida priser

En skraparbot kan gå runt och samla in priser från olika företag så att deras ägare kan underskrida konkurrenternas priser. Scraper-bots kan göra detaljerad prisundersökning som skulle ta mycket tid för en människa att göra.

De skulle till exempel kunna samla in mycket information om hur mycket det kostar att hyra olika bilar från olika företag i olika städer. Detta är inte alltid etiskt eller lagligt – ibland anses prisunderskridande vara underprissättning.

Att stjäla personlig information för att sälja

Alla som använder en scraper-bot för att bygga en kopia av en webbplats kan använda den för att stjäla all information som människor anger. De kan använda en falsk sida för att stjäla lösenord, användarnamn, adresser och mer. Det finns en svart marknad för användarnamn och lösenord på den mörka webben, och hackare försöker alltid hitta listor med användarnamn och lösenord att sälja.

Är det svårt att göra en skraparbot?

Att bygga en scraper-bot kräver bara en måttlig programmeringsförmåga. Av denna anledning bygger många människor anpassade skraprobotar själva. Python är ett vanligt språk för att koda scraper-bots.

Om du är intresserad av att göra webbskrapning är några tips:

• Programmeringsspråket Python har många bibliotek som kan vara användbara för dig. Lägg inte mycket tid på att utveckla en lösning som du enkelt kan hitta i ett bibliotek. Professionella programmerare gör inte allt själva – de letar upp saker för att få saker gjorda snabbt.
• Håll dig inom lagen. Slå upp lagar i ditt område, inte bara i ditt land, och titta på användarvillkoren för varje webbplats.
• Försök att vara etisk och inte bara laglig – till exempel, bromsa inte någons webbplats genom att skicka för mycket trafik.
• Planera allt innan du gör det. Vet exakt vilken information du vill hitta innan du skickar ut din bot för att få den.

Hur kan du skydda din webbplats från scraper-bots?

Det är inte lätt att helt hålla skraprobotar borta från din webbplats, speciellt om ingen gör något olagligt. Du kan dock använda mjukvara för botdetektering för att blockera trafik som uppenbarligen är automatiserad. Botdetekteringsprogramvara kan skydda dig från scraper-robotar genom att:

• Blockera trafik från användare med uppenbart artificiellt beteende. En bot som försöker samla in information kommer inte att bete sig som en mänsklig användare, och antibot-mjukvara kan upptäcka det och vägra åtkomst. Medan vissa bots kan efterlikna en mänsklig användare, är andra mycket mindre sofistikerade och lätta för programvara att upptäcka.
• Blockerar trafik från IP-adresser med dåligt rykte. Om botters ofta använder en IP-adress, kommer antibot-programvara att registrera den och blockera trafik från den.
• Kräver att alla som kommer åt din webbplats ska kunna köra javascript eller aktivera cookies. Detta är tillräckligt för att blockera mycket automatiserad trafik.

Ett annat alternativ är att kräva captchas och andra tester för att bevisa att trafik kommer från en människa. Ett annat knep är att använda bilder istället för text för att visa information.

Till exempel kan din kontaktinformationssida använda bilder och inte text för att visa ditt telefonnummer, e-postadress, postadress och så vidare. Botar kanske inte kan extrahera information från bilder.