Det finns många anledningar till att man vill crawla SERPen i Google. Det kan vara så att man vill bygga en stor databas av meta-data knutna till sökord eller få mer insikt i hur Google tolkar intentionen bakom en mängd olika sökord utifrån sökresultatet i SERPen.
Med Screaming Frog kan man crawla Googles SERP och via funktionen Custom extration i Screaming Frog hämta ut data från SERPen som man sedan kan analysera vidare.
Knepet med att crawla Google är att sakta ner crawlings takten och att ändra user-agent till en vanlig webbläsare. Fortsätt läsa “Hur man skrapar SERPen i Google med Screaming Frog”