Škrábání SERP v reálném čase pomocí Zenserp - recenze

Google má dlouhou historii toho, že vývojářům SEO, kteří se pokoušejí vyškrábat veřejně dostupná data ze stránek s výsledky vyhledávání, je opravdu těžké. Ve skutečnosti je škrábání SERP oficiálně v rozporu se smluvními podmínkami společnosti Big G. Tato praxe však neporušuje zákon o počítačových podvodech a zneužití (CFAA), a proto přímé právní kroky společnosti Google k jejímu omezení ustoupily. V tomto článku budeme hovořit o vysoce škálovatelném škrábání SERP v reálném čase pomocí Zenserpu. Pojďme začít!

I když tedy škrábání není ve skutečnosti nezákonné nebo poškozuje pocity někoho v praxi, vývojáři musí stále čelit překážkám. Google je navržen tak, aby bránil jejich shromažďování údajů. Mezi běžné bolesti hlavy patří Captchas a blokování IP adres. V minulosti však byly zasílány dopisy o zastavení používání, tato taktika je stále vzácnější.

Ale co když jste se s těmito obtížemi vůbec nemuseli vypořádat, abyste získali svá vzácná data? Zadejte Zenserp, základní nabídku rakouské společnosti SaaS Industries.

Zenserp v kostce SERP škrábání pomocí Zenserpu

Zenserp API je nástroj snů pro SEO vývojáře, kteří hledají řešení na klíč k odstranění běžných překážek škrábání. Je snadno použitelný a integrovatelný díky vývojovému cyklu SaaS Industries zaměřenému na uživatele a široké jazykové kompatibilitě (Browser, Curl, Python, Node.js, PHP). Navíc jejich nenasytná touha po zpětné vazbě od spotřebitelů a žádostech o funkce vedla k obrovské aktualizaci API v dubnu 2019, která zahrnovala komplexní řadu datových typů, včetně obrázků Google, videí, map, zpráv, nakupování a také trendů.

V kombinaci s konkurenceschopnými cenami a prvotřídním zákaznickým servisem. Opravdu máte řešení typu „vše v jednom“ pro vaše problémy se škrábáním SERP v Zenserpu.

Začínáme se Zenserpem

Jaké je to vlastně používat Zenserp? Níže uvádíme postup, jak začít se Zenserpem. Poté se ponoříme do jejich dokumentace API, abychom získali bližší pohled na robustní funkce společnosti Zenserp.

Přehled řídicího panelu | SERP škrábání pomocí Zenserpu

Předpokládejme, že právě nahlédnete do toho, o čem Zenserp je, kliknete na jasně zelené tlačítko Zaregistrovat se k bezplatnému plánu na jejich domovské stránce. Po vytvoření a ověření účtu přejděte na hlavní panel kliknutím na Přihlásit.

Stránka, na kterou přistanete, zobrazí přehled vašich nejdůležitějších informací o využití, včetně vašeho klíče API, měsíční kvóty požadavků, využití API v průběhu času. Dále dokumentace veškerých neúspěšných požadavků, ke kterým mohlo dojít. K dispozici je také praktická část Tvůrce požadavků, která nasměruje nové uživatele Zenserp na spoustu užitečných zdrojů. Většinou jde o věci, kterým se budeme věnovat v sekci Dokumentace této recenze, takže se toho držte.

Podívejme se rychle na všechny možnosti postranního panelu:

• Přístrojová deska - Už jsi tady! Jedná se jednoduše o rychlý odkaz, kterým se můžete kdykoli vrátit na stránku s přehledem.
• Hřiště - Vhodně pojmenovaná, tato stránka nabízí plně vizuální (tj. Není nutné žádné kódování) a interaktivní rozhraní, abyste si mohli pohrávat s různými koncovými body Zenserp. Zde můžete vygenerovat několik ukázkových odpovědí a použít je ke konfiguraci vašeho požadavku API. Nespoléhejte se na to 100%, protože existují i ​​rohové případy, které přesahují možnosti tohoto nástroje. Přesto se nám líbí, jak máte možnost exportovat experimenty do kódu (Browser, Curl, Python, Node.js, PHP), když najdete něco, co opravdu funguje.
• Dokumentace - Podrobnosti o vnitřnosti rozhraní Zenserp API. Pokrýváme to hlouběji níže.
• Profil / Zabezpečení - Základní konfigurace účtu, včetně vašeho avatara, kontaktních údajů a správy hesel. Nic fantastického.
• Fakturace - Skládá se ze tří možností, kde můžete upgradovat / downgradovat / zrušit svou úroveň předplatného, ​​spravovat svou platební metodu a DIČ, plus volné pole, kde můžete požádat o vložení textu na vaše faktury Zenserp pro usnadnění účtování.

To vše je docela standardní tarif pro jakékoli API, ale oceňujeme, jak jednoduše je vše rozloženo. Uvidíte, co získáte, a Zenserp se nepokouší zakrýt nastavení předplatného v temných rozích vašeho profilu.

Dokumentace API Zenserp | SERP škrábání pomocí Zenserpu

Se základy z cesty se nyní můžeme dostat k dobrým věcem: dokumentace společnosti Zenserp. Zde uvidíte přesně to, čeho je API schopné a jak jej používat. Zatímco plná implementace API do vaší aplikace přesahuje rámec této kontroly, stručně se dotkneme každého koncového bodu, některých klíčových parametrů a poskytneme několik příkladů odpovědí.

Základní funkce

Začínáme se stránkou dokumentace je příhodně pojmenovaná část Začínáme, která podrobně popisuje vaše nejzákladnější funkce API schopné interakce se všemi ostatními koncovými body. Podívejme se:

aplikace cpro craigslist odstraněna

• Ověření - To vám ukáže, jak použít váš klíč API pro autentizaci. V záhlaví je příklad použití, následovaný příklady požadavků GET a POST. Snadný hrášek.
• postavení - Umožňuje požádat o počet zbývajících požadavků na vaše limity předplatného. Koneckonců, proč se obtěžovat přihlašováním k vašemu řídicímu panelu Zenserp, když vám stačí, aby vám aplikace řekla přímo?
• šarže - Připojením tohoto koncového bodu můžete provést až 1 000 vyhledávání v jedné dávce. Máte možnost požádat o všechny dávky najednou, konkrétně podle ID dávky, nebo podle potřeby odeslat novou dávku nebo sloučit stávající.
• Chybové kódy - Zenserp má také schopnost vracet chyby, jakmile se vyskytnou. Včetně 403 Zakázáno, když jste dosáhli svého měsíčního limitu nebo jste použili nesprávný klíč API, 404, pokud nebyly nalezeny žádné výsledky, nebo 500. Kdykoli došlo k chybě serveru. Nezapomeňte, že neúspěšné žádosti se zobrazují také na vašem řídicím panelu.

Koncový bod / search | SERP škrábání pomocí Zenserpu

Základní funkce Zenserpu jsou zde. Připojením / vyhledáním vašeho požadavku API. Obdržíte ucelenou řadu dat v podstatě o čemkoli, na co si vzpomenete, abyste sbírali SERPS. Váš dotaz vrátí širokou škálu výsledků, včetně:

• Výsledky organického vyhledávání - Dotaz na organické SERP vrací všechny druhy dat, včetně hodnocení položek, jejich názvu, zobrazené i cílové adresy URL, několika typů recenzí, ať už jde o odkaz Google AMP, řetězce představující popis stránky a navíc místní balíček 3. který obsahuje obchodní informace.
• Placené výsledky - Získáte také úplný přehled placených výsledků. Vrácené informace zahrnují placenou pozici (nahoře, vpravo nebo dole), název, sledovací adresu URL AdWords, navigaci, viditelnou adresu URL, jak se zobrazuje na Googlu, popis stránky a všechna placená umístění produktu (včetně pozice, názvu, souvisejících obrázků, URL a samozřejmě cena).
• Pole odpovědí / vybraný úryvek / hlavní článek - Čisté zlato pro jakékoli SEO. Snadno uvidíte, co nejlépe vede k získání těchto vyhledávaných míst na SERP, a poté vytvořte strategii pro replikaci těchto výsledků.
• Související vyhledávání / mysleli jste - Zenserp vylepšuje váš výzkum klíčových slov tím, že k vašemu dotazu vrací cenná data o všech souvisejících vyhledáváních. Můžete také předvídat, jak Google reaguje na běžné chyby, které uživatelé dělají při vyhledávání vašeho dotazu.

Zde je omezená verze příkladu, který se objeví v Zenserp dokumentace s dotazem Pied Piper. Můžete zobrazit různé typy výsledků, které se zobrazují v pořadí: položka Wikipedie (1), otázky související s dotazem (2), web s doménou s přesnou shodou (3), populární článek o původu Pied Piper (4) a několik souvisejících videí k tomuto tématu (5). Uvidíte také několik souvisejících vyhledávacích dotazů a celkový počet vrácených výsledků.

Příklad

{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }

Upřesnění požadavku podle typu vyhledávání | SERP škrábání pomocí Zenserpu

Kromě výchozího požadavku SERP můžete svůj vyhledávací dotaz Google také vylepšit podle typu vyhledávání (obrázek, video, mapy, nákupy, zprávy, nákupy atd.). Jednoduše nastavte Také (bude shodováno) s parametrem k některé z následujících možností:

• ish - Vrátí výsledky vyhledávání obrázků Google. Tento požadavek vrací litanii dat včetně polohy, miniatur, zdrojových adres URL, titulů a dalších. (U reverzního vyhledávání obrázků spustíte image_url parametr místo tbm = ish )
• na - Vrátí výsledky vyhledávání Google Video. Získáte informace, jako je zdrojová doména, adresa URL videa, název, popis a všechna rozšíření nebo miniatury.
• lcl - Další zlatý důl dat SEO, lcl parametr vrací výsledky vyhledávání Google Maps. Uvidíte název firmy / místa, adresy URL webových stránek, bez ohledu na to, zda je výsledek placen, jakékoli hvězdičky nebo recenze, plus důležité informace, jako je adresa, telefonní čísla, otevírací doba, pozoruhodné ceny a dokonce i typ firmy. Máte také možnost požádat o pokyny k těmto firmám.
• to - Potřebujete držet krok s aktuálními událostmi a vývojem ve vašem oboru? Přidat to parametr k vašemu dotazu pro návrat výsledků vyhledávání Zpráv Google v reálném čase. Podívejte se na názvy článků, jejich odkazy, data publikování (a analyzovaná vaším API), vydavatele, stručný popis článku a všechny dostupné miniatury.
• prodejna - Získejte přístup k výsledkům vyhledávání v Nákupech Google pomocí prodejna parametr. Pojďme se podívat na některé výsledky vzorků (kvůli zkrácení kvůli zkrácení čitelnosti) pro ohřívače vody v Atlantě, GA:

Nákupní koncový bod

Kromě jádra /Vyhledávání koncový bod, Zenserp API také funkce /nakupování . To vám umožní analyzovat stránky produktů v Nákupech Google. Připojíte id_produktu parametr k vašemu /nakupování dotaz, s možností zadat požadované geografické umístění vyhledávání ( umístění ), kód země ( gI ) a / nebo jazyk webového rozhraní ( hl ). Můžete také změnit, s jakou variantou regionu Vyhledávání Google chcete použít search_engine .

Koncový bod trendu | SERP škrábání pomocí Zenserpu

Žádosti Google Trends se vytvářejí připojením trendy na vaši žádost (ačkoli dokumentace společnosti Zenserp nesprávně uvádí, že byste měli použít /nakupování ). Výsledky Trendů jsou založeny na klíčové slovo [] parametr, kde předáte klíčové slovo jako argument v rámci []. Dokumentace společnosti Zenserp má užitečné připomenutí toho, které operátory Trends používá (+ pro nebo, - pro vyloučení, mezeru pro a a uvozovky pro přesnou shodu), což bude mít při vašem dotazu zásadní význam.

Dále můžete určit časové pásmo ( tz ), ID kategorie ( kočka ), časové okno za výsledky (hodinové, denní, měsíční, roční v mnoha pododděleních). The typ služby Google k vyhledávání (jako jsou obrázky, lety, YouTube, finance atd.). The geo umístění nebo kód umístění Google ( gI ), a dokonce i řešení v tomto regionu (v zásadě nastavení, zda vyhledáváte po celé zemi, celé město, regionálně atd.)

Řekněme, že jste chtěli vidět, jak Kanye West za poslední měsíc trendy. Požadavek zadáte takto:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Výkon | SERP škrábání pomocí Zenserpu

Nyní, když jsme udělali přehled funkcí, jak si vlastně Zenserp vede? Koneckonců, všechna tato pěkná data jsou k ničemu, pokud k nim nemáte skutečný přístup kvůli snahám společnosti Google o programové shromažďování dat.

Z našich zkušeností Zenserp plnil své úkoly bez škytavek, bez ohledu na to, co jsme hledali, a kam ve světě jsme zaměřili naše dotazy. Tajnou zbraní je neuvěřitelná celosvětová síť proxy společnosti Zenserp, která přesměruje vaše požadavky tam, kam potřebují, a přitom mění vaši IP adresu tak, aby vyhovovala. Přestože společnost Zenserp nezveřejňuje skutečné počty svých serverových sítí, ukázalo se dostatečně robustní, aby při vyhodnocení našich požadavků nikdy nezavrhlo jedinou chybu.

Pod kapotou rozhraní Zenserp API je také důmyslný řešič Captcha. Opět nemáme podrobnosti o tom, jak tuto práci provedli. Ale fungovalo to a také důsledně.

Ceny

Infrastruktura společnosti Zenserp stačí k uspokojení jakéhokoli rozsahu provozu. Nabízejí širokou škálu cen za předplatné, takže platíte pouze za přesně to, co potřebujete. Bez ohledu na to, jakou úroveň si vyberete, můžete zaplatit nízký měsíční poplatek nebo získat 20% slevu na roční tarif.

Kromě standardních úrovní nabízí Zenserp plány velkých objemů. To je zamčeno do systému měsíčních plateb. Každá úroveň obsahuje všechny prémiové funkce plánů STŘEDNĚ-VELMI VELKÉ. A škáluje vaši měsíční kvótu podle toho, kolik platíte:

• PREMIUM - 599,99 $ a 250 000 požadavků za měsíc
• PROFESIONÁLNÍ - 1 399,99 $ a 750 000 požadavků měsíčně
• PODNIK - 1 599,99 $ a 1 000 000 požadavků za měsíc

SERP škrábání pomocí Zenserpu

SaaS Industries vytvořila neuvěřitelnou nabídku pomocí svého Zenserp API. Je přizpůsobitelný a vysoce škálovatelný díky své robustní infrastruktuře. Přesto snadno integrovatelný do vaší aplikace díky snadné parametrické logice a široké kompatibilitě kódovacího jazyka.

Naše testování přineslo konzistentní výsledky, aniž by došlo k chybě. I když máme podezření, že služba není nezranitelná vůči chybám v rozsahu požadovaném velkými podniky. Bez ohledu na to, jaký typ požadavku jsme vznesli, výsledky byly vždy aktuální a smysluplné. Je nesmírně užitečné umět upřesnit váš požadavek SERP podle typu vyhledávání, a proto je jasné, že Zenserp nabízí neocenitelný, ale cenově dostupný nástroj pro všechny vývojáře SEO.

Pokud bychom měli jakoukoli kritiku služby, je to tak, že by dokumentace mohla vysvětlit její obsah pomocí přirozenějšího jazyka. Zkušený vývojář by samozřejmě neměl mít problémy s pochopením toho, co nabízí, takže se pravděpodobně nejedná o problém. I když ano, všechny kromě nejmenších platebních úrovní zahrnují concierge onboarding a personalizovanou zákaznickou podporu, takže budete vždy schopni dokonale vyhovět vašim potřebám.

Závěr

Dobře, to bylo všechno, lidi! Doufám, že se vám líbí tento článek SERPs Scraping with Zenserp a bude vám užitečný. Dejte nám o tom zpětnou vazbu. Také pokud máte další dotazy týkající se tohoto článku. Pak nám dejte vědět v sekci komentáře níže. Brzy se vám ozveme.

Měj krásný zbytek dne!

Viz také: Uživatelská příručka Při zobrazení mezipaměti Chrome v systému Windows 10