Chyba 404 (SEO): Unikátny Spôsob Ako Efektívne Opraviť 404 Stránky!

Ak ste už niekedy riešili technické SEO, určite ste sa stretli s chybou 404. Stavím sa s vami, že ste si kládli nasledovné otázky:

• Ako nájdem všetky 404 stránky?
• Ako veľmi stránky 404 ovplyvňujú Google ranking?
• Aké je ideálne riešenie?
• Mám 404-ky presmerovať alebo nechať tak?
• Kam mám 404-ky presmerovať?
• Ako nájdem relevantné stránky na presmerovanie?
• Ako mám spraviť presmerovanie pre veľké množstvo 404-iek?
• …

V tomto návode nájdete všetky podstatné informácie ohľadom 404 stránok, vďaka ktorým si už nebudete musieť búchať hlavu o stenu pri riešení dilemy, ako ich efektívne opraviť z pohľadu SEO.

Okrem odpovedí na vyššie položené otázky sa naučíte ako využiť dáta, ktoré nám poskytuje samotný Google. Áno, je to tak! Naučíte sa ako automaticky scrapovať informácie priamo z výsledkov vyhľadávania.

Zvýšte si svoj SEO skillset!

Scrapovanie dát z Google vám otvorí nové možnosti, ako zlepšiť optimalizačné praktiky nielen v súvislosti so 404 stránkami. Aj preto vám odporúčam pokračovať v čítaní …

Čo je chyba 404?

Takže, čo je to vlastne to chybové hlásenie 404?

HTTP 404, 404 Not Found alebo 404 chybové hlásenie je HTTP (Hypertext Tranfer Protocol) standard response code = kód odozvy, ktorý dáva informáciu o tom, že klient (prehliadač) úspešne nadviazal komunikáciu so serverom (webom), ale server nenašiel čo klient požadoval.

Pre podrobné info a detaily k 404 pozri: Wikipédia: HTTP 404

V ľudskej reči je to nenájdená stránka.

SEO a 404 stránky

Pre SEO je podstatné vedieť ako Google vyhodnocuje 404 stránky. Tu sú najdôležitejšie zistenia:

• Google necrawluje obsah 404 stránok.
• 404 neprenáša link juice na stránky na ktoré odkazuje!
• 404 nie je indexovaná v SERP (Search Engine Result Page = výsledky vyhľadávania).
• 404 je aj naďalej crawlovaná Google botmi (menej často).
• 404 priamo nespôsobuje penalizáciu v Google search.

Kedy Google odindexuje 404 stránku?

Keď Google bot narazí na novú 404 stránku, uloží si ju do zoznamu stránok na odstránenie z indexu. Pred procesom jej odstránenie, Google urobí double check a ešte raz vyskúša, či stránka je stále nedostupná. Ak tomu tak je, stránka ide na porážku (je odstránená z indexu).

Quote by Matt Cutts:

… So with 404s, along with I think 401s and maybe 403s, if we see a page and we get a 404, we are going to protect that page for 24 hours in the crawling system.

 

So we sort of wait and we say, well maybe that was a transient 404. Maybe it wasn’t really intended to be  page not found. 

 

And so in the crawling system it’ll be protected for 24 hours …

Source: Google Offers Advice on 404 and 410 Status Codes

Ako Google crawluje 404?

Google z času na čas crawluje 404 stránky, ak má dostatok crawl budgetu, aby sa presvedčil, či sú tieto stránky stále not found. Vyzerá (podľa oficiálneho tvrdenia), že crawl budget 404-kami ohrozený nie je, aj keď v prípade veľkého množstva 404 by som sa na to veľmi nespoliehal a snažil sa fixnúť tieto stránky.

Quote by John Mueller:

Google crawls non-existent pages:

…

» 404 crawls are sometimes Google utilizing extra crawl capacity to double check URLs that used to exist (in case the page returns)

 

» 404 crawling is a sign that Google has more than enough capacity to crawl more URLs from your site

 

» 404 pages do not need to be blocked from crawling (for the purpose of preserving crawl budget). You will not lose crawl capacity from 404 crawls …

Source: Google’s John Mueller Explains Why Google Crawls Non-Existent Pages

Oprava 404: možnosti ako riešiť 404 stránky z pohľadu SEO.

3 možnosti ako sa môžete k 404 stránkam postaviť:

• Spraviť 404 custom page a nechať na pokoji.
• Spraviť 404 custom page a z niektorých 410 (len v ojedinelých prípadoch)
• Spraviť 404 custom page a 301 presmerovanie.

Kedy 404 stránky neriešiť a nechať tak ako sú?

V prípade, že pomer 404 stránok ku 200 stránkam je veľmi malý a v zozname 404 sa nenachádzajú stránky, ktoré by obsahovali backlinky alebo ktoré by v minulosti získavali organický traffic!

Inak odporúčam spraviť aspoň 404 custom page pre zlepšenie UX.

Prikladám odporúčanie od Nathana Gotcha :

When a Page Should Be Deleted?

 

… The only time a page should be deleted and left as a 404 error is when it is outdated, doesn’t drive sales, doesn’t have organic search traffic (or traffic at all), and doesn’t have backlinks. …

Kedy zo 404 stránky spraviť 410?

FYI: 410 stavový kód znamená, že stránka je vedome definitívne zmazaná.

410 je vhodné spraviť jedine pri týchto okolnostiach:

• Stránka nemá žiadne backlinky
• Stránka už nikdy nebude obnovená
• Stránka nemá žiadnu relevantnú náhradu, kam by ju bolo vhodné presmerovať.

Odporúčanie od Matta Cuttsa :

When a 404 Page Should be 410?

 

… If a page is gone and you know no other page that should substitute for it, you don’t have anywhere else that you should point to, and you know that page is going to be gone and never come back, then go ahead and serve a 410. …

Source: Google’s John Mueller Explains Why Google Crawls Non-Existent Pages

Kedy zo 404 stránky spraviť 301 presmerovanie? 

• Keď na stránku vedú vnútorné odkazy (linky)
• Keď na stránku vedú externé spätné odkazy
• Keď má/mala stránka organický traffic

Odporúčanie od Nathana Gotcha :

When a Page Should be 301 Redirected

 

… A page should be 301 redirected when it has backlinks, but is no longer needed. You should always try to redirect the page to a relevant page, but if they aren’t any relevant pages, then redirect to the homepage. …

Na internete sa vedú večné diskusie, čo je lepšie z užívateľského hľadiska.

Nechať 404, aby návštevník vedel, že stránka neexistuje alebo presmerovať ho na inú stránku?

Osobne sa prikláňam k názoru, že lepšie je väčšinu stránok presmerovať. Nemyslím, že by to malo negatívny efekt na UX.

Ak by sme to chceli úplne vyhrotiť z UX hľadiska, dalo by sa spraviť presmerovanie s info panelom, ktorý by informoval návštevníka, že bol presmerovaný na relevantnú stránku.

Ako nájsť 404 stránky?

Nástroje pomocou ktorých viete identifikovať 404 sú:

• Search Console
• Screaming Frog
• Ahrefs
• Spotibo
• Preklikať všetky linky ručne (neodporúčam)

Častým problém, ktorý nastane po identifikovaní 404 stránok je dilema ako postupovať ďalej.

Ako poznám SEO agentúry a konzultantov, vo väčšine prípadov dodajú zoznam 404 a povedia, aby si ich klient opravili. V tom lepšom prípade poskytnú odporúčania.

Toto však nie je optimálne riešenie. Ideálne je pripraviť  konkrétny návrh s presnou špecifikáciou = ktoré 404 stránky treba presmerovať a hlavne kam ich treba presmerovať.

Takéto mapovanie relevantných stránok môže zabrať naozaj veľa času. Najmä ak človek nepozná dokonale svoj web a všetky jeho URLs.

A práve preto poskytujem návod ako rýchlo a efektívne nájsť relevantné stránky bez toho, aby ste predtým poznali, respektíve videli web, na ktorom robíte SEO audit.

Zhrňme si ešte raz, prečo chceme spraviť 301 presmerovanie chybových 404 stránok:

Presmerovanie 404 stránok robíme hlavne kvôli SEO. Aby sme využili nenájdené stránky (backlinky a traffic) na podporu existujúcich relevantných stránok.

Video rekapitulácia:

Ako využiť/zneužiť Google pri hľadaní relevantných stránok?

Veľkou výhodou je si uvedomiť, že Google presne vie, ktoré sú relevantné stránky na základe vyhľadávacieho dopytu aj v prípade, že nezadefinujeme výraz presne alebo v ňom spravíme chyby (preklepy).

Tu je dôkaz, že Google zobrazí relevantnú stránku aj v prípade, že vyhľadávací dopyt neobsahuje presné výrazy nachádzajúce sa na danej stránke.

A teraz vážne.

Ako nájdem relevantnú – existujúcu stránku, keď poznám len 404 stránku? (príklad z praxe)

Ako názornú ukážku 404 stránky použijem môj článok na paravan blogu:

404 stránka (chýba koncová časť URL) : https://blog.paravan.sk/online-marketing-pre-podniky-a-male-biznisy/

Keď URL 404 stránky premením na vyhľadávací výraz v tomto formáte:

Kde Google URL je nasledovná: https://www.google.com/search?num=1&q=site:blog.paravan.sk+online+marketing+pre+podniky+a+male+biznisy

Google mi nájde jeden najrelevantnejší výsledok z domény blog.paravan.sk

A práve toto je stránka, na ktorú chcem presmerovať moju chybovú 404 stránku.

Teraz mi už len stačí skopírovať / vyscrapovať URL adresu z Google výsledkov vyhľadávania a priradiť ju k mojej 404 stránke. Ideálne cez Google Sheet alebo Excel.

Ako scrapovať dáta z Google výsledkov vyhľadávania?

Ako teda môžeme scrapovať dáta z Google aj bez väčších programátorských skillov?

Odporúčam tieto dva nástroje:

• Scraper – Chrome Extension (manuálne pre menšie množstvo Google stránok)

Zadaním XPath výrazu: //*[@class=”r”]/a/@href do Scraper rozšírenia dostanem nasledujúci výsledok:

Teraz mi už len stačí kliknúť na tlačítko “Copy to Clipboard” a URL adresu z výsledkov vyhľadávania mám skopírovanú.

Scraper (Chrome Extension)

• Screaming Frog (pre väčšie množstvo Google stránok)

Aby som nemusel všetko robiť manuálne, pre scrapovanie väčšieho množstva Google stránok odporúčam použiť nástroj Screaming Frog!

Screaming Frog

Ako rýchlo a efektívne nájsť relevantné stránky vhodné na 301 presmerovanie vo veľkom merítku?

V prípade veľkého množstva 404 stránok je ideálne mapovanie relevantných URLs zautomatizovať.

Čo budeme potrebovať?

• Search Console
• Screaming Frog
• Excel alebo Google Sheet
• VPN (nie je potrebný, ale odporúčam, keďže ideme scrapovať Google SERP)

Postup: 

1. Nájdem 404 stránky

Pomocou Search Consoly a Screaming Frog nástroja si nájdem všetky 404 stránky, ktoré si vložím do Google Sheetu. 

2. Vytvorím špeciálne Google URLs (ktoré budeme scrapovať)

Pomocou Google Sheet funkcie pretransformujem 404 stránky do Google URL verzie, tak ako som to spravil pri mojom názornom príklade vyššie. 

3. Nastavím Screaming Frog 

Upravím nastavenie Screaming Frog nástroja tak, aby som mohol scrapovať Google stránky.

4. K 404 stránkam priradím relevantné 200 stránky

Nascrapované relevantné stránky si vložím do Google Sheet a pomocou VLOOKUP funkcie ich priradím k 404 stránkam.

5. Stránky skontrolujem a pošlem web developerovi na presmerovanie

Predtým ako pošlem data programátorovi, odporúčam ich prekontrolovať a v prípade potreby upraviť.

Ako nájsť relevantné stránky vhodné na presmerovanie? (príklad z praxe – eset.com): 

Aby som ukázal, ako to vyzerá v praxi, pripravil som si case study, v ktorom skontrolujem 404 stránky spoločnosti ESET. Eset mi napadol, ako dobrý kandidát pre názornú ukážku, pretože ich web skoro vôbec nepoznám.

Warning: V dobe čítania, môžu už byť 404 fixnuté

 

Step 1: Pomocou Screaming Frog nájdem 404 stránky

Tu asi netreba nič dodať …

Step 2: Z 404 URLs vytvorím Google URLs 

Zo Screaming Frog si 404 stránky skopírujem a vložím do Google Sheet.

Pomocou SUBSTITUTE funkcie si hromadne premením 404 adresy na Google adresy, tak aby Google adresa obsahovala:

• ?num=1 parameter
• q=site:“názov domény“
• vyhľadávací výraz vytvorený z koncovej časti URL (path)

 

Konkrétny príklad na transformáciu 404 URL:

404 stránka: https://www.eset.com/us/about/newsroom/corporate-blog/

Google stránka: https://www.google.com/search?num=1&q=site%3Awww.eset.com+us+about+newsroom+corporate+blog

A takto to vyzerá vo väčšom merítku (väčšie množstvo 404) pri použití Google Sheet funkcie:

Step 3: Prispôsobím nastavenie Screaming Frogu na scrapovanie Google 

Aby mi Google nezablokoval IP na istý čas alebo nezačal ukazovať CAPTCHU musím byť pri scrapovaní opatrný a robiť to rozumne (pomaly).

Ak vám náhodou Google zablokuje IP, nepanikárte! Je to len dočasne :). Museli by ste scrapovať fakt vo veľkom, aby vám niečo vôbec hrozilo. Takže naozaj kľud!

V prvom kroku nastavím rýchlosť scrapovania na maximálne 1 thread a maximálne 0.3 URI:

V druhom kroku nastavím Chrome ako user agenta:

V treťom kroku si nastavím Custom Extraction presne ako som to robil pri použití Scraper Chrome rozšírenia.

Čiže:

XPath = //*[@class=”r”]/a/@href  (Extract Text)

Štvrtý krok je nepoviný, ale veľmi ho doporučujem.

Niekedy sa mi už stalo, že pre moju IP adresu nefungovalo scrapovanie cez Screaming Frog, ale keď som zmenil IP cez VPN, všetko išlo vpohode.

Ak budete scrapovať cez svoju IP a Google vám kvôli tomu začne zobrazovať CAPTCHU pri vyhľadávaní, tak naseriete asi každého (vrátane seba), kto zdieľa s vami IP (rodina, kolegovci).

Takže lepšie je použiť VPN a po scrapovaní ju vypnúť a zas používať klasicky svoju IP.

Už dlhý čas používam NordVPN, ktorý môžem jedine odporúčať!

Tu sú moje dôvody prečo použiť NordVPN:

• lacné (odporúčam odsledovať si zľavové akcie)
• funkčné (mac aj windows)
• má funkčnú mobilnú aplikáciu
• jednoducho ovládateľne (super UX)

Takto to vyzerá NordVPN aplikácia na Macu:

NordVPN

V piatom kroku skopírujem všetky pretransformované Google adresy, vložím do Screaming Frogu a spustím:

Step 4: K 404 stránkam priradím relevantné 200 stránky

Po úspešnom docrawlovaní, si zo Screaming Frog reportu (Custom > Filter: Extraction) skopírujem Google URLs > prvý stĺpec (ktoré som v predošlom kroku vložil) a URLs, ktoré mi Screaming Frog vyextrahoval > druhý stĺpec. Viď obrázok nižšie.

Vytvorím si nový sheet (“Screaming Frog – Google Scraping”) do ktorého vložím skopírované stĺpce.

Teraz už len stačí v pôvodnom sheete pomocou VLOOKUP funkcie priradiť nové (vyscrapované) stránky, ku 404 stránkam.

Vualá! Takto vyzerá finálny dokument, kde sú namapované k 404 stránkam nové – relevantné stránky, ktoré nám odporučil samotný Google.

Step 5: Stránky skontrolujem a pošlem web developerovi na presmerovanie

Predtým, ako finálny dokument pošlete web developerovi na presmerovanie, odporúčam si priradené stránky skontrolovať a usitiť sa, že dávajú zmysel.

Pri kontrole môžete využiť funkciu ImportXML.

=importxml("url","//title")

Táto funkcia vám vyscrapuje titles vašich doporučených stránok do Google Sheetu. Takže si môžte priamo v Google Sheet pozrieť o čom je konkrétna stránka a lepšie pochopiť, či presmerovanie na ňu dáva zmysel.

Takto to vyzerá, keď si do Google Sheet doplníte stĺpec s page titles:

Okrem toho môžete spraviť dvojitú kontrolu a priradené stránky znova precrawlovať cez screaming frog. Týmto zistíte, či sa v zozname nenachádzajú 404 (ktoré ste nascrapovali a ktoré by Google mohol teoreticky zobraziť vo výsledkoch vyhľadávania).

404 -> 301 Google Sheet Mapping Template

V prípade záujmu, vám pošlem link na Google Sheet, ktorý som použil v mojom príklade. Template obsahuje všetky funkcie, takže si ho môžete jednoducho skopírovať na svoj Google Drive a začať používať.

Stačí ak do formulára nižšie zadáte svoj email a meno. Po potvrdení vášho emailu vám pošlem link. Ak ste už subscribnutý, nič potvrdzovať nemusíte a link vám pošlem hneď 😉

Potvrdením súhlasíte, že budete zapísaný do newslettra a získate prístup k VIP obsahu, ktorý podobne ako v tomto prípade plánujem posielať.

*Ak vám link náhodou neprišiel, skúste skontrolovať spam 😀

Čo robiť v prípade obrovského množstva 404-iek? (eshopy)

Platí najmä pre eshopy.

V praxi môže nastať situácia, že 404-iek bude také množstvo, že nebudete mať silu skontrolovať správnosť namapovaných stránok. Poprípade, z iného dôvodu, nebudete chcieť všetky stránky presmerovať takýmto spôsobom.

Tu prichádza na scénu prioritizácia.

Mám na mysli prioritizáciu 301 presmerovaní na základe backlinkov, organického trafficu, poprípade iných metrík a historických dát, ktoré vám definujú silu 404 stránok.

Ako postupovať:

1. Zo zoznamu všetkých 404 stránok si vyberiete len tie, ktoré považujete za významné (napr. tie na ktoré vedú externé backlinky).
2. K takýmto významným 404 stránkam nájdete relevantné 200 stránky (napr. pomocou vyššie popísanej metódy).
3. Zvyšné 404 stránky rozkategorizujete a presmerujete na základe vopred premyslenej logickej šablóny.

Ako nájdete významné 404 stránky?

Screaming Frog má veľmi užitočnú funkciu a to prepojenie na API pre:

• Google Analytics
• Google Search Console
• Ahrefs
• Majestic
• Moz

Takto vyzerá prepojenie Screaming Frog so Search Console:

Vďaka API prepojeniam získate pri crawlovaní webu pomocou Screaming Frog dodatočné informácie o jednotlivých stránkach.

• Prepojením s Ahrefs/Majestic/Moz získate informácie o tom, koľko backlinkov vedie na vaše 404 stránky.
• Prepojením s Google Analytics získate informáciu, akú dôležitú úlohu zohrávali stránky pri plnení konverzií na webe.
• Prepojením so Search Console zistíte, na akých miestach sa stránky rankovali a aký bol organický reach a traffic (impressions/clicks).

 

Dúfam, že vám tieto informácie padnú na úžitok a využijete ich pri vašich technických SEO auditoch alebo iných marketingových scrapovačkách. 🙂

Máte inú metódu, techniku alebo hack, ako riešite 404-ky? Ak áno, napíšte prosím do komentára. Rád sa naučím niečo nové.

Aj v prípade, že nemáte, budem vďačný za každú reakciu, či už pozitívnu alebo negatívnu.

theEnd.