Τι Είναι το «Crawl Budget» της Google και Γιατί Είναι Σημαντικό για Μεγάλες Εταιρικές Ιστοσελίδες

Τι Είναι το «Crawl Budget» της Google 

Στην τέχνη και επιστήμη του SEO, «Crawlers» είναι τα «προγράμματα» (οι ανιχνευτές)της Google τα οποία «εξερευνούν» το διαδίκτυο για να ανακαλύψουν αξιόλογες σελίδες με υψηλή αξία και χρησιμότητα για τους χρήστες που ψάχνουν για σχετικές με τα ενδιαφέροντα τους πληροφορίες.

Το «Crawl Budget» με απλά Ελληνικά είναι τα διαθέσιμα «resources» ή η διαθέσιμη «ενέργεια» (data) που έχουν οι Crawlers της Google για να «ξοδέψουν» περνώντας το διαθέσιμο πολύτιμο χρόνο τους, σε μία συγκεκριμένη ιστοσελίδα.

Πιο συγκεκριμένα, σαν «Crawl Budget» μπορεί να θεωρηθεί ο συνολικός αριθμός των σελίδων ενός domain (μοναδικών URLS) τις οποίες οι Google Crawlers (ή Googlebots) μπορούν και ΘΕΛΟΥΝ να κάνουνε «crawl».

Είναι λογικό, επειδή έχουν τεράστιο φόρτο εργασίας λόγω του τεράστιου αριθμού των ιστοσελίδων (δις/τρις εκατομμύρια) που έχουν να «επισκεφτούν» σε καθημερινή βάση, έχουν και περιορισμένα resources να ξοδέψουν στην κάθε μία.

Γιατί η Κακή Διαχείριση του Crawl Budget της Google Αποτελεί Απειλή για τις Μεγάλες Εταιρικές Ιστοσελίδες

Ο τρόπος που είναι στημένη τεχνικά μία ιστοσελίδα και συγκεκριμένα το πόσο δύσκολο κάνει το έργο της Google για τους crawlers της, μπορεί να επηρεάσει αρνητικά τα SEO αποτελέσματα της με τους εξής παρακάτω τρόπους:

1. Μείωση του μέσου όρου της ημερήσιου crawl budget για την ιστοσελίδα
2. Μείωση του συνολικού «Indexation Rate» δηλαδή μείωση του συνόλου των σελίδων τις οποίες η Google βλέπει και καταχωρεί στην αποθήκη των δεδομένων της («index») για να εμφανίσει αργότερα στα οργανικά αποτελέσματα της Google
3. Μείωση του συνολικού αριθμού των SEO keywords για τα οποία η ιστοσελίδα έχει υψηλές κατατάξεις στην Google, χειροτέρευση των υπαρχόντων κατατάξεων και κατά συνέπεια, μείωση του οργανικού traffic

Αυτό που πρέπει να φροντίζουν οι τεχνικοί ιστοσελίδων και οι Search Engine Optimizers είναι να αυξάνουν το crawl budget της Google, το οποίο «ξοδεύεται» πάνω στην ιστοσελίδα τους.

Παρακάτω μοιράζομαι τις καλύτερες πρακτικές για να διατηρούνται υψηλά ο ρυθμός («rate») και η συχνότητα («frequency») κατά τα οποία οι Google crawlers επισκέπτονται και παραμένουν σε μία ιστοσελίδα «ξοδεύοντας» την πολύτιμη και ακριβοθώρητη ενέργεια τους.

1. Μία ιστοσελίδα πρέπει να ανταποκρίνεται (να φορτώνει) γρήγορα και όχι αργά όταν οι Google crawlers την πλησιάζουν.
2. Δεν πρέπει να υπάρχουν σελίδες οι οποίες είναι δεν έχουν ζήτηση, λόγω της χαμηλής ποιότητας του περιεχομένου τους για τους χρήστες που αναζητούν πληροφορίες. Όταν οι crawlers πέφτουν επάνω σε τέτοιες σελίδες χαμηλής αξίας τότε θα χαμηλώσουν το crawling budget που έχουν ξόδεμα πάνω στην ιστοσελίδα.
3. Πρέπει να γίνεται prioritization μόνο στις σημαντικές υψηλής ποιότητας και αξίας σελίδες έτσι ώστε οι Google crawlers να βλέπουν μόνο αυτές και να μην ξοδεύουν τα resources τους σε «άχρηστες» σελίδες που καμία αξία δεν προσφέρουν στον χρήστη που χρησιμοποιεί την δημοφιλή αυτή μηχανή αναζήτησης.
4. Πρακτικά, θα πρέπει να φροντίζει η τεχνική ομάδα να μην υπάρχουν ERRORS όπως: «404 pages», «duplicate urls / duplicate content pages», «Thin pages» (χαμηλής αξίας περιεχόμενο, όχι μοναδικό και όχι χρήσιμο, αναμασημένο).
5. Πρέπει ανά τακτά χρονικά διαστήματα να γίνεται έλεγχος των στατιστικών ανίχνευσης (σφάλματα και στατιστικά) μίας ιστοσελίδας από τους ανιχνευτές της Google και αυτό μπορεί να γίνει πηγαίνοντας το αντίστοιχο πεδίο (tab) «Crawl Status» ή «Ανίχνευση» κατευθείαν μέσα από το interface του πρώην Webmaster Tools, νυν “Search Console” συνδεδεμένου λογαριασμού.
6. Θα πρέπει να γίνεται συστηματικά δημιουργία νέου περιεχομένου υψηλής αξίας και χρησιμότητας, έτσι ώστε η Google να βρίσκει λόγους και αφορμές να επιστρέφει σε εκείνη για επιπλέον crawling sessions.

Αξίζει να σημειωθεί ότι πρόσφατα έγινε ένα λάθος από μία εταιρεία εξαιρετικά διάσημη στους SEO κύκλους η οποία προσφέρει το YOAST SEO plugin για ιστοσελίδες στημένες σε Wordpress CMS (Content Management System).

Τι Συνέβη Ακριβώς με το Υoast SEO Plugin;

• Υπήρχε κάποιο bug σε κάποιο πρόσφατο update στο plugin τους
• Αυτό είχε ως αποτέλεσμα μία συγκεκριμένη ρύθμιση που φρόντιζε τα urls τα οποία δημιουργούνται αυτόματα από το ανέβασμα των media (εικόνες κτλ) σε Wordpress περιβάλλον, να επιστρέψει σε default μορφή η οποία δεν έκανε redirect τα συγκεκριμένα urls στην σημαντική σελίδα για την συγκεκριμένη σελίδα η οποία περιείχε αυτό το νέο «media attachment».
• Η λύση που ακολούθησα η ίδια ήταν η ενεργοποίηση ενός Wordpress plugin το οποίο φρόντιζε όλα τα media attachment urls να κάνουν redirect στο URL της σελίδας στην οποία ανέβηκαν και για αυτά τα media τα οποία δεν έχουν ανέβει σε κάποιο page ή post, να κάνουν redirect στην κεντρική σελίδα.
• Αυτό με την σειρά του είχε ως αποτέλεσμα, όλα αυτά τα «άχρηστα pages - urls» να γίνουν INDEXED από τα Google bots και να προκαλέσει μεγάλη ζημιά στα SEO αποτελέσματα πολλών ιστοσελίδων όσον αφορά τα Google keyword rankings και το οργανικό traffic.
• Δείτε τι έγινε ακριβώς στο παρακάτω βίντεο.