גוגל משנה את תיעוד הסורק שלה

גוגל שינתה באופן משמעותי את תיעוד הסורק, והביאה לרמה גבוהה יותר של צפיפות מידע וכיסוי אקטואלי הדוק יותר

מה השתנה?

יומן השינויים של התיעוד של גוגל מציין שני שינויים אבל למעשה יש הרבה יותר.

הנה כמה מהשינויים:

נוספה מחרוזת סוכן משתמש מעודכנת עבור הסורק של GoogleProducer

נוסף מידע על קידוד תוכן

נוסף סעיף חדש על מאפיינים טכניים

סעיף המאפיינים הטכניים מכיל מידע חדש לחלוטין שלא היה קיים בעבר. 

אין שינויים בהתנהגות הסורק, אך על ידי יצירת שלושה דפים ספציפיים מבחינה מקומית גוגל יכולה להוסיף מידע נוסף לדף הסקירה הכללית של הסורק ובו זמנית להקטין אותו.

מהי המטרה של החידוש?

השינוי בתיעוד נבע מכך שעמוד הסקירה הפך לגדול. 

מידע נוסף על הסורק יהפוך את דף הסקירה הכללי לגדול עוד יותר. 

התקבלה החלטה לחלק את הדף לשלושה תת-נושאים כדי שתוכן הסורק הספציפי יוכל להמשיך ולגדול ולפנות מקום למידע כללי נוסף בדף הסקירות הכלליות. 

הפיכת נושאי משנה לדפים שלהם היא פתרון מבריק לבעיה כיצד לשרת את המשתמשים בצורה הטובה ביותר.

יומן השינויים ממעיט את השינויים על ידי תיאורם כארגון מחדש מכיוון שסקירת הסורק נכתבת מחדש באופן מהותי, בנוסף ליצירת שלושה דפים חדשים לגמרי.

בעוד שהתוכן נותר זהה באופן מהותי, החלוקה שלו לתת-נושאים מקלה על גוגל להוסיף תוכן נוסף לדפים החדשים מבלי להמשיך להצמיח את העמוד המקורי. 

הדף המקורי, שנקרא סקירה כללית של הסורקים והשולפים של גוגל (סוכני משתמש), הוא כעת באמת סקירה כללית עם תוכן מפורט יותר הועבר לדפים עצמאיים.

גוגל פרסמה שלושה דפים חדשים:

סורקים נפוצים

סורקים למקרה מיוחד

מאחזרים המופעלים על ידי משתמשים

זחלנים נפוצים

כפי שכתוב בכותרת, מדובר בסורקים נפוצים, שחלקם משויכים ל-GoogleBot, כולל Google-InspectionTool, המשתמש בסוכן המשתמש של GoogleBot. 

כל הבוטים הרשומים בדף זה מצייתים לכללי robots.txt.

אלו הם הסורקים המתועדים של Google:

Googlebot

תמונת Googlebot

וידאו של Googlebot

חדשות Googlebot

Google StoreBot

Google-InspectionTool

GoogleOther

GoogleOther-Image

GoogleOther-Video

Google-CloudVertexBot

Google-Extended

סורקים למקרים מיוחדים

אלו הם סורקים המשויכים למוצרים ספציפיים ונסרקים בהסכמה עם המשתמשים של אותם מוצרים ופועלים מכתובות IP הנבדלות מכתובות ה-IP של סורק GoogleBot.

רשימה של סורקי מקרים מיוחדים:

AdSense

סוכן משתמש עבור Robots.txt: Mediapartners-Google

AdsBot

סוכן משתמש עבור Robots.txt: AdsBot-Google

AdsBot Mobile Web

סוכן משתמש עבור Robots.txt: AdsBot-Google-Mobile

ממשקי API-Google

סוכן משתמש עבור Robots.txt: APIs-Google

גוגל-בטיחות

סוכן משתמש עבור Robots.txt: Google-Safety

 שואבים המופעלים על ידי משתמשים

דף השולפים המופעלים על ידי משתמשים מכסה בוטים המופעלים על ידי בקשת המשתמש

התיעוד מכסה את הבוטים הבאים:

Feedfetcher

Google Publisher Center

גוגל קרא בקול

Google Site Verifier

השינוי הזה מציע תובנות לגבי איך לרענן דף שעשוי להיות בעל ביצועים נמוכים מכיוון שהוא הפך למקיף מדי. פיצול דף מקיף לדפים עצמאיים מאפשר לתתי הנושאים לתת מענה לצרכי המשתמשים הספציפיים ואולי להפוך אותם לשימושיים יותר אם הם ידורגו בתוצאות החיפוש.

לא הייתי אומרת שהשינוי משקף משהו באלגוריתם של גוגל, הוא רק משקף את האופן שבו גוגל עדכנה את התיעוד שלהם כדי להפוך אותו לשימושי יותר ולהגדיר אותו להוספת מידע עוד יותר.