קיבלתם ספאם למייל של הלקוח או שניסו לפרוץ ללקוח את האתר וחסמתם IPים של כל הארצות חוץ מישראל וחשבתם שפתרתם את הבעיה? יש לי הפתעה בשבילכם! לא רק שלא פתרתם את הבעיה, אלא החמרתם אותה – הפתרון הזמני הזה עלול להוביל להעפת אתר הלקוח מהאינדקס.
לאחר עדכון האלגוריתם האחרון, מתברר שהבוט של גוגל (googlebot) לא יכול לסרוק את האתר שלכם אם חסתמם את כתובת ה-IP שממנו הוא סורק. ממה שידוע כעת, הבוטים יושבים ברובם בארה”ב וכמה באירופה ואסיה, לכן ברגע שחוסמים IPים של כל הארצות, זה עלול להוביל לכך שגוגל לא יוכלו לסרוק את האתר שלכם. אם מישהו שלח ספאם מוירג’יניה וחסמתם IP של כל מדינת וירג’יניה, ואחד הבוטים של גוגל במקרה סורק משם – אכלתם אותה!
מקדמי אתרים בדרך כלל עובדים מול חברות אחסון, שם לרב העובדים לא כל כך מבינים את צרכי הקידום או אבטחת המידע, ולכן כדי לעשות “עבודה קלה” הם עלולים לחסום באופן גורף את כל הכתובות חוץ מישראל – עבודה לא מקצועית בעליל. אם פעם זה היה עוד מחליק, נראה שכיום זה עלול לגרום לדה-אינדוקס של האתרים.
והנה מקרה בוחן שקרה לי
(אחד מני רבים לאחרונה, כולל כמה שיצרו קשר כדי שאעזור בשעת צרה):
בעת בדיקה שגרתית על ביטויי אתר לקוח, ראיתי שהביטוי המרכזי נמצא במקום 5 בדף 1 בתוכנת המעקב. לשמחתי, מרבית תוכנות המעקב מתעכבות/מאחרות טיפה, כך שהמיקום של אתמול יוצג היום.
אני אוהב להיות עם האצבע על הדופק וגם לראות בפועל את המיקום בדסקטופ ובנייד (כי אני לא סומך תמיד על תוכנות המעקב, כאמור) והפלא ופלא! האתר בכלל לא בדף 1. אני מיד נלחץ ועובר לדף 2, 3 והלאה ומבין שמשהו לא כשורה.
עושה פקודת site: ורואה שדף הבית בכלל לא מאונדקס וגם הדפים המרכזיים עפו. אני סורק את האתר עם הפרוג ו-A1 ורואה שהם סורקים אותו בסדר. אני ניגש ל CONSOLE ומנסה לעשות FETCH ומקבל ERROR. ואז אני מתחיל להבין מה הולך. אני בודק את ה HTTP HEADER ומקבל FORBIDDEN 403. כעת הכל מובן.
אני נזכר שלפני שבועיים הייתה מתקפת ספאם על הצור קשר של האתר וביקשנו מחברת האחסון לנסות לחסום את הספאם. אני מהר מתקשר לחברת האחסון ומבקש לברר אם יש חסימה כלשהי שהם ביצעו מעבר לרגיל. הם אומרים לי שהם חסמו גורף כל IP חוץ מישראל. עכשיו התמונה ברורה. מבקש שיורידו מהר מה HTACCESS את שורת החסימה. עם כל ניסיון שלהם אני עושה FETCH ורואה בזמן אמת אם הם הצליחו או לא. אחרי כמה ניסיונות כושלים מצדם להוריד את השורות בקובץ HTACCESS הם מצליחים ואני מבקש מגוגל שוב לסרוק את האתר. להלן הניסיונות סריקה.
כעת אני מהר מאנדקס את דף הבית ואת כל הדפים החשובים. אחרי כרבע שעה חלק מהביטויים חוזרים למקומם או לדף 2.
המלצות שלי כדי להמנע ממצבים דומים
- לשים התראות על השינויים ב HTACCES
- לא לעשות חסימות גורפות!
- לא לסמוך על חברות האחסון ולבקש דוח מדויק של מה הם עשו, מה חסמו ואילו פקודות הוסיפו ל HTACCESS.
- אחרי כל חסימה לעשות FETCH ולוודא שגוגל רואה את האתר!
- אם אתם או הלקוח מוסיפים תוסף כלשהו לוורדפרס לעשות FETCH גם ולוודא שהתוסף לא מונע סריקה.
(ה FETCH עבר ל URL Inspection Tool ב Console החדש)
זהו לבינתיים.
אם נתקלתם במשהו כזה, מקוה שהצלחתי לעזור ואם יש שאלות נוספות – אני כאן.
