מה הם קבצי "לוג", אילו כלים מנתחים אותם וכיצד זה קשור לקידום אתרים?
[מאמר אורח] קדימה, בוא נצלול הישר אל המידע הכה חשוב הזה: ישנם 3 סוגים עיקריים של לוגים (LOG), העיקרי הוא לוג של שרת מסוג אפאצ'י (Apache). בנוסף, נתקל גם ב-W3C, איזון עומסים אלסטי, מה שנראה הרבה בכל הקשור ל-Kibana ודומיו. יחד עם זאת, סביר שתתקלו גם בלוגים של מערכות מותאמות. באתרים גדולים זה פחות נפוץ אך אם ניקח לדוגמא את אתר מוז, נגלה שלו דווקא יש קובץ לוג מערכת מותאם אישית. כל מה שחשוב הוא שתהיו מודעים לקיומם של לוגים אלו.
לוג DATA
אז מה בעצם תוכלו לראות בלוגים האלו? המידע שיתקבל הוא בעיקר המידע שאנו נציין במאמר זה.
הפרמטרים שתראו בוודאות את הדברים הבאים:
- כתובת IP של השרת המבוקש
- חותמת הזמן (מידע על הזמן בו הבקשה הוגשה)
- הכתובת (URL) המבוקשת, באלו עמודים מבקרים
- סטטוס הקוד של HTTP, האם היה הוא 200, האם זה נפתר, האם הייתה זו הפניית 301 או 404…
- UserAgent, עבורנו, מקדמי אתרים, אנחנו מסתכלים על אותם Agents של Googlebot, Bing ו- Yandex.
ניתוח
החדשות הטובות הן, שיש לא מעט כלים שיכולים לעשות עבורכם חלק נכבד מהעבודה. אנחנו בטוחים שאתם מכירים את Screaming Frog שהוא כלי שמנתח קבצים והוא מאוד פופולארי בעולם הקידום אתרים. לא מעט מומחים מהתעשייה, עושים בו שימוש ואנחנו אוהבים אותו מאוד אבל צריך לדעת ולהתכונן מראש לכך שהקבצים שלכם צריכים להיות בפורמט מסוים כדי שהצפרדע החמודה שלנו תצרח ותדע לנתח אותם. יש לאותה החברה כלי שנקרא Log File Analyser שיודע לנתח את קבצי הלוג שנמצאים על השרת.
יש עוד הרבה כלים שמבצעים ניתוח לקבצי LOG, תוכלו לקרוא על מספר כלים במאמר הזה.
אנו באופן אישי ממליצים על DeepCrawl ועל Log File Analyser.
ניתוח ידני של אקסל
תחזיקו מעמד ותבטחו בנו, זה ממש כיף ומעניין. בעבר, היה צריך לחולל קובץ CSV לתוך האקסל ובעזרת אשף טקסט, לבצע את הייבוא ואז תוכלו להגדיר מהם המפרידים בכל הטירוף הזה. חשוב להבין שאין זה משנה אם מדובר בפסיק או רווח, כך או כך תוכלו לעשות סדר בבלגן ולהפריד כל נתון לעמודות משלו. אגב, אין מה לדאוג באם יוצאות לכם עמודות ריקות אבל אם בכל זאת תרצו, תוכלו להפריד את העמודות הללו. משם, תיצרו טבלאות פיבוט (ציר). קראו עוד בלינק הבא על כיצד לעשות זאת בקלות.
עמודים מובילים
בסופו של דבר, מה שתוכלו לראות באקסל הוא:
מה הם העמודים שהגוגלבוט מבקר בהם בתדירות ומה הם הדפים המובילים על פי מספר הפעמים שנקראו על ידי הבוט.
תיקיות עליונות
מה שעוד תוכלו לעשות – ומדובר על מידע חשוב ומעניין – הוא להסתכל על הבקשות בתיקיות העליונות. בנוסף וזה סופר חשוב, תוכלו להציץ גם ב: מהם סוגי הגוגלבוטים השכיחים אשר סורקים את האתר שלכם? האם זה גוגלבוט למכשירים ניידים? האם של תמונות? האם הם פוגעים סורקים את המשאבים הנכונים? ועוד. פעולה נוספת שתוכלו לבצע היא לייצר טבלת Pivot עם הסטטוס-קוד של הקריאות ולהסתכל בהם.
יש בתעשייה אנשים שאוהבים ליישם את הדברים האלו לדוחות העמודים והתיקיות המובילות.
אם תיישמו את כל מה שציינו לעיל תוכלו לצפות בעוד נתונים ותובנות על איך נפתרו חלק מהעמודים המובילים ואיך נראות התיקיות המובילות.
אופטימיזציה של דפים ו"תקציב זחילה"
תקציב סריקה הוא בעיקר כמות הפעמים, שגוגלבוט נכנס לאתר שלכם וכמות העמודים שיסרקו בביקורים הללו. אז איך מבצעים אופטימיזציה ומתחילים להגביר ולהגדיל את תקציב הסריקה? איך תקציב הסריקה נראה ואיך ניתן לייעל אותו?
היו מודעים לשגיאות השרת – מודעות לשגיאות מאוד חשובה ואתם רוצים לדעת מה קורה והאם יש עלייה באחת מ- 500 השגיאות בחלק מהעמודים שלכם.
404: תקפים או מפנים? נתון חשוב שיש להסתכל עליו הוא כל ה -400 שגוגלבוט מוצא. חשוב מאוד לראות האם זה בקשת 400, האם זה 400 תקף, האם העמוד הזה קיים בכלל או שזה עמוד שאינו קיים כלל שכדאי לתקן, האם יש אכן טעות או שמשהו שכלל לא אמור להיות קיים שם בכלל, מי הוא הגורם המפנה, איך גוגלבוט מצא זאת מלכתחילה וכיצד אתם יכולים להתחיל לתקן את כל מה שטעון תיקון?..
בידוד 301 ותיקון קבוע של שרשרת ה- 301: יש לא מעט שאילותות על הפניות 301 בקבצי הלוג. הטריק השכיח ביותר הוא לבודד את כל ה 301 ולתקן את מה שפוגע בשרשרת ה 301 באופן קבוע. תוכלו לעשות זאת בעזרת טבלת פיבוט. הטיפ שלנו, על מנת לייעל את העבודה ולפשט אותה הוא לעבוד בצמוד עם נתוני הסריקה. כך יהיה לכם קצת יותר מידע ותובנות על השרשרת. מה שתוכלו לעשות הוא להסתכל על המידע ולחפש את ה 301 התדיר ביותר ולבדוק: האם יש תיקונים קלים ומהירים לתיקון השרשרת הזו, האם יש משהו שתוכלו להסיר ובעזרת ההסרה לפתור זאת?
Mobile First: תוכלו לראות מהירויות עליית הדפים במובייל, זמן תגובה של רינדור קבצים, סריקה של כל הדפים במובייל ועוד.
תוכן שפוספס: אז מה שחשוב לבדוק הוא מה הגוגלבוט סורק ומה הוא מפספס. הדרך הכי פשוטה לעשות זאת היא באמצעות הצלבה עם מפת האתר שלכם. המידע, שיתקבל חשוב מאוד כי כך תוכלו לדעת ולתקן את המידע שהזחלן מפספס. תוכלו לנסות לתעדף עמודים חשובים, שהתפספסו או לשלב אותם בתפריט האתר, מפת HTML, קישורי פוטר או תפריטי צד על מנת שהבוט כן יסרוק אותו.
פרמטרים של URL: זהו טיפ במיוחד לאתרי איקומורס (אך לא רק), חשוב לבדוק אם הגוגלבוט מגיע אל עמודים עם מחרוזות פרמטרים… לרוב יהיה זה תוכן משוכפל או עמודים, שניתן לשייך לקונסולת החיפוש עם חלק הפרמטר. כך או אחרת, אתם רוצים לטפל בזה. בדרך כלל כתובות עם סימנים כמו: ?, ~,$ וכו'
העריכו את הימים, שבועות והחודשים: אומנם לא מדובר במשהו קריטי אבל ניתן להעריך מתי הגוגלבוט בא לבקר, האם יש יום ספציפי, שהוא אוהב או בעצם נחמד לו לבקר רק פעם בחודש וכדומה.
העריכו את המהירות והמשאבים החיצוניים: ניתן לשערך את מהירות הבקשות והאם יש משאבים חיצוניים, שניתן לנקות על מנת להגביר את מהירות הסקירה.
אופטימיזציה לניווט האתר והקישורים הפנימיים: אתם רוצים לבצע אופטימיזציה לניווט האתר.
Meta noindex ו- txt disallow: לכולנו יש עמודים ודברים שלא נרצה שהזחלן יסרוק כדי לא לבזבז את תקציב הזחילה. את כל אלו תוכלו להוסיף ועל הדרך לעזור להם להיות טובים יותר.
בדקו מחדש
לוגים שונים מאפשרים לחבר את הנתונים המדובר עם הכלים אותם הצגנו (Screaming Frog / DeepCrawl) וכך גם תוכלו לצפות ביותר תובנות. כך ובשלב זה, כל מה שתצטרכו לעשות הוא לבדוק מחדש בכל פעם שתרצו לקבל תובנות ולשאוב עוד מידע.
- מה הם קבצי "לוג", אילו כלים מנתחים אותם וכיצד זה קשור לקידום אתרים? - נובמבר 21, 2018
תודה על הסקירה הממוקדת