محركات البحث – (حل) مشاكل الزحف

وجدنا خلال الفترات الماضية شكوى لأصحاب المواقع عن مشاكل زحف محركات البحث (خصوصا جوجل) إلي مواقعهم فضلا لتحديث محركات البحث المستمر لخوارزمية البحث و الأرشفة ويهدد ذلك من بقاء مواقعهم متاحة لكم الزوار القادم لهم من البحث لذلك سنبدأ معا في كتابة حل/توجيه عام لحل هذه المشاكل او اﻻبتعاد عنها بالقدر الكافي

في البداية دعنا نضع أهم سؤال : لما تحدث هذه المشكلة مع موقعي في محركات البحث ؟

الإجابة : تحدث هذه المشكلة ﻷسباب متعددة

• إستضافة موقعك غير مستقرة وتعاني من DownTime مرتفع
• إستضافة موقعك تقوم بعمل Block لجهات الإتصال الخاصة بزواحف محركات البحث
• لا تستطيع عناكب الزحف الوصول إلي موقعك بسبب منعها في ملف robots.txt
• تم استضافة المحتوى على نطاق مختلف عن النطاق الرئيسي لموقعك المدرج لدى محركات البحث
• تم تغيير روابط المحتوى علي نفس النطاق
• تحتوي صفحات المقالة على توليد محتوى بشكل ديناميكي
• لم تقم بتحديث ال sitemap للمحتوى الجديد

سوف نقوم بوضع طريقة حل و تفادي كل نقطة مما سبق ذكرها في مشاكل زحف محركات البحث :

اولا : إستضافة موقعك غير مستقرة وتعاني من DownTime مرتفع

تعاني الكثير من سيرفرات الإستضافة لمشاكل فنية تؤدي لإنقطاع اﻻتصال بالانترنت او عدم الرد علي طلبات التصفح مما يجعل المواقع المستضافة علي السيرفر تكون في حالة offline وهذا يتسبب في أن تقوم عناكب محركات البحث بتسجيل روابط موقعك لدى سيرفرات اﻻرشفة بمحركات البحث إنها ليست موجودة. لذلك عليك إختيار إستضافة موثوقة ودعم فني يراقب الإستضافة حتى تضمن ان يظل موقعك online دائما

ثانيا : إستضافة موقعك تقوم بعمل Block لجهات الإتصال الخاصة بزواحف محركات البحث

قد يكون هناك صد/وقف/منع لعناكب محركات البحث من ان تصل إلي المواقع الموجودة علي السيرفر لذلك يجب التأكد من أن (نظام الجدار الناري/Firewall system) لا يقوم بمنع اى عناكب محركات البحث من الوصول لمواقع السيرفر إليكم قائمة بالـ ip range التى تستخدمها عناكب البحث و اﻻرشفة لعدة محركات بحث

رابط : http://chceme.info/ips

ثالثا : لا تستطيع عناكب محركات البحث الوصول إلي موقعك بسبب منعها في ملف robots.txt

قد يكون هناك تعليمات ممانعة لعناكب محركات البحث و اﻻرشفة من الدخول إلي الموقع او مسارات معينة من الموقع لذلك يجب أن يكون هناك إعداد جيد ملف robots.txt بحيث يستطيع لا يتم منع اى محتوى عن طريق الخطأ . ولا يلزم ملف robots.txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث. أما إذا أردت أن تفهرس محركات البحث جميع محتوى موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا). إليكم أحد أدوات توليد ملفات الـ robots

http://www.latestseotools.com/tools/robots-txt-builder/index.php

https://support.google.com/webmasters/answer/156449

رابعا : استضافة المحتوى على نطاق مختلف عن النطاق الرئيسي لموقعك المدرج لدى جوجل

إذا كنت تخطط لنقل موقعك إلى نطاق جديد، هناك بعض النصائح التي ستساعدك في الحفاظ على ترتيب موقعك في نتائج محركات البحث مثل محرك Google. و الهدف من ذلك هو تجنب أخطاء 404 (لم يتم العثور على الملف) عند قيام الزوار بالنقر على روابط الموقع. واﻻمر مقسم علي 3 مراحل

1- إنشاء الموقع الجديد + نقل محتوى الموقع القديم عليه.

2- إنشاء تحويلات 301 Redirect لإعادة توجيه جميع الصفحات (بصفة دائمة) الموجودة على روابط الموقع القديم إلى روابطالموقع الجديد.

عملية إضافة وتعيين تحويلات 301 redirect تطلب أن يكون لديك خبرة بسيطة علي الأقل في التعامل مع ملفات .htaccess و خصوصا الـ rewriterules إذا كانت إستضافتك تستخدم خدمات اخرى غير apache فلابد من مراجعة مهندس مختص في ذلك يمكنك ان تراجع هذه الروابط إذا كنت تود تعلم العمل علي ملفات htaccess &mod_rewrite

http://httpd.apache.org/docs/2.0/misc/rewriteguide.html

http://httpd.apache.org/docs/2.0/howto/htaccess.html

ويفيد هذا في إعلام المستخدمين بأن الموقع قد تم نقله نهائيًا وتحويلهم بشكل اتوماتيكي إلي النطاق الجديد.

ملحوظة : يجب أن تبقى علي إتاحة الموقع القديم بهذه الإعدادات لمدة 180 يوم لحين تغيير الروابط حسب توصيات جوجل.

3- إعلام/تبليغ جوجل بتغيير عنوان/نطاق الموقع

تبقى النقطة اﻻخيرة وهي إخبار جوجل بأنك قمت بعمل Migrate/نقل لمحتوى موقعك علي نطاق أخر :

قم بتسجيل الدخول في Google Webmasters

قم بالدخول إلي إعدادات webmasters الخاصة بموقعك القديم

قم بالدخول إلي إعدادات webmasters الخاصة بموقعك القديم

ثم من زرار الإعدادات الموجود بالشاشة إختر تغيير العنوان/Change Address

ثم من زرار الإعدادات الموجود بالشاشة إختر تغيير العنوان/change address

ثم إختر الموقع الجديد من القائمة الموجودة بالصورة..وقم بحفظ ذلك الإجراء

ثم إختر الموقع الجديد من القائمة الموجودة بالصورة..وقم بحفظ ذلك الإجراء

ملحوظة هامة : لابد ان يكون الموقعين (القديم + الجديد) مضافيين لنفس الحساب ومثبت ملكيتهم لنفس الحساب ايضا

خامسا : تغيير روابط المحتوى إلي نطاق فرعي

إذا كنت تملك منتدى علي مسار http://website.com/vb

وقمت بتغيير رابط المنتدى إلي نطاق فرعي/subdomain ليكون في الشكل التالي http://forum.website.com

يجب عليك ان تقوم بعمل 301 redirect كما شرحنا مسبقا لنقل و تحويل الزيارات بشكل اتوماتيكي علي الرابط الجديد

ثم عليك إخبار جوجل بالتحديثات من خلال الرابط التالي

https://support.google.com/news/publisher/contact/update_news_section

سادسا : تحتوي صفحات المقالة على توليد محتوى بشكل ديناميكي

• إنشاء ديناميكي للروابط مما يسبب ظهور عدد كبير من عناوين URL التي تتكرر بكثرة.
• تقويم تم إنشاؤه ديناميكيًا لتواريخ مستقبلية وسابقة بدون وجود قيود على تواريخ البدء أو الانتهاء.

هذا سيجعل محركات البحث لا ينظر إلي موقعك بناء علي أن التحديثات التي تتم في موقعك ديناميكية وغير صادقة .. لذلك هناك حليين إذا كنت تستخدم برمجيات تقوم بالعمليات السابق ذكرها

1. منع وصول الـ Crawlers الخاصة محركات البحث إليها عن طريق وضع ملف robots.txt
2. إستخدام nofollow tags على مستوى الصفحة لمطالبة محركات البحث بـ “عدم تتبع الروابط على هذه الصفحة” أو “عدم تتبع هذا الرابط تحديدًا”.

سابعا : تحديث ال sitemap للمحتوى

ملفات الـ Sitemap هي وسيلة تساعد محركات البحث مثل جوجل في اكتشاف صفحات موقعك التي قد لا نعثر عليها.

بالإضافة لأنها تمكنك أيضًا استخدام ملفات Sitemap لتقديم بيانات وصفية إلى Google و محركات البحث حول أنواع محددة من محتوى موقعك، بما في ذلك الفيديو، والصور، والجوال، والأخبار.

هناك الكثير من الادوات التى تقوم بتوليد ملفات sitemap عن موقعك لتستطيع محركات البحث قرائتها

يمكنك تجربة ذلك الموقع المجاني http://www.web-site-map.com

احصل على استشارة مجانية عن اداء موقعك في محركات البحث من خبراء الاستضافة في العالم العربي اضغط هنا

اعرف المزيد عن خدمات المستضيفون العرب للتسويق الالكتروني

نأمل لكم جميعا مواقع ناجحة هادفة تفيد و تثري المحتوي العربي