كيفية إعداد ملف الروبوتس robots.txt في Yoast SEO وتقديم خريطة الموقع

مقدمة

يعتبر ملف robots.txt وخريطة الموقع (Sitemap) من العناصر الأساسية في تحسين الأرشفة لمحركات البحث (SEO). يمكن لملف robots.txt توجيه عناكب البحث إلى الصفحات التي ترغب في أرشفتها وتلك التي تريد حجبها، بينما تساعد خرائط الموقع Google وBing وغيرها على اكتشاف المحتوى الجديد بسرعة.

في هذا الدليل الشامل، سنشرح كيفية إعداد ملف robots.txt عبر إضافة Yoast SEO في ووردبريس، بالإضافة إلى كيفية تقديم خريطة الموقع sitemap.xml وsitemap_index.xml لجوجل لتحسين فهرسة موقعك، باستخدام موقعنا Octugen.com كمثال عملي.

ما هو ملف robots.txt ولماذا هو مهم؟

ملف robots.txt هو ملف نصي يُستخدم لتوجيه محركات البحث حول الصفحات التي يجب أن تقوم بالزحف إليها وتلك التي يجب أن تتجاهلها. يساعد في تحسين ميزانية الزحف (Crawl Budget) لموقعك، مما يجعل محركات البحث تركز على الصفحات المهمة فقط.

مثال عملي على ملف robots.txt:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://octugen.com/sitemap_index.xml

كيفية إعداد ملف robots.txt باستخدام إضافة Yoast SEO

1. الدخول إلى إعدادات Yoast SEO

• سجل الدخول إلى لوحة تحكم ووردبريس الخاصة بموقعك.
• انتقل إلى القائمة الجانبية واختر SEO ثم أدوات (Tools).
• اضغط على محرر الملفات (File Editor).

2. تعديل ملف robots.txt

إذا لم يكن ملف robots.txt موجودًا، يمكنك إنشاؤه تلقائيًا من خلال Yoast SEO. عند فتح المحرر، ستجد ملف robots.txt الحالي، والذي قد يبدو مثل التالي:

# START YOAST BLOCK
User-agent: *
Disallow:
Sitemap: https://octugen.com/sitemap_index.xml
# END YOAST BLOCK

يمكنك تعديله وفقًا لاحتياجات موقعك. على سبيل المثال، إذا كنت تريد منع جوجل من أرشفة بعض التيمبليتس مثل wdt_headers، أضف التالي:

Disallow: /wdt_headers/

3. حفظ التعديلات

بعد إجراء التعديلات، اضغط على حفظ التغييرات.

ما هي خريطة الموقع Sitemap؟

خريطة الموقع عبارة عن ملف XML يساعد محركات البحث في العثور على جميع الصفحات المهمة داخل موقعك بسهولة. هناك نوعان رئيسيان:

• sitemap.xml: خريطة موقع بسيطة تحتوي على قائمة بالصفحات فقط.
• sitemap_index.xml: ملف رئيسي يحتوي على خرائط مواقع فرعية مقسمة حسب أنواع المحتوى، مثل المقالات والصفحات والتصنيفات.

مثال لخريطة موقع sitemap_index.xml لموقع Octugen.com:

<sitemapindex>
   <sitemap>
      <loc>https://octugen.com/post-sitemap.xml</loc>
   </sitemap>
   <sitemap>
      <loc>https://octugen.com/page-sitemap.xml</loc>
   </sitemap>
   <sitemap>
      <loc>https://octugen.com/category-sitemap.xml</loc>
   </sitemap>
</sitemapindex>

كيفية تقديم خريطة الموقع في Google Search Console

1. تسجيل الدخول إلى Google Search Console

انتقل إلى Google Search Console وسجّل الدخول بحسابك.

2. اختيار موقعك

بعد تسجيل الدخول، اختر موقعك الإلكتروني (مثل: octugen.com).

3. إرسال خريطة الموقع

• من القائمة الجانبية، اضغط على الخرائط (Sitemaps).
• في خانة “إضافة خريطة موقع جديدة”، أدخل رابط خريطة الموقع، مثل: sitemap_index.xml
• اضغط إرسال (Submit).

4. التحقق من الفهرسة

بعد إرسال خريطة الموقع، انتظر بضعة أيام ثم تحقق من تقرير تغطية الفهرسة (Coverage) في Google Search Console للتأكد من أن الصفحات تتم فهرستها بشكل صحيح.

الفرق بين sitemap.xml وsitemap_index.xml

إذا كان لديك موقع كبير مثل Octugen.com به محتوى متنوع، فمن الأفضل استخدام sitemap_index.xml لأنه يقسم المحتوى إلى أقسام ليسهل على محركات البحث الزحف إليه.

الخاتمة

يُعد إعداد ملف robots.txt وتقديم خريطة الموقع من أهم عوامل تحسين السيو الفني لأي موقع ووردبريس. باستخدام Yoast SEO، يمكنك بسهولة ضبط ملف robots.txt ومنع الزحف إلى الصفحات غير المرغوب فيها، مع تقديم خريطة الموقع إلى Google Search Console لضمان فهرسة صفحاتك بسرعة.

باتباع هذه الخطوات، ستتمكن من تحسين ظهور موقعك في نتائج البحث وضمان أرشفة المحتوى المهم فقط، مما يعزز فرصك في الحصول على تصنيف أعلى في محركات البحث.