دو فایل کوچک متنی، اثری غول‌پیکر بر ایندکس گوگل دارند: نقشهٔ سایت و فایل دستورالعمل خزش. اگر یکی را اشتباه بگذارید، ممکن است نیمی از صفحات شما هرگز دیده نشوند؛ اگر درست تنظیمشان کنید، بودجهٔ خزش به صفحات پول‌ساز می‌رسد. با این حال بیشتر سایت‌ها همین دو فایل را یا ندارند یا ناقص و پر از خطا نگه می‌دارند. در این راهنمای وبلاگ پبدپ، هر دو را از صفر و بدون ابهام تنظیم می‌کنیم؛ بخش فنی این کار در خدمات سئوی تکنیکال انجام می‌شود.

۱) این دو فایل چه فرقی دارند

فایل دستورالعمل خزش، به خزنده می‌گوید کجا نرود؛ یک تابلوی ممنوعه است. نقشهٔ سایت اما به خزنده می‌گوید کجا برود و کدام نشانی‌ها مهم‌اند؛ یک فهرست دعوت است. یکی محدود می‌کند و دیگری راهنمایی؛ این تفاوت را قاطی نکنید چون ریشهٔ بیشتر خطاها همین‌جاست.

۲) فایل دستورالعمل خزش؛ ساده اما خطرناک

این فایل در ریشهٔ دامنه قرار می‌گیرد و با دو دستور خط‌به‌خط کار می‌کند: برای کدام خزنده و برای کدام مسیر. یک خط بی‌دقت می‌تواند ناخواسته کل سایت را از دید گوگل پنهان کند. پیش از انتشار، حتماً بررسی کنید که مسیرهای مهم مسدود نشده باشند.

۳) چه چیزی را مسدود کنیم

مسیرهای مدیریت، سبد خرید، صفحه‌های نتیجهٔ فیلتر و نسخه‌های چاپی را معمولاً نمی‌خواهید ایندکس کنید. اما مراقب باشید: اگر فایل‌های قالب و اسکریپت لازم برای نمایش صفحه را ببندید، گوگل صفحه را درست نمی‌فهمد. مسدودسازی، تیغ دو لبه است.

۴) مسدود کردن مساوی نیست با پنهان‌کردن

بسیاران فکر می‌کنند اگر مسیری را در فایل دستورالعمل ببندند، از ایندکس بیرون می‌رود. این باور غلط و خطرناک است؛ مسدود کردنِ خزش، صفحه را از ایندکس خارج نمی‌کند، فقط گوگل را از دیدنش بازمی‌دارد و ممکن است نسخهٔ ناقص باقی بماند.

۵) برای حذف واقعی، از برچسب noindex استفاده کنید

اگر صفحه‌ای واقعاً نباید در نتایج باشد، آن را با برچسب noindex بشناسانید، نه با مسدود کردن مسیر در فایل خزش. نکتهٔ ظریف این‌جاست: برای دیدنِ برچسب noindex، گوگل باید بتواند صفحه را بخزد؛ پس همان صفحه را ببندید و هم noindex بزنید، تناقض می‌سازید.

۶) نقشهٔ سایت، کارت دعوت شما

نقشهٔ سایت فهرستی از نشانی‌های مهم است به‌همراه تاریخ آخرین تغییر، که به گوگل می‌دهید تا خزش هوشمندانه‌تر شود. این فایل هم در ریشهٔ دامنه است و به ابزارهای مدیریتی وب ارائه می‌شود. ساختن آن در سیستم‌های آماده معمولاً خودکار است.

۷) چه صفحه‌هایی در نقشه باشند

فقط صفحه‌های یکتا، canonical و ایندکس‌شدنی. نشانی‌های خطا، ریدایرکت‌شده، تکراری و noindex را داخل نقشه نگذارید؛ این‌ها گوگل را گیج و اعتبار نقشه را پایین می‌آورند. کمیت مهم نیست، کیفیت فهرست مهم است.

۸) برچسب تاریخ آخرین تغییر

فیلد تاریخ آخرین تغییر باید صادق باشد. اگر برای همهٔ صفحه‌ها تاریخ امروز بگذارید، گوگل این سیگنال را بی‌اعتبار می‌شمارد. فقط وقتی محتوا واقعاً عوض شد، تاریخ را به‌روز کنید؛ صداقت فنی، اعتماد الگوریتم را جلب می‌کند.

۹) نقشه‌های جدا برای محتواهای دیگر

اگر تصویر، ویدئو یا فایل متعدد دارید، می‌توانید نقشه‌های اختصاصی برایشان بسازید. برای سایت‌های بزرگ هم نقشه‌های شاخه‌ای با یک فهرست اصلی توصیه می‌شود تا هیچ نشانی از قلم نیفتد و مدیریت آسان‌تر شود.

۱۰) در ابزارهای مدیریتی ثبت کنید

پس از ساخت، نشانی نقشه را در ابزارهای مدیریتی وب ثبت کنید تا وضعیت ایندکس و خطاها را ببینید. این ابزار، همان جایی است که می‌فهمید گوگل واقعاً چه می‌بیند، نه آنچه شما فکر می‌کنید می‌بیند.

۱۱) در انتقال سایت، فراموش نشود

بزرگ‌ترین فاجعهٔ ایندکس، هنگام جابه‌جایی یا تغییر ساختار رخ می‌دهد. اگر نقشه و ریدایرکت‌ها را درست وصل نکنید، ترافیک سقوط می‌کند. راهنمای کامل این کار را در انتقال سایت بدون افت سئو نوشته‌ایم.

۱۲) بستر و میزبانی درست

این فایل‌ها روی سرور باید به‌درستی سرو شوند؛ یک تنظیم نادرست در میزبانی می‌تواند فایل را غیرقابل‌دسترس کند. اطمینان از دسترسی درست، بخشی از انتخاب هاست مناسب و پیکربندی سرور است.

۱۳) سئوی محلی و این فایل‌ها

برای کسب‌وکار محلی، صفحه‌های شهر باید در نقشه باشند و در فایل خزش مسدود نشوند. این تنظیم، پایهٔ دیده‌شدن در سئوی محلی است و اگر غلط باشد، صفحات شهری هرگز بالا نمی‌آیند.

۱۴) پایش منظم

این دو فایل، یک‌بار تنظیم شدنی نیستند؛ با هر تغییر ساختار باید بازبینی شوند. وضعیت ایندکس را در وب‌آنالیتیکس و ابزارهای مدیریتی رصد کنید تا خطای خاموش، ماه‌ها ترافیک شما را بلعیده نباشد.

۱۵) اشتباهات رایج
  • مسدود کردن ناخواستهٔ کل سایت در فایل خزش
  • گذاشتن صفحه‌های خطا و تکراری در نقشه
  • تاریخ آخرین تغییر دروغین برای همهٔ صفحه‌ها
  • فراموش کردن ثبت نقشه در ابزارهای مدیریتی
۱۶) گام‌های بعدی و ابزارها

پس از تنظیم درست، یک عادت بسازید: هر بار که صفحهٔ تازه افزوده یا ساختار تغییریافت، نقشه و فایل خزش را بازبینی و در ابزارهای مدیریتی، وضعیت ایندکس را ببینید. با سئوی تکنیکال هماهنگ بمانید و خطاها را به‌موقع رفع کنید. این دو فایل، کوچک‌ترین و درعین‌حال پراثرترین پیچ‌ها در ماشین ایندکس گوگل‌اند.

سؤالات متداول

آیا بدون نقشه سایت ایندکس می‌شود؟ بله، اما ناقص و کند؛ نقشه شانس کشف و خزش به‌موقع را بالا می‌برد.

فایل خزش چقدر مهم است؟ بسیار؛ یک خطای کوچکش می‌تواند سایت را کامل از نتایج بیرون بیندازد.

خودم تنظیم کنم یا متخصص؟ کارهای پایه بله؛ اما برای سایت بزرگ و حساس، تخصص تیم سئو تکنیکال ریسک را صفر می‌کند.

برای تنظیم حرفه‌ای نقشهٔ سایت و فایل خزش، پروژهٔ خود را برای ما تعریف کنید و نمونه‌کارها را در پورتفولیو ببینید.