امروز در مجله تودی موضوع مهمی از بخش سئو رو بهش پرداختیم موضوعی در مورد سئو فنی و انجام دقیق تنظیمات در این بخش درجه بندی این آموزش حرفه ای است و لطفا بدون دانش فنی دقیق از این روش ها استفاده نکنید.
در یک ویدیوی اخیر در یوتیوب، مارتین اسپلیت از تیم گوگل به بررسی تفاوت میان تگ “noindex” در متاتگ‌های ربات‌ها و دستور “disallow” در فایل robots.txt پرداخت.
مارتین اسپلیت، که یکی از مدافعان توسعه‌دهندگان در گوگل است، توضیح داد که هر دو روش برای مدیریت نحوه تعامل خزنده‌های موتور جستجو با یک وب‌سایت استفاده می‌شوند، اما اهداف و کاربردهای متفاوتی دارند و نباید به‌جای یکدیگر به کار گرفته شوند.
چه زمانی از “noindex” استفاده کنیم؟
تگ “noindex” به موتورهای جستجو دستور می‌دهد که صفحه خاصی را در نتایج جستجوی خود نمایش ندهند. این دستورالعمل را می‌توان با استفاده از متاتگ robots یا هدر HTTP با نام X-Robots-Tag در قسمت head کد HTML صفحه قرار داد.
این روش زمانی مناسب است که بخواهید یک صفحه از نتایج جستجو حذف شود، اما همچنان محتوای آن برای خزنده‌های موتور جستجو قابل دسترسی باشد. به عنوان مثال، برای صفحاتی مانند صفحه‌های تشکر پس از خرید یا صفحات نتایج جستجوی داخلی که کاربران نیاز دارند ببینند ولی نمی‌خواهید در نتایج موتورهای جستجو نمایش داده شوند، می‌توانید از “noindex” استفاده کنید.
چه زمانی از دستور “Disallow” استفاده کنیم؟
دستور “Disallow” در فایل robots.txt به‌طور کامل دسترسی خزنده‌های موتور جستجو را به آدرس‌های خاص یا الگوهای مشخص مسدود می‌کند. در این حالت، موتورهای جستجو نه تنها محتوای صفحه را نمی‌خزند، بلکه آن را در فهرست خود نیز ثبت نمی‌کنند.
مارتین اسپلیت توصیه می‌کند که زمانی از این دستور استفاده کنید که بخواهید موتورهای جستجو را به‌طور کامل از دسترسی یا پردازش یک صفحه بازدارید. این روش برای محافظت از اطلاعات حساس (مانند داده‌های خصوصی کاربران) یا صفحاتی که برای موتورهای جستجو اهمیتی ندارند، مناسب است.
اشتباهات رایج در استفاده از “noindex” و “Disallow”
یکی از اشتباهات متداول این است که هر دو دستور “noindex” و “Disallow” را برای یک صفحه به‌طور همزمان به‌کار ببرید. اسپلیت هشدار می‌دهد که این کار می‌تواند مشکلاتی ایجاد کند.
اگر صفحه‌ای در فایل robots.txt غیرمجاز شود، خزنده‌های موتور جستجو نمی‌توانند متاتگ “noindex” یا هدر X-Robots را ببینند. در نتیجه، ممکن است صفحه همچنان با اطلاعات محدود در نتایج جستجو ظاهر شود.
برای جلوگیری از نمایش یک صفحه در نتایج جستجو، بهتر است از “noindex” بدون مسدود کردن صفحه در فایل robots.txt استفاده کنید.
ابزارهای کمکی گوگل
گوگل در کنسول جستجوی خود گزارش‌هایی درباره فایل robots.txt ارائه می‌دهد. این ابزار به شما کمک می‌کند تا تأثیر فایل robots.txt بر نمایه‌سازی صفحات وب‌سایت را آزمایش و نظارت کنید.
اهمیت این موضوع برای سئو
درک درست نحوه استفاده از “noindex” و “Disallow” برای متخصصان سئو بسیار حیاتی است. با پیروی از توصیه‌های گوگل و بهره‌گیری از ابزارهای موجود، می‌توانید مطمئن شوید که محتوای سایت شما دقیقاً همان‌طور که می‌خواهید در نتایج جستجو نمایش داده می‌شود.
