متاتگ Robots و X-Robots-Tag چیست؟ راهنمای کامل noindex، nofollow و دستورها
در دنیای وب پویا، بهینه‌سازی و مدیریت محتوا ابزارهای حیاتی برای تجربه بهتر کاربران و بهبود جایگاه سایت‌ها در موتورهای جستجو محسوب میشوند. تگ‌های Robots یکی از ابزارهای مهم در این زمینه می‌باشند. این تگ‌ها به وب‌مسترها امکان کنترل دقیق بر روی نحوه فهرست‌بندی وب‌سایت توسط موتورهای جستجو را می‌دهند. در این مقاله، به بررسی اهمیت و کاربردهای تگ‌های Robots در بهینه‌سازی سئو و بهبود تجربه کاربری خواهیم پرداخت. این ابزارها به وب‌مسترها این امکان را می‌دهند تا با دقت ترتیب دهند کدام بخش‌ها از وب‌سایت در نتایج جستجو ظاهر شوند و کدام بخش‌ها را مخفی نگه دارند. این کنترل حیاتی است تا بهینه‌ترین عملکرد سایت را از نظر سئو داشته باشیم.
برای خواندن سریع هر بخش، روی عنوان آن کلیک کنید
فایل Robots چیست؟
فایل robots.txt یک فایل متنی است که در ریشه وب‌سایت قرار می‌گیرد و به موتورهای جستجو اطلاعاتی درباره نحوه فهرست‌بندی و فعالیت آنها در وب‌سایت ارائه می‌دهد. این فایل به وب‌مسترها این امکان را می‌دهد تا تصمیم بگیرند کدام بخش‌ها یا صفحات از فهرست جستجو خارج شوند و چه بخش‌ها اجازه دسترسی به موتورهای جستجو را داشته باشند.
- متاتگ robots به موتور جستجو می‌گوید یک صفحه را ایندکس کند یا نه و لینک‌هایش را دنبال کند یا نه.
- X-Robots-Tag همان دستورها را در هدر HTTP اعمال میکند و برای فایل‌هایی مثل PDF کاربرد دارد.
- robots.txt خزش را کنترل میکند، اما متاتگ robots ایندکس را.
- صفحه noindex نباید در robots.txt مسدود باشد، وگرنه گوگل دستور را نمی‌بیند.
فایل robots.txt بیشتر به منظور مدیریت و کنترل فهرست‌بندی موتورهای جستجو، اجازه یا عدم اجازه به اندکی محدود کردن دسترسی به برخی بخش‌ها و صفحات وب‌سایت ایجاد میکند. این ابزار مفید برای بهینه‌سازی فعالیت‌های موتورهای جستجو و بهبود نتایج جستجو وب‌سایت می‌باشد.
معرفی تگ‌های Robots
1. تگ‌های Meta در HTML:
تگ‌های Meta یکی از ابزارهای اساسی برای اطلاع‌رسانی به موتورهای جستجو درباره خصوصیات صفحه است. تگ Meta با استفاده از ویژگی‌هایی مانند “robots” قابلیت مدیریت نحوه فهرست‌بندی و فرآیند شناسایی توسط موتورهای جستجو را فراهم میکند.
2. تگ‌های Robots.txt:
این تگ به وب‌مسترها اجازه می‌دهد تا مسیرهایی را که می‌خواهند از فهرست جستجوهای موتورهای جستجو خارج کنند، مشخص کنند. تنظیمات در فایل robots.txt می‌تواند تأثیر مستقیمی بر فهرست‌بندی صفحات وب‌سایت داشته باشد.
3. تگ‌های Meta Robots در صفحات HTML:
با استفاده از تگ‌های Meta در هدر HTML، می‌توان کنترل دقیق‌تری بر روی رفتار موتورهای جستجو داشت. تنظیمات مختلف مانند noindex و nofollow این امکان را می‌دهند که تعیین کنید چه بخش‌هایی از وب‌سایت توسط موتورهای جستجو فهرست‌بندی نشود یا لینک‌ها دنبال نشود.
بخش سوم: کاربردهای تگ‌های Robots در بهینه‌سازی سئو
1. مدیریت فهرست‌بندی:
استفاده صحیح از تگ‌های Robots به وب‌مسترها این امکان را می‌دهد تا تصمیم بگیرند کدام بخش‌ها از وب‌سایت فهرست‌بندی شوند و کدام بخش‌ها مخفی بمانند. این امکان به بهینه‌سازی ساختار سایت و مدیریت صفحات محتوا کمک میکند.
2. کنترل نحوه شناسایی:
با استفاده از تگ‌های Robots، می‌توانید کنترل کنید چگونه موتورهای جستجو به صفحات وب‌سایت شما دسترسی پیدا کنند. این کنترل نحوه فهرست‌بندی و ارتباط با صفحات دیگر را به کاربران می‌دهد.
3. مدیریت لینک‌ها:
تگ‌های Robots نقش مهمی در مدیریت لینک‌ها و ارتباطات داخلی و خارجی وب‌سایت ایفا می‌کنند. به کمک nofollow می‌توانید لینک‌هایی که نمی‌خواهید افزایش اعتبار دهند را مدیریت کنید.
بهینه‌سازی محتوا با استفاده از تگ‌های Robots
1. بهینه‌سازی محتوا با noindex:
استفاده از تگ‌های noindex به وب‌مسترها این امکان را می‌دهد که تصمیم بگیرند کدام صفحات از فهرست جستجوهای موتورهای جستجو خارج شوند. این تکنیک به بهینه‌سازی نتایج جستجو و جلب توجه به محتوای مهمتر کمک میکند.
2. مدیریت لینک‌ها با nofollow:
تگ nofollow به وب‌مسترها این امکان را می‌دهد که تصمیم بگیرند آیا لینکهای داخلی یا خارجی از صفحه جاری باید در افزایش اعتبار دیگر صفحات موثر باشند یا خیر. این تکنیک مفید برای مدیریت جریان PageRank و بهینه‌سازی لینک‌ها می‌باشد.
3. محدود کردن دسترسی به برخی قسمت‌ها با Disallow در robots.txt:
فایل robots.txt اجازه می‌دهد تا وب‌مسترها برخی از مسیرها و دایرکتوری‌های وب‌سایت را از دسترسی موتورهای جستجو محافظت کنند. این تکنیک مفید برای محدود کردن دسترسی به اطلاعات حساس و غیرعمومی می‌باشد.
تأثیر تگ‌های Robots بر تجربه کاربری
1. سرعت بارگذاری صفحه:
با استفاده صحیح از تگ‌های noindex و nofollow می‌توان بهبود سرعت بارگذاری صفحه را تجربه کرد، زیرا موتورهای جستجو به سرعت به دنبال لینک‌ها و صفحات جاری نخواهند گشت.
2. بهبود ناوبری:
استفاده از robots.txt برای محدود کردن دسترسی به برخی بخش‌ها می‌تواند به بهبود ناوبری و تجربه کاربری کمک کند. کاربران بدون ورود به صفحات غیرضروری، به سرعت به اطلاعات موردنیاز خود دسترسی پیدا می‌کنند.
3. حفظ اعتماد و امانت کاربر:
با استفاده از تگ‌های noindex در صفحات حاوی اطلاعات حساس، اعتماد کاربر به امانت وب‌سایت افزایش می‌یابد. این مسئله در وب‌سایت‌هایی که اطلاعات حساسی از کاربران دریافت می‌کنند، بسیار حائز اهمیت است.
چگونگی پیاده‌سازی تگ‌های Robots در وب‌سایت
برای پیاده‌سازی تگ‌های Robots در وب‌سایت، باید با دقت به تنظیمات و نیازهای خاص خود توجه کنید.
1. استفاده از تگ‌های Meta در هدر HTML:
- برای اعمال محدودیت‌ها در نمایه‌بندی، از تگ‌های
noindexیاindexدر هدر HTML صفحات استفاده کنید. - تنظیمات
followیاnofollowبرای کنترل تعقیب لینک‌ها را مشخص کنید.
2. استفاده از robots.txt:
- در این فایل، مسیرها و دایرکتوری‌هایی را که نمی‌خواهید موتورهای جستجو فهرست‌بندی کنند، مشخص کنید.
- به موتورهای جستجو اجازه دهید که فایل robots.txt را بخوانند و دستورات آن را اجرا کنند.
3. استفاده از تگ‌های Meta در صفحات HTML:
- برای مدیریت دقیق تگ‌ها در هر صفحه، از تگ‌های
noindexوnofollowدر هدر HTML استفاده کنید. - با توجه به خصوصیات مختلف صفحات، تنظیمات متفاوتی برای هر صفحه در نظر بگیرید.
بخش هفتم: راهنمایی برای انتخاب تنظیمات مناسب
1. تحلیل وب‌سایت:
- قبل از اعمال تغییرات، وب‌سایت خود را با دقت تجزیه و تحلیل کنید.
- محتواها، لینک‌ها، و نیازهای سئو وب‌سایت خود را مشخص کنید.
2. مدیریت محتوا:
- صفحات اصلی و محتوای مهم با تگ‌های
indexمشخص شوند. - صفحات دیگری که نمی‌خواهید در نتایج جستجو ظاهر شوند، با
noindexتعیین شوند.
3. کنترل لینک‌ها:
- لینک‌ها را با دقت مدیریت کنید. لینکهای اصلی و اهمیت‌دار با
followمشخص شوند. - لینک‌هایی که نمی‌خواهید اعتبار انتقال دهند، با
nofollowتعیین شوند.
جمع‌بندی
با اجرای بهینه‌سازی صحیح تگ‌های Robots در وب‌سایت، می‌توانید نه تنها اثرات مثبتی بر سئو داشته باشید بلکه تجربه کاربری کاربران را نیز بهبود بخشید. با دقت در تنظیمات و نیازهای خود، از این ابزار قدرتمند برای بهبود دسترسی به محتوا، مدیریت لینک‌ها، و ایجاد یک وب‌سایت سئویی و کاربرپسند بهره‌مند شوید.
مهم‌ترین دستورهای متاتگ robots
| دستور | کاربرد |
|---|---|
| noindex | صفحه در نتایج جستجو نمایش داده نشود |
| nofollow | لینکهای صفحه دنبال نشوند |
| none | معادل noindex, nofollow |
| noarchive | نسخه کش صفحه نمایش داده نشود |
| nosnippet | هیچ متنی از صفحه به‌عنوان خلاصه نمایش داده نشود |
| max-snippet:[n] | حداکثر طول خلاصه متنی |
| max-image-preview:large | اجازه نمایش پیش‌نمایش بزرگ تصویر (مهم برای Discover) |
| noimageindex | تصاویر صفحه ایندکس نشوند |
| unavailable_after:[تاریخ] | پس از تاریخ مشخص از نتایج حذف شود |
نمونه کدها
<!-- متاتگ در head --> <meta name="robots" content="noindex, follow"> <!-- فقط برای گوگل --> <meta name="googlebot" content="noindex"> # هدر HTTP برای فایل PDF (Apache) <Files ~ ".pdf$"> Header set X-Robots-Tag "noindex" </Files>
robots.txt یا متاتگ robots؟
| هدف | ابزار مناسب |
|---|---|
| جلوگیری از خزش بخش‌هایی از سایت | robots.txt |
| حذف صفحه از نتایج گوگل | متاتگ robots با noindex |
| حذف فایل غیر HTML (PDF، تصویر) | X-Robots-Tag |
| معرفی نسخه اصلی صفحات تکراری | تگ کنونیکال |
چه صفحاتی را noindex کنیم؟
- نتایج جستجوی داخلی سایت.
- صفحات تشکر، سبد خرید و پرداخت.
- صفحات بایگانی کم‌ارزش (مثل آرشیو تاریخ یا برچسب‌های کم‌محتوا).
- صفحات تست و نسخه‌های آزمایشی.
- صفحات لاگین و پنل کاربری.
اشتباهات خطرناک
- فراموش کردن noindex سراسری پس از انتقال سایت از محیط تست (در وردپرس: تیک «از موتورهای جستجو جلوگیری شود»).
- noindex کردن صفحات دسته‌بندی مهم فروشگاه.
- ترکیب noindex با canonical به صفحه دیگر که پیام متناقض می‌فرستد.
نحوه بررسی دستورات robots یک صفحه
- سورس صفحه را باز کنید (Ctrl+U) و عبارت name=”robots” را جستجو کنید.
- برای هدر HTTP، در ابزار توسعه مرورگر به تب Network بروید و هدر X-Robots-Tag را بررسی کنید.
- در سرچ کنسول، ابزار URL Inspection نشان می‌دهد آیا گوگل صفحه را به دلیل noindex ایندکس نکرده است.
- برای کل سایت، با Screaming Frog ستون Indexability را بررسی کنید.
دستورات robots برای ربات‌های هوش مصنوعی
برخی سرویس‌ها امکان کنترل استفاده از محتوا را از طریق دستورات خاص یا robots.txt فراهم کرده‌اند. برای مثال Google-Extended در robots.txt کنترل استفاده از محتوا برای آموزش مدل‌های هوش مصنوعی گوگل را ممکن میکند، بدون اینکه بر ایندکس و رتبه در جستجوی گوگل اثر بگذارد. متاتگ nosnippet هم مانع استفاده از متن صفحه در خلاصه‌ها، از جمله AI Overviews، میشود؛ اما هم‌زمان خلاصه متنی معمولی نتایج را هم حذف میکند.
سناریوهای رایج و دستور مناسب
| سناریو | دستور |
|---|---|
| صفحه تشکر پس از خرید | noindex, follow |
| فایل‌های PDF داخلی | X-Robots-Tag: noindex |
| صفحه کمپین موقت | unavailable_after یا حذف و ریدایرکت پس از پایان |
| مقاله‌ای که نباید خلاصه‌اش نمایش داده شود | max-snippet:0 یا nosnippet |
| محیط تست سایت | noindex سراسری به همراه محافظت با رمز |
تنظیم نادرست متاتگ robots می‌تواند صفحات مهم را از گوگل حذف کند. سئو تکنیکال سایتتان را به متخصصان پاسخ بسپارید.
سه ابزار کنترل خزش و ایندکس؛ مقایسه کامل
سردرگمی بین فایل robots.txt، متاتگ robots و هدر X-Robots-Tag یکی از رایج‌ترین دلایل مشکلات ایندکس است. هر سه به ربات‌ها دستور می‌دهند، اما در زمان و محل متفاوتی عمل می‌کنند:
اگر صفحه‌ای را در robots.txt مسدود کنید، گوگل آن را نمی‌خزد و بنابراین هرگز متاتگ noindex داخل صفحه را نمی‌بیند. نتیجه ممکن است این باشد که URL بدون محتوا اما همچنان در نتایج دیده شود. برای خارج کردن صفحه از ایندکس، اجازه خزش بدهید و noindex بگذارید؛ بعد از حذف از ایندکس، در صورت نیاز می‌توانید آن را مسدود کنید. جزئیات فایل را در آموزش robots.txt ببینید.
X-Robots-Tag برای فایل‌های غیر HTML
متاتگ robots فقط در صفحات HTML قابل استفاده است. برای فایل‌های PDF، تصاویر، فایل‌های ورد یا خروجی‌های اکسل، تنها راه کنترل ایندکس، هدر HTTP به نام X-Robots-Tag است. مثال‌های رایج:
# Apache (.htaccess): همه PDFها noindex
<FilesMatch ".pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
# Nginx: همین کار
location ~* .pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
کاربردهای رایج: کاتالوگ‌های PDF قدیمی که با صفحات محصول رقابت می‌کنند، فاکتورها و فایل‌های داخلی که به‌اشتباه در دسترس عموم قرار گرفته‌اند و نسخه‌های چاپی صفحات.
ممیزی دستورهای robots در کل سایت
- گزارش Pages سرچ کنسولبخش «Excluded by noindex tag» را بررسی کنید. آیا صفحه مهمی به‌اشتباه در این فهرست است؟ این اتفاق بعد از تغییر قالب یا افزونه سئو زیاد رخ می‌دهد.
- خزش با اسکریمینگ فراگستون Indexability و Meta Robots را برای همه URLها استخراج کنید و صفحات noindex را با فهرست صفحات مهم مقایسه کنید.
- تنظیمات افزونه سئودر Rank Math یا Yoast، تنظیمات پیش‌فرض robots برای نوشته‌ها، برگه‌ها، دسته‌ها، برچسب‌ها و آرشیو نویسنده را بازبینی کنید. یک تیک اشتباه در تنظیمات کلی می‌تواند هزاران صفحه را noindex کند.
- تیک «جلوگیری از ایندکس» وردپرسدر تنظیمات خواندن وردپرس، گزینه‌ای برای جلوگیری از ایندکس کل سایت وجود دارد که گاهی بعد از انتقال از سایت آزمایشی فعال می‌ماند. همیشه بعد از راه‌اندازی بررسی شود.
- هدرهای سروربا ابزارهای بررسی هدر، مطمئن شوید X-Robots-Tag ناخواسته‌ای (مثلاً از تنظیمات CDN یا سرور آزمایشی) روی صفحات HTML اعمال نشده است.
پس از انتقال یک سایت از سرور آزمایشی به سرور اصلی، ترافیک ارگانیک طی سه هفته به نزدیک صفر رسید. بررسی نشان داد تنظیم سرور آزمایشی که روی همه پاسخ‌ها هدر X-Robots-Tag: noindex اضافه می‌کرد، به سرور اصلی منتقل شده بود. چون این هدر در سورس صفحه دیده نمی‌شد، تیم محتوا متوجه آن نشده بود. حذف هدر و درخواست بررسی مجدد صفحات اصلی در سرچ کنسول، روند بازگشت را آغاز کرد. درس این اتفاق: بعد از هر انتقال، هدرها را هم مثل سورس صفحه بررسی کنید.
سوالات متداول
noindex چقدر طول می‌کشد تا اثر کند؟
پس از خزش مجدد صفحه توسط گوگل؛ از چند روز تا چند هفته. برای سرعت، از URL Inspection درخواست بررسی دهید.
آیا nofollow در متاتگ همان rel=nofollow لینک است؟
متاتگ nofollow همه لینکهای صفحه را شامل میشود؛ rel=”nofollow” فقط برای یک لینک مشخص اعمال میشود.
آیا صفحه noindex اعتبار لینک منتقل میکند؟
در کوتاهمدت بله (با follow)، اما گوگل گفته صفحاتی که مدت طولانی noindex بمانند در نهایت مانند nofollow رفتار میشوند.
در Rank Math چطور صفحه‌ای را noindex کنم؟
در تنظیمات Advanced هر نوشته یا برگه، گزینه Robots Meta را روی No Index قرار دهید.
متخصص سئو و بازاریابی دیجیتال از سال ۲۰۰۹ دانش آموخته مهندسی نرم‌افزار از ایران و علوم رسانه و ارتباطات از کشور مجارستان, عاشق سفر و کاوش در فرهنگ‌ها، همواره در جستجوی دانش و تجربیات جدید.
همه مطالب ابوالفضل دانش (88)
دیدگاه شما درباره این مطلب