آیا شما می خواهید وردپرس خودتون رو از طریق فایل Robots.txt بهینه کنید ؟ ولی باید مطمئن شوید که چرا و چگونه فایل Robots.txt می تواند برای نتایج و در کل در سئوی شما تاثیر بگذارد . ما در این مقاله به چگونگی تاثیر فایل Robots.txt در سئو و همینطور به چگونگی ساخت آن می پردازیم .
فایل Robots.txt نقش بزرگی در سئوی سایت شما ایفا می کند و در کل نتیجه مثبتی در بهینه سازی سایت شما به جا می گذارد . فایل Robots.txt در واقع رابط بین وب سایت شما و ربات های جستجوگر می باشد که با دستوراتی که شما در این فایل اضافه می کنید ، ربات ها با توجه به آن دستورات به کار خود ادامه می دهند .
آیا واقعا نیاز به فایل Robots.txt هست ؟
با نبود فایل Robots.txt شما عملا نمی توانید از ایندکس و یا عدم ایندکس مطالب و یا دایرکتوری های خاص جلوگیری کنید . همینطور با معرفی سایت مپ در فایل Robots.txt ربات های جستجوگر از وجود سایت مپ شما به خوبی آگاه می شوند و در صورت عدم ثبت سایت مپ در بخش گوگل وب مستر ، معرفی سایت مپ در فایل Robots.txt می تواند کافی باشد .
ما به شما شدیدا توصیه می کنیم اگر فایل Robots.txt ایجاد نکرده اید حتما آن را ایجاد نمایید .
فایل Robots.txt در کجاست ؟ چگونه می توان Robots.txt ایجاد کرد ؟
این فایل دقیقا در مسیر اصلی سایت (روت) قرار گرفته است و در عدم وجود آن شما باید این فایل را در این مسیر ایجاد نمایید .
خوبی فایل Robots.txt این است که می توان آن را در کامپیوتر به راحتی با برنامه notepad ایجاد کرد و بعد از افزودن کد های مورد نظر آن را در روت سایت آپلود کرد .
چگونه از فایل Robots.txt استفاده کنیم؟
فرمت دستورات فایل Robots.txt بسیار آسان است . برای مثال در خط اول از دستور user agent استفاده می شود که در واقع این دستور مربوط به ربات های جستجوگر می باشد . برای مثال می توانید فقط از ربات های گوگل و بینگ استفاده کنید که کافیه به این صورت عمل کنید : User-Agent: Googlebot یا User-Agent: Bingbot . اما در صورتی که بخواهید تمامی ربات ها را فراخوانی کنید باید به این صورت عمل کنید : * :User-Agent
در خط های بعدی هم با دستورات Allow و Disallow مشخص می کنید که ربات ها به این بخش ها دسترسی داشته باشند و یا خیر .
نمونه فایل Robots.txt :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
در این نمونه کد خط دوم به ربات ها اجازه می دهد تا تمامی تصاویر های استفاده شده در مطالب شما ایندکس شوند و در خط سوم و چهارم اجازه به ایندکس مسیر پلاگین و فایل readme.html به ربات ها داده نمی شود .
افزودن سایت مپ به فایل Robots.txt
اگر شما از پلاگین هایی برای ایجاد سایت مپ استفاده می کنید پس لازم است لینک سایت مپ خود را در فایل Robots.txt قرار دهید تا ربات ها از وجود سایت مپ شما با خبر شوند .
برای اینکه سایت مپ خود را به فایل Robots.txt اضافه کنید کافیه به صورت زیر عمل کنید :
Sitemap: http://www.example.com/sitemap.xml
در صورتی که سایت مپ شما بصورت جداگانه باشد یعنی برای مطالب ، صفحات و… سایت مپ بصورت جداگانه باشد آن ها را نیز به روش بالا می توانید اضافه کنید .
مثال :
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Sitemap: http://www.example.com/deals-sitemap.xml
Sitemap: http://www.example.com/hosting-sitemap.xml
