معمولاً در‌این پوشه، در صورتی وبسایت وردپرسی طراحی سایت در مشهد باشد، صفحه های /wp-admin/ و /readme.html/ که دربردارنده داده ها ورژن وردپرس شماست و هم‌اینگونه کاغذ پلاگین‌ها /plugins/ می بایست disallow شوند. هم‌اینگونه نشانی sitemap را در‌این پوشه تعریف و تمجید می‌نمایند تا خزنده‌های گوگل منزلت صفحه های متفاوت وبسایت را پیدا نمایند. مورد ها گفته‌گردیده از ضروریات ایجاد کرد یک فولدر robots میباشد؛ ولی شما میتوانید سازه بر نیاز خویش هر فایلی که گرایش دارید را disallow کرده و یا این که برای تأکید پوشه‌های ضروری را allow نمائید.

چرا می بایست از فولدر robots.txt برای تارنما خویش به کارگیری کنیم؟
این فولدر در بعضا مفاد میتواند خیلی به فعالیت شما بیاید. به عنوان مثال:
1- در مواردی که محتوای تکراری روی وب سایت داشته باشید، یکی صفحه ها را disallow نمایید.
2- بخشی از وب سایت را در دسترس مردم قرار ندهید. مثلا کاغذ عقد قراردادها.
3- جای نقشه تارنما را برای ربات‌های گوگل با فرمان allow مشخص و معلوم فرمائید.
4- اذن ندهید ربات‌ها بعضی پوشه‌های روی سایتتان (مانند فولدر‌های PDF یا این که تصاویر) را ایندکس کرده و در فهرست حاصل اکران دهند.
5- برای ربات‌ها یک مجال تأخیر در خزیدن تعریف و تمجید نمایید تا زمانی وبسایت نامرتب میگردد، سرعت زیر نیاید.