• تیام رایان ارتباط
  • ۰۲۶-۳۳۵۵۵۱۶۴
Top

فایل robots.txt برای طراحی سایت وردپرس

فایل robots.txt برای طراحی سایت وردپرس

اگر طراحی سایت انجام می دهید ، مطمئنا نام فایل robots.txt برایتان آشناست ولی اگر به تازگی شروع به فعالیت داین زمینه کرده اید و کاربرد این فایل را نمیدانید ما در این مقاله سعی داریم که به معرفی آن بپردازیم . همانطور که می دانید یکی از فواید داشتن وب سایت این است که در موتور جستجوگر گوگل و در نتایج حاصل از جستجوی کاربران حضور خواهید داشت و شانس مراجعه ی کاربران به وب سایت شما افزایش می یابد . در واقع شما برای جذب مخاطبان و بالا بردن بازدید وب سایت خود نیازمند بهینه سازی سایت برای google هستید .فایل robots.txt یک فایل متنی است مورد بررسی موتورهای جستجو قرار می گیرد ، از طریق این فایل می توانید به روبات ها و خزنده های گوگل اعلام نمایید که از چه قسمت هایی از وب سایت شما بازدید کند ، در واقع این فایل robots.txt برای هدایت روبات های گوگل جهت بررسی سایت شما می باشد و کاربرد آن زمانی مشخص می‌شود که شما بر روی سایتتان بخش‌هایی دارید که نمی‌خواهید خزنده‌ها ببینند و یا اصلا نیازی نمی‌بینید که آن بخش‌ها بخواهند در نتایج جست‌وجو دیده شوند. برای مثال اگر می خواهید از ورود خزنده های موتورهای جستجو به یک صفحه ی خاص جلوگیری نمایید لازم است که آدرس آن صفحه ی خاص را از طریق دستوراتی در این فایل بگنجانید . اگر در هاست مربوط به سایت خود فایل robots.txt را آپلود کرده باشید ، روبات گوگل قبل از اینکه به صفحه ی اصلی و محتویات سایت شما سری بزند ابتدا به این آدرس خواهد رفت http://www.YOURSITE/robots.txt و از این طریق مسیر هایی که برای وی تعیین کرده اید را خواهد فهمید . لازم به ذکر است که فایل robots.txt برای نمایش به عموم آزاد می باشد. بنابراین همه میتوانند تنظیمات اعمال شده توسط شما را در این فایل مشاهده نمایند پس بهتر است از این فایل برای مخفی نمودن اطلاعات خود استفاده نکنید.

دستورات موجود در فایل robots.txt

در ادامه به دستورات مهمی که در این فایل می توانید از آنها استفاده نمایید ، می پردازیم :

الف – دستور  زیر در فایل robots.txt برای محدود کردن دسترسی روبات ها می باشد .

User-agent: *
Disallow: /

علامت ستاره “*” به معنای تمامی روبات های جستجو گر می باشد.

عبارت User-agent: * مشخص می کند که دستورات و تنظیماتی که در خط های بعدی نوشته اید  باید بر روی تمامی روبات ها (از جمله روبات های گوگل، یاهو و بینگ) اعمال شوند .

عبارت /:Disallow اجازه دسترسی هیچ روباتی را به هیچ یک از پوشه ها یا فایلهای مربوطه نمی دهد. بنابراین زمانیکه روبات گوگل در فایل robots.txt با این عبارات مواجه می شود، دیگر آدرس دیگری از سایت را مشاهده و ایندکس نمی کند. در واقع با دستور فوق  بررسی سایت شما برای تمامی روبات های موتور های جستجوگر مختلف ممنوع می گردد .

ساخت فایل robots txt

– یک فایل متنی با پسوند txt ایجاد نمایید  و پس از تکمیل در سی پنل سایت خود آپلود نمایید .

– دقت کنید که نامفایل robots.txtبرای طراحی سایت وردپرس باید با حروف کوچک انگلیسی باشد .

– هر دستور به عنوان یک رکورد جداگانه در نظر گرفته می شود و باید در سطری جدا آن را بنویسید .

دقت کنید که وقتی دسترسی روبات را به یک پوشه‌ محدود می کنید ، تمامی زیرشاخه‌های آن پوشه نیز برای آن روبات قابل دسترسی نخواهند بود .

–  اگر میخواهید روبات گوگل یک دایرکتوری یا پوشه ی خاص موجود بر روی هاست شما را بررسی نکند به این شکل در فایل robots.txtدستور را بنویسید :

User-agent: *
Disallow: /نام دایرکتوری/

حال اگر بخواهید دسترسی روبات ها را به  زیر فولدر خاصی در پوشه ای که در بالا نوشتید ، فعال نمایید از دستور زیر می توانید استفاده کنید :

/نام  زیر پوشه / نام پوشه /: allow

– برای دادن دسترسی به  تمامی روبات ها به تمامی پوشه های وب سایت، دستور زیر را تایپ نمایید :

User-agent: *
Disallow:

 – برای ممنوع کردن یک روبات خاص از دسترسی به سایت، در فایل robots.txtدستور زیر را تایپ نمایید :

User-agent: نام روبات
Disallow: /

 – برای اعطای دسترسی به یک روبات خاص ، مثلا گوگل ، دستور زیر را در فایل robots.txt قرار دهید :

User-agent: Google
Disallow:

– یکی از مفید ترین کد هایی که می توانید در فایل robots.txt قرار دهید و از طریق آن به بهتر ایندکس شدن و شناسایی صفحات مهم سایت خود در موتور جستجوگر گوگل و  بهبود وضعیت سئو سایت خود کمک نمایید ، مربوط است به نقشه ی سایت . و اگر سایت شما دارای نقشه ی سایت می باشد ، بنابر این می توانید ازین طریق از روبات ها بخواهید که نقشه ی سایت شما را نیز ببینند .

sitemap: http://www.YOURSITE/sitemap.xml

– پیشنهاد ما این است که اگر می خواهید گوگل صفحه‌ای از سایت شما را ایندکس نکند بهتر است از متا تگ   Noindex در آن صفحه استفاده نمایید ، و تا حد امکان از طریق فایل robots.txt اقدام نکنید زیرا ممکن است که روبات های گوگل تا مدت زیادی به سایت شما سر نزده و در سیستم پیش فرض اختلالاتی پیش آید .