ین که کدام دایرکتوری و فولدرها باید از دید موتورهای جستجو خارج باشند مسئله ای ایست که بر روی SEO سایت شما بسیار تاثیر گذار است. به غیر از آن این مسئله در ایجاد امنیت بالاتر برای وب سایت شما نیز بسیار تاثیرگذار خواهد بود. ایجاد فایل robots.txt در ریشه سایت شما با موتورهای جستجو کمک شایانی خواهد کرد و وب سایتهای دراای این فایل معمولا دارای رتبه بهتری قرار خواهند گرفت. شما محدودیتها و اعمال زیادی رو از طریق ایم فایل میتوانید بر روی سایت خود ایجاد نمایید، اما امروز قصد دارم که نحوه بهینه سازی سایت شما (البته سایتهایی که از CMS هایی مثل WordPress، Joomla و ِDrupal استفاده میکنند) توسط ویرایش و یا ساخت این فایل توضیح دهم. نکته مهم این است که فایلهای Robot.txt باید در ریشه اصلی سایت ایجاد شوند و برای مثال میتوان به این آدرس اشاره کرد : http://www.yoursite/robots.txt کافیست دستورات زیر را در این فایل کپی پیست کنید : WordPress




01 User-agent: *

02 Disallow: /wp-admin

03 Disallow: /wp-includes

04 Disallow: /wp-content/plugins

05 Disallow: /wp-content/cache

06 Disallow: /wp-content/themes

07 Disallow: /trackback

08 Disallow: /tag

09 Disallow: /author

10 Disallow: /wget/

11 Disallow: /httpd/

12 Disallow: /cgi-bin

13 Disallow: /images/

14 Disallow: /search

15 Disallow: /feed

16 Disallow: /feed/

17 Disallow: /trackback/

18 Disallow: /rss

19 Disallow: /comments/feed

20 Disallow: /feed/$

21 Disallow: /*/feed/$

22 Disallow: /*/feed/rss/$

23 Disallow: /*/trackback/$



Joomla

01 User-agent: *

02 Disallow: /administrator/

03 Disallow: /cache/

04 Disallow: /components/

05 Disallow: /editor/

06 Disallow: /help/

07 Disallow: /includes/

08 Disallow: /language/

09 Disallow: /mambots/

10 Disallow: /media/

11 Disallow: /modules/

12 Disallow: /templates/

13 Disallow: /installation/

14 Disallow: /libraries/

15 Disallow: /tmp/

16 Disallow: /xmlrpc/

17 Disallow: /admin

18 Disallow: /administrator

19 Disallow:/admin/

20 Disallow: /admin.html

21 Disallow:/admin.php



Drupal



01 User-agent: *

02 # Directories

03 Disallow: /database/

04 Disallow: /includes/

05 Disallow: /misc/

06 Disallow: /modules/

07 Disallow: /sites/

08 Disallow: /themes/

09 Disallow: /scripts/

10 Disallow: /updates/

11 Disallow: /profiles/

12 # Paths (clean URLs)

13 Disallow: /admin/

14 Disallow: /aggregator/

15 Disallow: /comment/reply/

16 Disallow: /contact/

17 Disallow: /logout/

18 Disallow: /node/add/

19 Disallow: /search/

20 Disallow: /user/register/

21 Disallow: /contact

22 Disallow: /logout

23 Disallow: /user/register

24 Disallow: /user/password

25 Disallow: /user/login

26 Disallow: /user/password/

27 Disallow: /print/

28 Disallow: /forward/

29 # Files

30 Disallow: /xmlrpc.php

31 Disallow: /cron.php

32 Disallow: /update.php

33 Disallow: /install.php

34 Disallow: /INSTALL.txt

35 Disallow: /INSTALL.mysql.txt

36 Disallow: /INSTALL.pgsql.txt

37 Disallow: /CHANGELOG.txt

38 Disallow: /MAINTAINERS.txt

39 Disallow: /LICENSE.txt

40 Disallow: /UPGRADE.txt

41 # Block user tracker pages

42 Allow: /project/track

43 Disallow: /*/track$

44 Disallow: /*/track?page=

45

46 If you are not using static urls:

47

48 Disallow: /?q=admin/

49 Disallow: /?q=aggregator/

50 Disallow: /?q=comment/reply/

51 Disallow: /?q=contact/

52 Disallow: /?q=logout/

53 Disallow: /?q=node/add/

54 Disallow: /?q=search/

55 Disallow: /?q=user/password/

56 Disallow: /?q=user/register/

57 Disallow: /?q=user/login/

58 Disallow: /user/login/
منبع: itc.itmavara.com


موضوعات مشابه: