加入sitemap.xml路径

User-agent: *

Disallow: /

5. 加入sitemap.xml路径,例如：

Sitemap:

Robots对应搜索引擎名字

名称 搜索引擎

google蜘蛛： googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

altavista蜘蛛：scooter

lycos蜘蛛： lycos_spider_(t-rex)

alltheweb蜘蛛： fast-webcrawler/

inktomi蜘蛛： slurp

twiceler蜘蛛：twiceler

RoboRobots META标签的写法

1、META标签中没有大小写之分seo搜索引擎基础知识，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

INDEX指令告诉搜索机器人抓取该页面；

noindex指令告诉搜索机器人不抓取该页面

FOLLOW指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

noFOLLOW指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

archive指定限制GOOGLE是否保留网页快照（仅限于google引擎）；

2、Robots Meta标签的缺省值是INDEX和FOLLOWseo搜索引擎基础知识，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合：

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞

＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞

绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：

＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

蜘蛛

序号 IP 注释

1 202.106.186.* 163蜘蛛

2 202.108.36.* 163蜘蛛

3 202.108.44.* 163蜘蛛

4 202.108.45.* 163蜘蛛

5 202.108.5.* 163蜘蛛

6 202.108.9.* 163蜘蛛

7 220.181.12.* 163蜘蛛

8 220.181.13.* 163蜘蛛

9 220.181.14.* 163蜘蛛

10 220.181.15.* 163蜘蛛

11 220.181.28.* 163蜘蛛

12 220.181.31.* 163蜘蛛

13 222.185.245.* 163蜘蛛

14 202.165.100.* 3721蜘蛛

15 220.181.19.* 百度蜘蛛

16 159.226.50.* 百度蜘蛛

17 202.108.11.* 百度蜘蛛

18 202.108.22.* 百度蜘蛛

19 202.108.23.* 百度蜘蛛

20 202.108.249.* 百度蜘蛛

21 202.108.250.* 百度蜘蛛

22 61.135.145.* 百度蜘蛛

23 61.135.146.* 百度蜘蛛

24 64.124.85.* become.com

25 61.151.243.* china蜘蛛

26 202.165.96.* gais.cs.ccu.edu.tw

27 216.239.33.* google蜘蛛

28 216.239.35.* google蜘蛛

29 216.239.37.* google蜘蛛

30 216.239.39.* google蜘蛛

31 216.239.51.* google蜘蛛

32 216.239.53.* google蜘蛛

33 216.239.55.* google蜘蛛

34 216.239.57.* google蜘蛛

35 216.239.59.* google蜘蛛

36 64.233.161.* google蜘蛛

37 64.233.189.* google蜘蛛

38 66.102.11.* google蜘蛛

39 66.102.7.* google蜘蛛

40 66.102.9.* google蜘蛛

41 66.249.64.* google蜘蛛

42 66.249.65.* google蜘蛛

43 66.249.66.* google蜘蛛

44 66.249.71.* google蜘蛛

45 66.249.72.* google蜘蛛

46 72.14.207.* google蜘蛛

47 61.135.152.* iask蜘蛛

48 65.54.188.* msn蜘蛛

49 65.54.225.* msn蜘蛛

50 65.54.226.* msn蜘蛛

51 65.54.228.* msn蜘蛛

52 65.54.229.* msn蜘蛛

53 207.46.98.* msn蜘蛛

54 207.68.157.* msn蜘蛛

55 194.224.199.* noxtrumbot

56 220.181.8.* Outfox

57 221.239.209.* Outfox

58 217.212.224.* psbot

59 219.133.40.* QQ蜘蛛

60 202.96.170.* QQ蜘蛛

61 202.104.129.* QQ蜘蛛

62 61.135.157.* QQ蜘蛛

63 219.142.118.* sina蜘蛛

64 219.142.78.* sina蜘蛛

65 61.135.132.* sohu蜘蛛

66 220.181.26.* sohu蜘蛛

220.181.19.*

67 61.135.158.* tom蜘蛛

68 66.196.90.* yahoo蜘蛛

69 66.196.91.* yahoo蜘蛛

70 68.142.249.* yahoo蜘蛛

71 68.142.250.* yahoo蜘蛛

72 68.142.251.* yahoo蜘蛛

73 202.165.102.* yahoo中国蜘蛛

74 202.160.178.* yahoo中国蜘蛛

75 202.160.179.* yahoo中国蜘蛛

76 202.160.180.* yahoo中国蜘蛛

77 202.160.181.* yahoo中国蜘蛛

78 202.160.183.* yahoo中国蜘蛛

79 72.30.101.* yahoo蜘蛛

80 72.30.102.* yahoo蜘蛛

81 72.30.103.* yahoo蜘蛛

82 72.30.104.* yahoo蜘蛛

83 72.30.107.* yahoo蜘蛛

84 72.30.110.* yahoo蜘蛛

85 72.30.111.* yahoo蜘蛛

86 72.30.128.* yahoo蜘蛛

87 72.30.129.* yahoo蜘蛛

88 72.30.131.* yahoo蜘蛛

89 72.30.133.* yahoo蜘蛛

90 72.30.134.* yahoo蜘蛛

91 72.30.135.* yahoo蜘蛛

92 72.30.216.* yahoo蜘蛛

93 72.30.226.* yahoo蜘蛛

94 72.30.252.* yahoo蜘蛛

95 72.30.97.* yahoo蜘蛛

96 72.30.98.* yahoo蜘蛛

97 72.30.99.* yahoo蜘蛛

98 74.6.74.* yahoo蜘蛛

99 202.108.4.* 中搜蜘蛛

100 202.108.4.* 中搜蜘蛛

101 202.108.33.* 中搜蜘蛛

102 202.96.51.* 中搜蜘蛛

103 219.142.53.* 中搜蜘蛛

相关蜘蛛引至