登录/注册 搜索
首页 / SEO基础 / 网络营销之SEO学习:搜索引擎的规则和目录
返回

网络营销之SEO学习:搜索引擎的规则和目录

浏览次数:16 分类:SEO基础

学习知识点:做SEO一定要了解搜索引擎的规则,我们在优化的过程中,不仅仅要满足用户的体验度,更要有这个基础上,尽量的满足搜索引擎的需求,才能达到优化的最大程度。

1.蜘蛛爬行规则

蜘蛛是指搜索引擎在进行爬行和抓取的昵称,、搜索引擎进行工作的第一步:收集网站数据的任务,将收集到的网站数据存放到索引库当中。

2.各大搜索引擎的蜘蛛

搜索引擎在爬行和抓取的程序被称为蜘蛛(spider)或者是机器人(bot)。

蜘蛛在进行爬行和抓取的过程中,首先会对网站发出访问请求,接收到网站服务器发出的请求后,返回HTML代码,蜘蛛再进行对收到的数据进行保存到原始数据库,为了增加抓取的速度,一般情况下,蜘蛛会多只进行爬行和抓取。

蜘蛛再爬行的过程中,并不是网站的所有程序都可以进行爬行和抓取的,蜘蛛进入网站的时候,首先会进行对网站的robots.txt文件进行访问,在得到robots文件授权和禁止的文件访问代码后,在进行访问。

(1)百度蜘蛛:Baiduspider/Baiduspider-image这个百度旗下抓取图片的蜘蛛。

常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

(2)谷歌蜘蛛:Googlebot/Googlebot-Mobil抓取wap内容的。

(3)360蜘蛛:360Spider

(4)SOSO蜘蛛:Sosospider

(5)雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!

(6)有道蜘蛛:YoudaoBot,YodaoBot(

(7)搜狗蜘蛛:Sogou News Spider,搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider

(8)MSN蜘蛛:msnbot,msnbot-media

(9)必应蜘蛛:bingbot 线上(compatible; bingbot/2.0;)

(10)一搜蜘蛛:YisouSpider

(11)Alexa蜘蛛:ia_archiver

(12)宜sou蜘蛛:EasouSpider

(13)即刻蜘蛛:JikeSpider

(14)一淘网蜘蛛:EtaoSpider

(15)今日头条的搜索引擎(Bytespder),也是2019年8月份左右的黑马,在查看你日志的时候,如果有遇到这类英文的爬虫seo搜索引擎基础知识,一定要注意咯seo搜索引擎基础知识,今日头条的爬虫还是很凶猛的。

我们通常通过robots进行对网站权限的设置,用来针对蜘蛛的爬行权限,一方面是用来节约流量,一方面也能更精确的针对主流的搜索引擎进行权限抓取,避免搜索引擎做出无用功,而且了解这些爬虫的名字,也可以让我们在分析数据日志的时候,更清楚爬虫的动向。

您好!请登录

点击取消回复

    购物车

    X

    我的足迹

    X
    FUNION飞优免费测评网站质量:
    定制方案
    x

    力荐定制全网营销型网站已有10967548位客户定制营销型网站方案

    网站类型*
    建站目的*
    建站周期*
    行业类型*
    公司名称* 姓名* 手机号码*
    适合您的网站类型 ? 建站类型 ? 建站目的 ? 建站要求? 建站预算? 预期周期? 交付周期?
    我要定制

    飞优

    网站建设 | SEO优化 | SEM托管 | 信息流推广 | 口碑营销

    姓名
    邮箱
    手机
    留 言: