蜘蛛陷阱包括什么?
来源:河南茂睿科技发表时间:2019-12-25 09:25
在网页的某一部分使用flash可以增加视觉效果,吸引用户的目光,常见于首页中的banner或者轮播图,这种flash只是网页中的一小部门,对搜索引擎的收录和抓取没有任何影响。
简朴的来说,蜘蛛陷阱就是阻碍蜘蛛爬行和抓取页面的障碍物。有些站点(论坛形式比较多)需要用户登录才能看到一些会员区域,或者强制用户登录才可以看到文章的内容,这些会员区域和内容搜索引擎是无法看到的,蜘蛛只不外是一个机器人,不会自动注册、登录甚至回复。、
这种现象我们碰到的比较少,但是并不代表不存在。假如由于各种原因网站首页必需使用flash,那么在首页flash之外的代码中添加一个指向HTML网站的链接。所以建议跟踪用户的访问使用cookies,而不要选择Session ID。
网站跳转情况每一个互联网用户基本上都碰到过,大家打开某一个URL之后,网站会自动跳转到另外一个URL,实现跳转的方法有良多种,包括301跳转、302跳转、js跳转、Meta Refresh跳转等。这些障碍物有的是网站为了追求特定效果,但是并不一定对搜索引擎的蜘蛛友好;有些蜘蛛陷阱是由于站长不了解SEO而无意设置的。
从搜索引擎的角度出发,谷歌不建议使用框架,但仍会抓取,但是百度的立场是不抓取,如没有特殊必要,网站不要使用框架,你也别铺张时间研究如何让搜索引擎收录框架里面的内容。学过网站制作的同学应该知道,这里我们所说的框架,最常见的一种效果就是一个页面中包含左右两部门,一般左侧为文章列表,右侧为文章具体内容,当我们点击左侧文章列表中的某一个标题的时候,右侧会显示相应的内容。
301跳转是我们最常见、也是搜索引擎推荐的跳转方式,除去301跳转之外的其他跳转方式搜索引擎都比较敏感,不建议大家使用。早期搜索引擎抓取动态网址要弱一些,目前搜索引擎抓取动态网址已经没有任何题目了,但是过多的传参参数的动态网址仍不利于搜索引擎爬行和抓取,所以我们要尽量避免或者通过伪静态将动态网址改成静态网址显示。
某些网站为实现某种特定功能,强制用户使用Cookies,但搜索引擎蜘蛛就像是一个禁用了Cookies的浏览器。现在我们也就可以理解为什么好多站长喜欢将文章部门内容供读者浏览,剩下的部门内容需要注册才可以观看,这也是为了迎合搜索引擎。
跟着网站程序的复杂性越来越高,良多网站使用回话ID跟踪用户的访问,每当用户访问网站的时候,网站程序都会对访问的页面成一个携带动态ID的URL,如斯以来,搜索引擎蜘蛛每次访问时便得到统一个页面临应多个URL,这也是当今网站程序设计中常见的蜘蛛陷阱之一。如斯设置,只能造成搜索引擎蜘蛛无法正常访问网站。但是有的站点将首页直接设置成一个全屏flash,这种做法用户可以看懂,但是搜索引擎是无法读取flash里面的文字信息和链接的内容,这就是我们常说的蜘蛛陷阱。
我们所说的动态网址指的是由数据库驱动,网站内容实时天生并且带有问号、等号和传参参数的网址。
跟着互联网的发展,人们对SEO的重要性逐渐加深,即使是网站首页的轮播图已经很少有站长使用flash了,一般会使用js文件替代flash。