搜索引擎蜘蛛_Tag标签_程序员俱乐部

搜索引擎拥有庞大的数据库，每天接受数亿计的网络信息，它的工作量之大可谓叹为观止。而抓取信息这个工作就是由搜索引擎蜘蛛(spider)来完成的，话说有这么一只蜘蛛正讲述着它那惊现的一天经历......我是编号076889321号蜘蛛程序，我的任务是搜集所有有关美容护肤的信息。首先我要去我的老客户XX网站蹲守，这个时间无聊的狠，所以有时候受不了诱惑，就会顺着最喜欢的香味找更好的客户去了。因为我想要更丰盛的款待，而且我的兄弟姐们也多，少我一个也没什么。另外，自夸一下，咱的鼻子可是很机灵的，什么酸的... 查看全文

网站的排名、收录都要经常关注搜索引擎，大家经常会谈到蜘蛛抓取，那么怎么确定蜘蛛有没有来过你的网站呢?通常网站的日志会告诉我们这些信息，这里以王大君网络营销博客为例。笔者使用的是虚拟空间，在笔者网站根目录下的log文件夹里面有一些ex日期.log文本文件。在这里王大君提醒大家，如果在你的log文件夹里没有文件，可能需要你到虚拟空间后台先下载日志文件到FTP空间，也就是下载到你的网站根目录的log文件夹时里。我们选择ex101116.log下载到本地... 查看全文