今天突然发现在 百度上 site:iamlintao.com 的记过是2011-12-22的快照（虽然只有一个结果），比昨天的快照，2012-1-3，又退回去了，最近并没有做过SEO的改动，服务器也比较正常，不确定什么原因回退了。
百度蜘蛛对于不同网站的抓取是不一样的：
受百度...
5843℃
什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个...
6030℃