这几介绍几个curl命令的常用功能
可以看作命令行浏览器
1、开启gzip请求
curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte
2、监控网页的响应时间
c...
6340℃
今天突然发现在 百度上 site:iamlintao.com 的记过是2011-12-22的快照（虽然只有一个结果），比昨天的快照，2012-1-3，又退回去了，最近并没有做过SEO的改动，服务器也比较正常，不确定什么原因回退了。
百度蜘蛛对于不同网站的抓取是不一样的：
受百度...
5747℃
PHP写的判定是否为“蜘蛛”（爬虫）数据的函数：
方法一：
function isCrawler() {
if(ini_get('browscap')) {
$browser= get_browser(NULL, true);
if...
8367℃