一般来说,用做站群的服务器都是在国外,美国居多。国外的服务器距离远所以速度基本在200+ms左右,如果访问量大或者蜘蛛抓取次数过多,服务器的压力还是很大的。所以,今天给大家明示一个小方法,至于用不用还得看你们自己了。PHP代码判断是否为蜘蛛:上图里的蜘蛛数组可以根据自己需求进行删改、补充。这段代码仅仅是通过UserAgent进行判断的,所以是比较初级的方式方法,对于蜘蛛的判断还是可用性很高,毕竟蜘蛛都是有身份、讲体面的,应该不屑玩无间道那些手段吧。。。使用方法:上图代码,完全就是一个自定义函数,入门的小白基本应该会使用,函数直接拿过来用即可。这次分享的是我曾经最开始使用的判断UA的方式方法,对我成长帮助很大,所以推荐给你们,希望它能带给你们好运。<?php
function is_crawler() {
$userAgent = strtolower($_SERVER[‘HTTP_USER_AGENT’]);
$spiders = array(
‘Googlebot’, // Google 爬虫
‘Baiduspider’, // 百度爬虫
‘Yahoo! Slurp’, // 雅虎爬虫
‘YodaoBot’, // 有道爬虫
‘msnbot’, // Bing爬虫
‘Sogou’, // 搜狗爬虫
‘Gigabot’, // Gigabot搜索引擎爬虫
‘360Spider’, //360搜索引擎爬虫
// 更多爬虫关键字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
?><?php
if(is_crawler()) {
// 向搜索引擎显示的内容
} else {
// 向自然访客显示的内容
}
?>