通过判断IP和hostname主机名,双重验证访客是否为蜘蛛(爬虫)

自用站群核心代码之一:IP库+hostname双重验证找出蜘蛛IP代码说明:此代码主要是针对三家占有率比较高的国内搜索引擎:百度、搜狗、360。其中百度的hostname完全适用,因为hostname比较统一,仅baidu.com和baidu.jp结尾。其中搜狗的hostname完全适用,因为hostname只有一种,仅sogou.com结尾。其中360的hostname不固定无规律,所以只可以使用搜集的IP库判断了,是否收集齐全至关重要,360放弃也罢(不放弃就等我最新版的代码)。为什么要知道蜘蛛的准确IP?主要为了放广告,包括直接跳转和头部框架展示都需要,至于如何放?可翻阅本站相关文章,有相应代码推荐,可做参考。其次可减轻负载,判断并确定为蜘蛛IP后,直接去落地页,不用执行其它代码减轻服务器负担, 假如你有大量访客的情况。缺点就不说了,除非你有更好的方法与见解,欢迎留言分享!


本文出自快速备案,转载时请注明出处及相应链接。

本文永久链接: https://www.xiaosb.com/beian/53371/