Siuth

Siuth

首页
留言
登录 →
Siuth

Siuth

首页 留言
登录
  1. 首页
  2. 网络知识
  3. 屏蔽SemrushBot等国外垃圾营销蜘蛛

屏蔽SemrushBot等国外垃圾营销蜘蛛

0
  • 网络知识
  • 发布于 2024-11-30
  • 152 次阅读
Administrator
Administrator

知更鸟主题的作者做了一个搜索记录功能,用于搜集用户的喜好,结果作者发现经常有莫名其妙的搜索记录,每天大概有1000多次的搜索量,WordPress自带的搜索非常耗资源,打开网站日志发现,发现很来自国外的垃圾营销蜘蛛SemrushBot的搜索,在宝塔防火墙中屏蔽IP也无效,网上找了一下,现成的代码:

#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;}

以宝塔为例,将上代码加到站点配置文件,最后一个”}“前面,当这些垃圾蜘蛛访问网站,只能得到444 没有任何数据。

再加个当链接中包含/search/重定向到其它页面。

代码添加到主题函数模板中:

// 当URL包含 /search/重定向
add_action('template_redirect', 'custom_search_redirect');
function custom_search_redirect() {
  // 获取当前请求的URL
  $request_url = $_SERVER['REQUEST_URI'];    
  // 检查当前URL是否包含 /search/
  if (strpos($request_url, '/search/') !== false) {
    // 如果是,则进行重定向到其他页面
    wp_redirect('https://www.baidu.com/');
    //wp_redirect(home_url('/new-page/'), 301);
    exit();
  }
}

作者说观察一段再说吧,估计还是不能完全拦截。

相关文章
CloudFlare 非标准端口转发映射

CloudFlare 非标准端口转发映射 2025-03-08 01:09

简单介绍 Cloudflare除了支持80/443端口外,还支持一些其他的端口转发HTTP/HTTPS的流量。 不过需要注意的是,需要开启CDN小黄云才能使用,如果您仅仅用于DNS,那么你的访问都是直接访问源站的。 映射转发方式 默认情况下Cloudflare的映射为全端口映射,即如果你源站使用的是

CloudFlare 电子邮箱路由实现无限别名邮箱

CloudFlare 电子邮箱路由实现无限别名邮箱 2025-03-08 01:05

注!原文出自宝塔迷,本文仅自己保存一遍方便自己查看 简单介绍 我们常说CDN是隐藏源站的,而CloudFlare 电子邮箱路由可以理解为隐藏真实邮箱的。 目前CloudFlare 电子邮箱路由系统提供了接受邮件并且转发到指定邮箱的功能。 但发信还需要使用例如workers等其他的方法实现,不过也可以

卸载腾讯云轻量机型内置的监控程序

卸载腾讯云轻量机型内置的监控程序 2025-03-08 01:09

简单介绍 腾讯云在服务器内置了多套安全监控程序,如果您不需要可以卸载掉。 卸载云服务器监控组件 /usr/local/qcloud/stargate/admin/uninstall.sh /usr/local/qcloud/monitor/barad/admin/uninstall.sh

CloudFlare Pages 实现自选优选ip

CloudFlare Pages 实现自选优选ip 2025-03-08 01:03

注!原文出自宝塔迷,本文仅自己保存一遍方便自己查看简单介绍 原以为pages跟workers是一样的

CloudFlare Workers 实现自选优选ip

CloudFlare Workers 实现自选优选ip 2025-03-08 00:58

注!原文出自宝塔迷,本文仅自己保存一遍方便自己查看 简单介绍 CloudFlare Workers优选还是挺简单的,NS接入的也可以实现优选倒是我没想到。 准备工作 前言:为避免篇幅过长,本文只介绍Workers优选相关的,准备工作可能需要您查询其他文章。

Cloudflare使用api更换证书颁发机构

Cloudflare使用api更换证书颁发机构 2025-03-08 00:56

注!原文出自宝塔迷,本文仅自己保存一遍方便自己查看 简单介绍 由于发现联通会阻断GTS证书之后,为了解决阻断问题,查看Cloudflare API文档寻找,更换证书颁发机构的方法。但很可惜,只有通用证书可以更换,SAAS主机名的证书,API返回提示要Enterprise套餐才有权限更换。考虑有NS接

目录
当前文章没有目录
晋ICP备2023001617号-1