📜  如何使用PHP检测搜索引擎机器人?

📅  最后修改于: 2022-05-13 01:54:11.570000             🧑  作者: Mango

如何使用PHP检测搜索引擎机器人?

搜索引擎机器人(有时称为蜘蛛或爬虫)是抓取网页的计算机程序(机器人)。换句话说,他们访问网页,找到指向更多页面的链接,然后访问它们。他们通常会映射他们发现稍后用于搜索目的(索引)的内容。他们还帮助开发人员诊断他们网站的问题。
众所周知,JavaScript 在网络上的不断增长的使用对用户来说肯定是有益的,但渲染 JS 对搜索引擎来说是一个挑战。如果您的网站没有被机器人正确处理,或者您的内容经常更改,您应该动态呈现您的页面,并将呈现的 HTML 提供给爬虫而不是 JavaScript 代码。因此,为了做到这一点,您必须知道请求是由真实用户发出的,还是由爬虫(搜索引擎机器人)发出的。
PHP没有任何内置函数来检测搜索引擎机器人。但是,以下函数可用于此目的。

例子:


输出:

1

此函数将PHP用户代理与来自搜索引擎的常见蜘蛛列表、180 多个机器人、蜘蛛和爬虫进行比较。

当输入“Googlebot”时,该函数返回 true(1),因为提供的输入是搜索引擎机器人的名称。