其实这次事故是因为自己的粗心大意而导致的,结果是包含 Google、Bing、Yahoo 在内的各大搜索引擎把网站的所有收录全部清空,得到的教训是,在使用某些关键参数是一定要搞明白了再用!

我的 B 网站一直以来在 Google 的收录情况都很好,每次发布完原创文章 Google 很快就会收录。忘了是多久之前,曾偶然用 Google 搜索了一下前不久发布的文章标题,竟然发现抄袭该文章的网站排名在首位,当时有些纳闷,却也没有深究,也正是对问题的不敏感,导致严重的问题拖延了两个月之久!

前天(24 日)下午在进行新项目的间隙,偶然在 Google 上用搜索指令 site 了一下 B 站,结果惊出我一身冷汗!只剩下两个结果!我简直不敢相信自己的眼睛,但是我比较肯定这又是我的误操作导致的。

我确定 B 网站的内容不存在被 K 的风险,所以也确信这不可能是 Google 的惩罚。打开 Google 的网站管理工具,也印证了我的想法,一切指标都是正常的,唯独“索引状态”的曲线十分诡异:

索引状态

从统计曲线可以看出,自 B 站更换新域名的日期 2017-07-02 开始索引,直到 2017-08-27 到达最高点 1388 条,然后 2017-09-02 突然滑落到 723 条,直到最近 2017-10-22 的 158 条。从 8 月 27 日到 9 月 2 日这一段时间到底发生了什么导致了这种断崖式的索引缩减?首先我想到的是,前不久给网站的下载页面添加了一个如下所示的 meta 标签,用来禁止搜索引擎索引和收录。

<meta name="robots" content="noindex,nofollow" />

赶紧审核了一遍下载页面的代码,发现在下载页面中,标示页面唯一性的 canonical 标签指向的是文章页面,而不是当前这个下载页面地址,难道是因为这个原因导致网站所有页面都被搜索引擎剔除的?

<meta name="robots" content="noindex,nofollow" />
<link rel="canonical" href="https://samplesite.com/post/samplepost.html" />

想到这里,赶紧把 canonical 的链接改正过来,然后再把 robots 这个 meta 标签删除掉。

但是原因真的出在这里吗?心里怎么也不踏实,因为如果是因为 meta 标签中 noindex 和 nofollow 的效果,那也只应该影响文章页面才对,不至于让搜索引擎把首页和页面也都给剔除掉吧,毕竟这些页面是没有添加这个 meta 标签的。然后想到应该查一下 git 的 commit 记录,看看修改 meta 标签是否在 8 月 27 日到 9 月 2 这段时间。查询的结果出任意料,meta 标签修改的时间是 9 月 13 日,距离收录的断崖式缩减已经有一段时间了。所以可以肯定,导致搜索引擎收录清空的原因和添加这个 meta 标签无关。

接着继续审查 8 月 27 日到 9 月 2 这段时间 git 的 commit 记录,却也没有在网站源代码中发现能够影响搜索引擎行为的相关代码。到底问题出现在什么地方呢?正在疑惑中,随手在 Google 网站管理员工具中,用抓取工具随机抓取了一个页面,在 HTTP 响应的首部字段发现了端倪:

HTTP响应

这里面的 X-Robots-Tag: none 是个什么鬼?虽然不知道这个响应头部是什么意思,但通过 Robots 这个关键词能够猜测到是和搜索引擎蜘蛛有关的,于是搜了一下,终于真相大白!

这个页面首部中名为 X-Robots-Tag 的 HTTP 头指令正是控制搜索引擎如何抓取和索引的,如果设置为 none 就等同于为页面同时应用 noindex 和 nofollow,也就是说这两个月来网站的每一个页面都被加上了 noindex 和 nofollow,难怪所有 Google、Bing、Yahoo 这种遵守规则的搜索引擎都把我的 B 站收录给清空了,而 Baidu、Sogou、360 之流都表现正常,到此真不知道是该笑还是该哭。

出现 X-Robots-Tag 指令的原因正是因为 8 月 24 日更改了 Nginx 的配置文件,因为懒省事儿,就直接从 owncloud 的示例配置文件中拷贝过来一块首部,而这个首部里面就含有 add_header X-Robots-Tag none; 这个指令,而且当时这一块配置还同时应用到了其它两个小站上了,怪不得三个站点在 Google 上都没有收录。更让人无比郁闷的事,居然接近两个月才费劲巴拉的找出原因!

add_header Strict-Transport-Security "max-age=15768000; preload";
add_header X-Content-Type-Options nosniff;
add_header X-Frame-Options "SAMEORIGIN";
add_header X-XSS-Protection "1; mode=block";
#add_header X-Robots-Tag none; #导致搜索引擎忽略所有网页!!!!
add_header X-Download-Options noopen;
add_header X-Permitted-Cross-Domain-Policies none;

因为这一重大失误,两个月前开始的网站流量下降、Adsense 广告单价降低、客户转化率降低都有了合理的解释。这太让人羞耻了。应该由此吸取教训,在做任何较大改动,或者对改动结果不怎么确定的时候,都要做记录,并且在短期内定期观察,以免造成长时间的损失。另外就是在使用任何代码的时候都要逐条分析其真正含义,确认之后再选用。问题已解决,接下来等待 Google 等搜索引擎恢复收录吧。

-————

参考资料