站长吐槽:头条搜索爬虫暴力抓取网站内容

最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务,派出了爬虫四处暴力抓取网站内容,部分配置较低的网站已经直接瘫痪,给一些中小网站主们造成了很大的损失和困扰,严重影响了网站正常的用户访问。

这些站长表示,今年7月份,他突然发现公司的网站经常性打不开,网页加载的极其缓慢,有时候甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次,高则上千万次,导致服务器带宽负载飙升至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地址查询,证实,该爬虫就是字节跳动的搜索爬虫。并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做搜索之后,其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音,遭受字节跳动的搜索爬虫暴力抓取的不是个例,很多小网站他们也没放过。有小网站主抱怨表示:字节跳动的爬虫“一上午对网站发出46万次请求”,网站都瘫痪了,百度也没有这么折腾的!

最后,该站长表示,像我们这样做SEO的人来说,主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置,“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非常欢迎的,但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了,不仅没给网站带来流量,还影响了正常的用户访问,这就很不“实在”了。

但是对此,字节跳动的回应则是,“网络报道不实,目前头条搜索设有反馈机制,网站因为爬虫受到影响,可以直接通过邮件反馈处理。”明显是不准备正面回应的。

所以通过头条搜索爬虫暴力抓取网站内容来看,个人觉得,字节跳动入局全网搜索搅动搜素市场是好事,但是为了快速崛起让自己家爬虫四处暴力抓取,就很不应该了,大网站服务器配置高,技术人员多还好,很多小网站根本就顶不住字节跳动的搜索爬虫这么折腾。

搜索引擎的索引数据本身就是靠点滴积累起来的,百度、搜狗、360经历了那么多年的发展积累才走到今天,头条搜索想要短时间疯狂爬取内容,“一口吃个胖子”,只会让站长们远离!

        

版权声明:本文内容来源于互联网和用户投稿,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 taijiseo@qq.com 举报,一经查实,本站将立刻删除。

   

给TA买糖
共{{data.count}}人
人已赞赏
实战推广

分类信息网站如何增加搜索引收录

2020-2-27 10:17:57

实战推广

为什么网站百度收录的这么慢?

2020-2-27 10:31:26

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索