爬虫工程师的社会现状

现在网上你只要搜索教程就是韦世东;k哥爬虫教你爬虫方面的逆向知识;然后看着这些逆向js百例;搞得我很尴尬我做了这么多年的爬虫工程师;现在算什么;这些逆向的东西我并没有很深层次的了解;但是工作的内容也依旧解决了;并没有到爬虫工程师非要会那么多逆向才能算的上是合格的爬虫工程师;然而现在的社会被这些吃逆向知识分享流量和钱的知识博主这样一番操作;已经变成了貌似你不会这些炫技的js逆向;安卓逆向;你讲不清你就不是一个有水平的爬虫工程师;它是逼着你必须会这些逆向;这些高级的逆向是爬虫工程师的门槛;会了才代表水平厉害;才能拿更高的工资.

好尴尬然而现状是很多爬虫工程师的工作应该根本涉及不了那么多逆向的内容;有些人的工作甚至就是维护维护过去的项目一些小的网站;或者爬取的也是一些垂直渠道的网站;总归并不会工作中涉及到的都是为了反爬而反爬的大型网站的项目.

即使会涉及一些有人气的大型网站;也并不会需要用到那么多的逆向知识;爬虫工程师职业方向早已被这些人给定死了;就是爬虫工程师就应该最后磨练到后面水平是逆向工程师这才是高级的爬虫工程师;否则永远都只能是初级的工程师.永远只能拿不高的工资.然后就变成了你面试的时候面你的爬虫总监一定会问你你对逆向了解么;然后什么验证码是怎么解决之类;是否使用的逆向方式解决;你对字体加密;你对websocket加密了解么等等之类;这就变成了你如果要面试;先恶补js逆向知识吧;如果你不了解这些知识;基本上你就算得到了面试机会;也会因为面试的水平很差而不通过.然而实际上你真正工作的时候有多少是需要用到逆向的;大部分的爬虫工程师不都是再维护那些公司的项目;然后做那些实习时候就在做的爬网站的事情么;

但是还是想说爬虫工程师有别于逆向工程师;最关键的地方就是爬虫工程师因为对逆向了解甚少;不够深入;更多时候的工作就是爬取网站;而非逆向工程师这样一个逆向网站可能逆向1个月时间;然后再把逆向的成果放在网上;美其名曰很简单;稍微看看就能破解然后出成教程;反正好事都给逆向工程师占了;

爬虫工程师爬取那么多网站;维护解析分析日复一日的做这些杂活到头来不如逆向的一根毛;这就是现状;你维护那么多网站;写那么多网站爬虫;然后数据出异常以后还要快速找到异常;然后很多网站也是加密的也涉及到逆向方面的知识;你最后也解决了;但是却不了解原理;没有办法像这些教程这样写的那么详细;你面试的时候人家根本不care你工作中的很多繁杂的繁琐的问题是如何解决的;人家只care问你逆向的内容;但是现在的爬虫工程师就是讲不清;一问三不知;你可以解决逆向的问题;但是就是不了解逆向.这就是很多爬虫工程师的现状.

而且现状最关键的是很多需要逆向的爬虫网站;如果你发现是有加密的;第一步条件反射就是去github上找可用的代码;就现在互联网发达的社会;一般大点的网站一旦加密更新过一段时间有人把破解好的更新出来;很多时候你根本不需要走逆向这一步;直接拿别人可用的代码就已经完成了逆向的事情;再其次如果github上找不到怎么办;还能做的也不是去逆向;而是扫描域名;看这个网站有多少子域名;然后一个个试错下来;总能给你找到需要爬取的站点的以其他端或者域名呈现的内容;这时候如果还是需要逆向怎么办;又是回到github上去找;总不会频繁到每个应用端或者域名的内容都加密;所以基本到这一步已经解决了逆向问题.

再其次如果还失败怎么办;你还可以查看robots协议;很多网站是允许抓取的甚至很多需要逆向的大公司网站;只需要修改请求头部分就能够轻松绕过各种反爬限制;就这到这里基本已经很难再去逆向了;再者如果还失败你还能够分析到底加密了哪些参数;很多网站你看着它加密参数很多;但是你可以去删的;你可以分析到底到最后哪几个参数才是需要解密的;甚至有些时候就是那些需要验证的参数你删掉反而就不验证;不删反而需要验证;并且这些加密的参数可能也就是看着唬人;实际上后台可能不会验证的非常严格;可能只要符合这个长度或者有这个参数名就可以验证通过;也就是说当我走到这一步时如果还失败;那基本才需要开始尝试用逆向的方式解决;然而当走到这一步时;基本上所谓的什么验证码;所谓的反爬;基本能绕过的我都绕过了;真正需要逆向对于爬虫工程师的工作而言真的不多.

然后等真的到这一步了;可能逆向就变得非常容易了;你已经找到了这个网站最容易最没有反爬;逆向最少的接口方式等;这个时候稍微用点逆向知识基本也就解决问题了。在者如果还是失败你还能用自动化浏览器是吧;你不需要通过自动化浏览器爬取数据;那将是几何难度;但是你用自动化浏览器生成逆向需要的东西;然后存储再redis中;供你的爬虫使用;就这基本上又能解决大部分非要人为去硬读混淆代码以后硬再还原成python代码或者找到js加密接口的逆向问题;

这就是尴尬的现状;真的用到逆向的情况再真实工作中真的不多;而且逆向也是集中再一个赛道里面比如有些工作专门做新闻舆情;那么就是专门抓取新闻网站;有些时海运公司;专门抓取海运网站;有些时游戏公司;专门抓取和游戏有关的平台;

反正再工作中逆向绝对不是限制爬虫工程师的问题;他总能用千奇百怪的其他技巧或者方式绕过或者解决逆向;而且并不是是个网站就一定有反爬;反爬的网站就是到了今天依旧并没有那么多;爬虫工程师的工作也不会涉及到非常多的真正需要逆向的网站;爬虫工程师的工作主要是解决反爬而非逆向.

但是现在很明显现状就是些逆向知识博主的出现已经硬把逆向工程师和爬虫工程师混为一谈了;本来这两者是两个赛道;但是现状就变成你爬虫工程师必须会这些逆向的知识才是一个好的爬虫工程师;

那么我一个爬虫工程师和你一个逆向工程师的工作内容相比呢;你逆向工程师的工作就是逆向安卓端;逆向网站;过验证码就是你逆向工程师的工作;然后你现在把你工作的内容学到的东西全部都放在网站上作为教程;然后你又重新定义了爬虫工程师;变成爬虫工程师必须会这些知识才是高级的爬虫工程师;也就是说如果没有这些逆向知识分享博主的存在;爬虫工程师和逆向工程师永远是两个赛道;爬虫工程师依旧是做着爬虫的工作;逆向这些都是技巧都是工具;而不是为了了解而了解;为了面试而硬学;

就像字体加密一样;现在几年过去了还有哪些网站是字体加密的;反正我这么多年也没有再碰到需要字体加密的网站;那些过去为了字体加密而无法解决的爬虫工程师;你们再学习那些css知识那些字体库原理的时候;现在回过来看是否是毫无意义的;如果现在面试的时候再说自己能破解字体加密;真的是非常可笑的一件事情;

就像小红书的x-s参数一样;我看到很多逆向工程师写的都是什么加密是在一个jsvmp里面实现的;反正我也不懂;我越看这些逆向工程师写的x-s的教程我越陷入迷糊;通篇都是一堆调试的图;让我以为x-s的生成非常复杂;我实在是看不下去了;因为我知道以我爬虫工程师的能力;我要复现也蛮痛苦的;他们逆向工程师反正为了有别于用自动化浏览器是很low的行为;就是要高大上就是要直接用逆向的方式给解出来;你们可能为了啃出这个x-s的生成逻辑看混淆的代码然后一步步调试;花了不少时间;然而我也就花了几小时;用自动化浏览器可以生成的东西你为何你一定要用复杂的方式呢;

反正我定义的好的有水平的爬虫工程师是你不用逆向的方式解决问题;你能够把原来需要用逆向花一个月才能解决的问题;通过爬虫工程师的方式化简问题才是好的爬虫工程师;爬虫工程师应该是解决反爬问题而非逆向问题;然后真正需要逆向的爬虫工程师无法搞定的东西让逆向工程师去解决这应该才是好的合作方式;但是现在现状早已变了;他要求的好的高级的爬虫工程师就是要抢逆向工程师饭碗;你要掌握逆向工程师的知识才能拿到更高的工资;然而还是那句话工作中真的用不了多少逆向的知识;真需要逆向的知识应该交给专业的人;而不是爬虫工程师又要掌握逆向知识又要掌握爬虫知识又要掌握反爬知识又要掌握测试知识又要掌握维护知识。

我相信每个爬虫工程师都有一个理想就是爬虫架构;但是目前这个职业现状的限制必然导致一个公司只有一个架构;也就是要给爬虫leader其他的都是爬网站的工具人;然后这个社会上无论是架构还是专门从事逆向的都能找到好工作;只有边缘的就是介于架构和逆向之间的爬虫工程师;那些乐此不疲去每家公司的唯一工作就是爬各种网站的爬虫工程师;应该只能叫做初级爬虫工程师;

这些爬虫工程师是可悲的;你如果换行那么就要重新接触另外一个公司的系统架构;然后你又做着实习生也能做的初级的活就是爬网站;然后就是偶尔你的leader会让你写写脚本;这些可能是生成cookies的脚本;可能是监控爬虫的脚本;可能是可视化爬虫的代码等等;然后人生的职业发展就限制再了做实习也能做的事情上面;以及解决问题上.然后爬虫出问题了你维护;数据质量有问题;数据量有问题;这些都需要你维护和解决;你还要花大量时间测试是否有反爬;是否有瓶颈;然后爬虫的数据是否有问题;你还有对一个个字段;反正你的人生时间大部分都是再这个上面;然后偶尔有些网站还比较复杂;比如让你抓取抖音或者快手的数据;反正别人产品经理就是一拍脑袋的事情;无论多难多简单你爬虫工程师都得去解决;然后你就各种找代码各种看教程然后现学现卖;而大多数的爬虫工程师永远都只能只此一步了.

但是我想告诉爬虫工程师的是无论如何如果你到了30岁的年龄;还是困在了这种解析解析网站;然后写写网站代码的很low的事情上;无论你作为爬虫工程师是否当中有解决过比如抖音这种逆向网站;无论你爬的网站是否也是有逆向的成分在;你也花了很多时间解决;甚至你每次都很认真的做解析网站维护网站的事情;到年龄了你还有这个精力再像以前那么认真么;

大部分爬虫工程师做的事情其实就是测试和维护;这是需要认真的态度的;无论你之前有多认真;哪怕你一次不认真;你就像牛马一样没有什么可以利用的地方;就会被慢慢踢出去的;无论你是否也解决过很高级的逆向的网站;只要你还是身处再这个档次;那么你的工作就会有轮回你又会回到让你爬各种低级的网站;做实习生的事情;然后测试ip的可用;让你注册各种账号;让你找买账号的网站;你继续循环着测试和维护的工作.

30岁的年龄如果你还做这些事情;你不觉得是可悲的么;最关键的就是你还不能拒绝;因为上面有你的爬虫leader;他用来分配一切工作;他让你做什么你就得做什么;然后你的技术肯定不如他;他也对你看不起;把你当工具人看待;你的工作轻松与否其实就是他一句话的事情。他可以为难你让你很难受;也可以让你很容易;但归根结底我们做爬虫的;最后肯定不会再一家公司一直做这种类似实习的事情;然后看着别人工资很高;你的工资常年不动;你想跳槽;那么乘早跳;要记住爬虫工程师对于那些leader级别的早已经被自己的工作给套死了;

他们掌握的那套服务部署系统架构爬虫维护的知识都是这个公司才用的到;他们但凡跳槽到其他的地方如果不能做leader级别就是和你我一样继续做实习的很low的工作;但是能做到爬虫leader级别的都是对项目经验非常了解的;对这个项目当作产品去维护和开发的;你所有的工作都是他们分配的;他们是最了解这个项目的人;他们早就对这套项目的技术栈是烂熟于心的;这个项目任何问题花了几年时间早已经解决完善了;如果你让他们跳槽;就意味着一切的努力其实是付之东流的;因为每个公司的爬虫架构都是不一样的;

所以这些爬虫leader一般不会跳槽;跳槽以后如果继续做爬虫leader然后使用的是完全不一样的一套爬虫系统的话其实又回到了他过去从普通爬虫工程师晋升到爬虫leader的过程;而且一个公司只有一个爬虫leader;那么要么做很low的工作;要么就是去重新花时间了解别人的项目架构;对于爬虫leader而言;大多数人都只能被套死再自己的公司里面;然后温水煮青蛙一样就这样一直混日子.而一般的初级的爬虫工程师去了其他的公司;也只是另外一种新的循环;继续熟悉爬虫项目;然后写新的爬虫;维护爬虫;解决反爬虫;了解另外一个公司的项目架构部署服务;而你之前写的很多爬虫网站;换了一家以后因为做的业务不同;导致你之前所有写的爬虫变得毫无意义.

那么我们无论是爬虫leader还是普普通通的大多数爬虫工程师只能从上家公司拿到手的就是工资;除此之外一切都相当于从零起步.你作为爬虫这个行业如果你是初级工程师;初级工程师的定义其实就是爬虫架构和逆向工程师之中的;这些都可以被定义为初级工程师;无论你的技术有多炫;无论你解决过什么复杂的逆向问题;本质上你还是初级工程师;你还是再做很多实习生也能完成的事情;你一定会最后回到每天解析那些html的无聊工作中;你告诉我这个有什么意义;毫无意义;

所以我想说这些初级爬虫工程师的工作毫无意义;唯一有意义的就是工资;工资多少才是意义;如果工资低你应该去更好的公司做初级爬虫工程师;而对于那些爬虫leader而言;心累是必然的;就是那么多爬虫再服务上跑以后一但数据有问题;产品经理;大数据经理第一个找的就是你;所以很多数据异常问题你不会重新分佩;而是你自行解决;所以到头来你还是得维护一堆解析html的工作;然后去测试去找到异常;这个有意义么;也没有意义;最好的关键还得是找到更好的工作有更高的工资才是意义.

所以从这个层面上来说逆向工程师是最好的;普通的介于初级爬虫工程师水平的;千万不要把时间放在你要做爬虫leader上;因为这意味着你需要会爬虫服务的部署;爬虫数据可视化;日志可视化;爬虫集群维护;爬虫集群监控;日志监控;ip池维护;服务器维护;数据质量监控;数据量监控;数据延迟监控;爬虫异常监控;账号池监控;cookies池监控;数据库维护;内存监控;架构优化等等事情;

爬虫leader要掌握的东西太杂太全太多了;而且出了这个公司你换了一家公司;可以说所有的一切都是推倒重来.你作为初级的爬虫工程师可以说了解这些实现的策略你就足够能够找到一份爬虫工作了;但是实现是毫无意义的;你看当今那些股票分析师说的话;说的内容和实际股票结果是完全不一样的;实操的结果不一定有韭菜赚的多;但是奈何理论丰富;爬虫面试也是如此;理论丰富懂这些策略就可以了;但不要往爬虫leader上发展;这注定是非常体验感差的工作;然后你的面试中要侧重的就是逆向经验;因为面试你的必定是爬虫leader;相反爬虫leader一定是逆向经验并不丰富的;因为日新月异的逆向技术发展;这些leader根本学不完;也早就已经以架构头筹大局为主;

爬虫当中的逆向是细节问题;并不是leader需要考虑的;所以你跟leader讲这些的时候;他估计是听不太懂的;或者了解是不足的;那么你再逆向上的加分就是没有任何问题的;然后也不会手搓给你一个项目让你逆向;所以关键还是要多准备逆向的面试知识;大部分的爬虫工程师我这里定义为初级爬虫工程师;你们30岁以后真的要继续做这些解析html这种毫无意义的工作么;你的孩子问起你的工作;你一个30岁的成年人就做实习生都能做的事情;不觉得可耻么;相当于你始终是再读1年级再也没有任何的长进了;我这样说以后你应该明白普通的初级爬虫工程师你的职业发展到底应该怎么走了;为了钱面试去更好的公司而不是学技术解决问题是你的发展方向;把面试的理论知识给发挥到炉火纯青的地步;掌握逆向的知识;你可以摆脱学历的困扰;

而爬虫工程师你没有学历;你不是货真价实的本科学历你就没有什么好的面试机会;但是逆向不一样;爬虫架构的策略都是固定死的;就是这些东西;知道了就知道了;你就永远可以用在面试经验上再加上deepseeek更可以把理论的面试知识包装的更好;但是你如果要去实现的话;那么爬虫架构上有各种问题是需要解决的;这家公司的你掌握了;下一家用的技术栈都是不一样的;等下一家掌握了;再下一家又是不一样的;你就不停的学习吧.

所以最好的折中的就是爬虫工程师你要么就往逆向方向发展;要么就多掌握逆向经验;逆向经验是你面试加分和最终得到工作的敲门砖;而所谓的其他爬虫工程师的策略;你要掌握的是面试时候的理论知识即可.到最后你年龄大了;最好的结果是走逆向工程师这条路;这条路对学历要求不高;大家都卷死再了爬虫初级和爬虫架构上乐此不疲;

而逆向工程师这条路对于很多爬虫leader和爬虫初级工程师而言都是门槛极高的;大多数人根本进不了这个圈子;你可以逆向经验去不断跳槽最后找到工资更高的工作去做爬虫初级工程师;或者最后成为逆向工程师都是非常好的职业路径.因为最关键的就是一旦你掌握了逆向知识;一个需要逆向的网站leader是可以有1个月时间给你容错让你解决的;最后你解决不了还不会怪责你;那说明太难了;这时候你可以用各种逆向上的专业知识去忽悠;从而让自己混1个月;毕竟逆向工程师真的很容易;相对于爬虫工程师和爬虫leader而言;唯一的工作就是解决逆向.而且最关键的就是工资高;作为一个逆向工程师不会redis不要紧;但是如果一个爬虫工程师不会redis那么是可耻的;更可以说爬虫工程师你不了解mongodb;sqlite;mysql;kafka;redis;rabbitmq;docker;election;linux这些技术是可耻的;但是你逆向工程师不会这些东西;毫无关系;所以你会发现这个逆向工程师学的东西其实真的并不多;领导分配任务的时候也只有逆向给他做;其他写脚本的杂活是不会分配的;因为逆向工程师他也不会;而30岁的爬虫初级工程师;你依旧会被分配到注册小红书账号;买小红书手机号;这种实习生从事的毫无意义的杂活.

所以很多爬虫工程师去一家公司就是学习一家公司的技术栈;之后再去一家;上一家忘掉;乐此不疲;学的东西还是千奇百怪.我相信每个初级爬虫工程师你真的什么技术栈都了解了;了解了使用过几十种技术栈;你甚至会了解其中的原理;但是最后都会忘光的;一个行业不断再学习新的知识;这对于从业人员并不友好;其实逆向工程师也不友好;比如直播出现了;就需要抓取抖音直播的弹幕;Websocket这个地方做的加密;就需要逆向;就需要了解websocket这种是如何建立连接;也得了解原理才能逆向;然后java的;汇编的;js的知识是日新月异;然后安全防控的加密算法实际都是竞赛题;或者是别人本科生研究生研究安全方面的人写的论文实现的最新的算法;所以逆向这一块别人换一个算法;做逆向的人就得和高校那帮最聪明的人斗智慧其实是很痛苦的;而且是一个要不断更新知识的地方;

1年前的抖音加密算法可能也就过时了;所以其实很可悲爬虫这个行业就是要不断学习新的东西;就是再不断学习新的东西上折腾;那我希望你们是为工资而学习;学习到的知识;再某个公司掌握的技能不需要再一家公司太久的;你需要的是找到更好的公司;用你学到的东西再面试上体现出来;如果你的面试上体现不出你学习到的你受到的苦;那么毫无意义.

然后无论如何爬虫工作;我想告诉大家的是;爬虫是跳板是折中的方案;是你的过渡期;而不是一辈子的结果;某些爬虫工程师貌似一个月没有什么活;就偶尔维护维护;你的工作有逆向工程师工资高么;这样只需要维护维护的工作;一个月也没什么活的工作;你工资多少.你爬虫工程师要找的应该是既容易又钱多的工作.非逆向工程师的工作莫属了.也只有这一行才越老越吃香.

就像地铁里检查行李的工作人员一样;这个工作可以做一辈子么;也许他做着这个工作只是作为一个跳板;然后在家里考研考公或者再谋划机会然后等待有更好的机会跳出来;而不是永远就从事这份工作拿着几千元混吃等死;爬虫也是如此;很多初级爬虫工程师的工作其实是没有什么活的;一个月甚至几个月都没有什么活;就是维护下项目;偶尔网站接口出问题然后重新维护一下;偶尔有新的爬虫活去爬新的项目;

剩余的时间你千万不要浪费再无关紧要的事情上面;不要去看稀奇古怪的网站上面;你的更多时间请交给学习;你的目标是进入大厂;进入大厂以后大厂普通的工程师工资可能就是爬虫工程师的天花板工资甚至是逆向工程师中高级水平;这才是关键.你如果没有学历就好好搞学历;这一行即使是爬虫工程师这种不看待学历的;好的公司依旧要学历;这和能力无关;因为面试的简历能进入leader那一关的时候;就很多都被hr给过滤掉了;对于大公司更是如此;你没有好的学历;你要有多厉害的能力呢;要有像k哥爬虫;韦世东这样能出书;能让爬虫行业的人都家喻户晓的能力么;你有这个能力的话;那么学历可能更容易一些.