当前位置：首页 > news >正文

爬虫工程师无意义的活

news 来源：原创 2025/8/25 11:39:27

30岁的年龄;这个年龄大家都是成年人;都是做父母的年龄了;你再工位上的心态会发生很大变化的;

爬虫工程师基本都是如此;社会最low的一帮连销售都做不了的;单子都开不出来的然后转行做爬虫工程师的;这样的人基本不太和社会接触;

你作为爬虫初级工程师就敲着键盘然后解析着html;然后把需求的字段取出来这有什么意义;

为了爬虫能上线然后反复测试爬虫;看爬的数据是否和网页一致;这有什么意义;

然后爬虫某个解析报错了;某个取值报错了你重新修补下提交;这有什么意义;

然后要让你买账号;要让你申请账号;让你测ip;让你找商家然后列在表格里;这有什么意义;

然后一个渠道涉及很多爬虫变得臃肿以后;要你把模块变得通用化;能合并的合并起来;能复用的复用;重新大刀阔斧的结构优化;帮你找活干;这有什么意义;

然后他给你一个调用的服务接口模板;然后让你一遍一遍修改让测试很多遍;他挑出各种毛病;最后满足他心里规范的可以他调用的适配他的接口脚本;这有什么意义;

然后出现反爬以后你为了测试cookies什么时候过期;ip是否会被封禁;是否有浏览器指纹的验证;签名参数是否异常;请求频率的瓶颈;请求的效率瓶颈一顿测试网站的风控机制;这有什么意义;

然后网站接口改版了;返回的是脏数据了;返回的接口字段提取异常了;接口不可用了;你又得找新接口;你又得重新变着花样的用各种方式解析html解析dom解析xml解析csv解析json;你又得反复测试接口;这有什么意义;

然后爬虫leader给你一个脚本任务需求;你还得尽善尽美;揣摩他的期望需求;写出很规范的测试脚本开发脚本;测试很多遍以后没有问题再诚惶诚恐的交给他;这有什么意义;

你还得按照这家公司的业务;他定义好的爬虫模板来写爬虫;再这个爬虫模板里面调用写好的中间件;ip池;cookies池;logstash日志;item管道;存储读取展示测试数据然后开发爬虫;这有什么意义

然后日志写在哪里;数据如何去重;接口多少翻页停止;爬虫重试多少次数;数据返回哪些字段;你的大多数工作就是这个既定的模板里面按照爬虫leader给你的业务规范机械性的填代码;这有什么意义;

爬虫工程师无意义的活

30岁的年龄;这个年龄大家都是成年人;都是做父母的年龄了;你再工位上的心态会发生很大变化的; 爬虫工程师基本都是如此;社会最low的一帮连销售都做不了的;单子都开不出来的然后转行做爬虫工程师的;这样的人基本不太和社会接触; 你作为爬虫初级工程师就敲着键盘然后解析着html;…...

编程日记 2025/8/25 11:39:27

DeepSeek 关联公司公布新型数据采集专利提升数据采集效率与质量

4 月 1 日，国家知识产权局公布了一项由 DeepSeek 关联公司杭州深度求索人工智能基础技术研究有限公司申请的专利，名为 “一种广度数据采集的方法及其系统”，公开号为 CN 119739917 A，申请日期可追溯至 2024 年 12 月。此专利的发布…...

编程日记 2025/8/25 11:35:26

实际犯错以及复盘1

Ds1302 需要两个一个Set_Rtc 一个Read_Rtc : 本质 read是 85-2i 的写入是84-2i 然后写入的时候是需要对 0x8e 进行 0x00 和0x80进行解开和锁定的开头结尾。使用的时候赋值给ucRtc[i] 然后主函数使用的时候需要直接写个(ucRtc) 因为unsigned char* 默认的…...

编程日记 2025/8/25 11:36:28

初探：简道云系统架构及原理

一、系统架构概述简道云作为一款低代码开发平台，其架构设计以模块化和云端协同为核心，主要分为以下层次： 1. 前端层可视化界面：基于Web的拖拽式表单设计器，支持动态渲染（React/Vue框架）。多…...

编程日记 2025/8/25 11:37:16

Nginx负载均衡时如何为指定ip配置固定服务器

大家在用Nginx做负载均衡时，一般是采用默认的weight权重指定或默认的平均分配实现后端服务器的路由，还有一种做法是通过ip_hash来自动计算进行后端服务器的路由，但最近遇到一个问题，就是希望大部分用户采用ip_hash自动分配后端服务…...

编程日记 2025/8/25 11:37:46

玩转MCP：用百度热搜采集案例快速上手并接入cline

MCP的大火，让MCP服务器开发也变得热门，上一篇文章: 手搓MCP客户端&服务端：从零到实战极速了解MCP是什么？ 手搓了一个极其简单的小场景的MCP实战案例，详细的安装环境及操作步骤已经讲过了，本文不在重复…...

编程日记 2025/8/25 11:36:29

003集——《利用 C# 与 AutoCAD API 开发 WPF 随机圆生成插件》(侧栏菜单+WPF窗体和控件+MVVM)

本案例聚焦于开发一款特色鲜明的 AutoCAD 插件。其核心功能在于，用户在精心设计的 WPF 控件界面中输入期望生成圆的数量，完成输入后，当用户点击 “生成” 按钮，一系列联动操作随即展开。通过数据绑定与命令绑定这一精妙机制&#…...

编程日记 2025/8/19 21:10:42

设计模式简述（十）责任链模式

责任链模式描述基本使用使用描述如果一个请求要经过多个类似或相关处理器的处理。可以考虑将这些处理器添加到一个链上，让请求逐个经过这些处理器进行处理。通常，在一个业务场景下会对整个责任链进行初始化，确定这个链上有哪些Handler…...

编程日记 2025/8/20 4:42:22

#include <bits/stdc.h> using namespace std; const int N1e55; int a[N]; int n,k;bool f(int x){int num1;int ma[1];for(int i2;i<n;i){if(a[i]-m>x){ // 当前元素加入当前组会超过极差 xnum; // 新开一组ma[i]; // 新组的最小值设为当前元素}}r…...

编程日记 2025/8/25 10:30:15

vue的主要核心文件介绍

1.package.json 查看依赖包的版本项目基本信息记录项目标识：记录项目名称（name 字段）、版本号（version 字段）、描述（description 字段）等基础信息，方便识别和管理项目。例如&…...

编程日记 2025/8/25 11:34:54

从奖励到最优决策：动作价值函数与价值学习

从奖励到最优决策：动作价值函数与价值学习价值学习动作价值函数对 U t U_t Ut求期望得到动作价值函数动作价值函数的意义最优动作价值函数(Optimal Action-Value Function)如何理解 Q ∗ Q^* Q∗函数价值学习的基本思想Deep Q-Network(DQN)DQN玩游戏的具体流程如…...

编程日记 2025/8/17 22:25:48

DApp实战篇：先用前端起个项目

前言本篇将使用vue框架quasar起一个项目，为了防止大家不会使用quasar，本篇详细讲解一下quasar如何使用。 quasar 如果你不想深入了解quasar，其实你完全可以将quasar当成一个vue的组件库即可，它是一个类谷歌Material风格的UI组件库，但同时它又是一个基于vue的强大框架。…...

编程日记 2025/8/18 0:53:15

论文阅读11——V2V-LLM：采用多模式大型语言模型的车对车协同自动驾驶

原文地址： 2502.09980https://arxiv.org/pdf/2502.09980 论文翻译： V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models V2V-LLM：采用多模式大型语言模型的车对车协同自动驾驶摘要&#…...

编程日记 2025/8/20 9:10:25

NLP 梳理01 — 文本预处理和分词

文章目录一、说明二、文本预处理概述2.1 为什么要预处理文本？2.2 文本预处理的常见步骤2.3 什么是令牌化？2.4 为什么令牌化很重要？ 三、分词类型四、用于分词化的工具和库五、实际实施六、编写函数以对文本进行标记七、结论一、说明本文总…...

编程日记 2025/8/24 4:50:04

Windows11 优雅的停止更新、禁止更新

网上有很多关闭自动更新的方法，改注册表、修改组策略编辑器、禁用Windows Update等等，大同小异，但最后奏效的寥寥无几，今天给大家带来另一种关闭win11自动更新的方法，亲测有效！ 1、winR 打开运行窗口&…...

编程日记 2025/8/20 7:30:44

Kafka 中的 offset 提交问题

手动提交和自动提交我们来一次性理清楚：Kafka 中的自动提交 vs 手动提交，到底区别在哪，怎么用，什么场景适合用哪个👇 🧠 一句话总结 ✅ 自动提交：Kafka 每隔一段时间自动提交 offset ✅ 手动…...

编程日记 2025/8/23 7:15:01

PowerBI窗口函数与视觉计算

文章目录一、窗口函数1.1 OFFSET（动态查询、求连续值）1.1.1 不使用orderBy1.1.2 使用orderBy1.1.3 统计连续值的最大出现次数（待补） 1.2 INDEX（静态查询）1.3 WINDOW（滚动求和、累计求和、帕累…...

编程日记 2025/8/22 17:51:23

代码随想录算法训练营Day22

回溯知识力扣77.组合【medium】一、回溯知识 1、定义回溯法也可以叫做回溯搜索法，它是一种搜索的方式。回溯是递归的副产品，只要有递归就会有回溯。 2、回溯法的效率回溯的本质是穷举，穷举所有可能，然后选出我们想要的答案…...

编程日记 2025/8/19 20:04:22

几种常见的HTTP方法之GET和POST

如大家所了解的，每条 HTTP 请求报文都必须包含一个请求方法，这个方法会告诉服务器要执行什么操作（例如获取一个 Web 页面、运行一个网关程序、删除一个文件等）。常见的几种 HTTP 方法如下： GET： 请求指定的…...

编程日记 2025/8/24 19:44:05

Nginx之https重定向为http

为了将Nginx中443端口的请求重定向到80端口，你可以按照以下步骤进行操作： ‌确认Nginx已经正确安装并运行‌： 确保Nginx服务已经在你的系统上安装并运行。你可以通过运行以下命令来检查Nginx的状态（具体命令可能因操作系统而异&a…...

编程日记 2025/8/22 23:42:05

落地DevOps文化：运维变革的正确打开方式

落地DevOps文化：运维变革的正确打开方式 DevOps，这个近年来被谈论得沸沸扬扬的概念，是企业数字化转型的一把钥匙。然而，很多公司虽然喊着“要上DevOps”，却苦于如何真正落地。而DevOps不仅仅是技术工具的堆砌，更是一种文化的重塑。从我的经历来看，DevOps实施的核心在于…...

编程日记 2025/8/22 18:26:51

《C++后端开发最全面试题-从入门到Offer》目录

当今科技行业对C++开发者的需求持续高涨，从金融科技到游戏开发，从嵌入式系统到高性能计算，C++凭借其卓越的性能和灵活性始终占据着关键地位。然而，成为一名优秀的C++工程师并非易事，不仅需要扎实的语言基础，还要掌握现代C++特性、设计模式、性能优化技巧以及各种工业级开…...

编程日记 2025/8/25 8:52:51

24统计建模国奖论文写作框架2（机器学习+自然语言处理类）（附原文《高校负面舆情成因与演化路径研究》）

一、引言研究背景及意义文献综述研究内容与创新点二、高校负面舆情热点现状分析案例数据的获取与处理高效负面舆情热点词频分析高效负面舆情热点变化趋势分析三、高校负面舆情成因分析高校负面舆情变量的选取与赋值基于QCA方法的高校负面舆情成因分析四、…...

编程日记 2025/8/22 21:54:41

论文阅读笔记——Deformable Radial Kernel Splatting

DRK 论文 DRK（可变形径向核）的核心创新正是通过极坐标参数化与切平面投影，对传统3D高斯泼溅（3D-GS）进行了多维度的优化。传统 3DGS 依赖径向对称的高斯核，只能表示平滑、各向同性的形状（球体、…...

编程日记 2025/8/24 8:24:07

网络编程—TCP/IP模型（IP协议）

上篇文章： 网络编程—TCP/IP模型（TCP协议）https://blog.csdn.net/sniper_fandc/article/details/147011479?fromshareblogdetail&sharetypeblogdetail&sharerId147011479&sharereferPC&sharesourcesniper_fandc&sharef…...

编程日记 2025/8/19 3:55:01

Android NDK C/C++交叉编译脚本

以下是 Android (arm64-v8a) 交叉编译 C/C 项目的完整脚本模板，基于 NDK 工具链，支持自定义源文件编译为静态库/动态库/可执行文件： 1. 基础交叉编译脚本 (build_android.sh) bash 复制 #!/bin/bash# Android 交叉编译脚本 (arm64-…...

编程日记 2025/8/22 7:28:03

IS-IS-单区域的配置

一、IS-IS的概念 IS-IS（Intermediate System to Intermediate System，中间系统到中间系统）是一种‌链路状态路由协议‌，最初设计用于‌OSI（Open Systems Interconnection）参考模型‌的网络层（CL…...

编程日记 2025/8/20 11:04:02

Java EE期末总结（第四章）

目录一、ORM框架二、MyBatis与Hibernate 1、概念与设计理念 2、SQL 控制 3、学习成本 4、开发效率三、MyBatisAPI 1、SqlSessionFactoryBuilder 2、SqlSessionFactory 3、SqlSession 四、MyBatis配置 1、核心依赖与日志依赖 2、建立.XML映射文件 3、建立映射…...

编程日记 2025/8/24 19:47:29

Kafka 的选举机制

Kafka 的选举机制在 Zookeeper 模式和 KRaft 模式下有所不同，主要体现在领导选举和集群元数据管理的方式上。下面详细介绍这两种模式下 Kafka 如何进行选举机制。 1. Zookeeper 模式下的选举机制在早期的 Kafka 架构中，集群的元数据管理和选举机…...

编程日记 2025/8/23 13:48:11

FreeRTOS移植笔记：让操作系统在你的硬件上跑起来

一、为什么需要移植？ FreeRTOS就像一套"操作系统积木"，但不同硬件平台（如STM32、ESP32、AVR等）的CPU架构和外设差异大，需要针对目标硬件做适配配置。移植工作就是让FreeRTOS能正确管理你的硬件资源。二、…...

编程日记 2025/8/17 22:24:13

设计模式简述（十二）策略模式

策略模式描述基本使用使用传统策略模式的缺陷以及规避方法枚举策略描述基本使用使用描述定义一组策略，并将其封装起来到一个策略上下文中。由调用者决定应该使用哪种策略，并且可以动态替换基本使用定义策略接口 public interface IStrategy {…...

编程日记 2025/8/24 21:58:29

如何在idea中快速搭建一个Spring Boot项目？

文章目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热启动（热部署）结语前言 Spring Boot 凭借其便捷的开发特性，极大提升了开发效率，为 Java 开发工作带来诸多便利。许多大伙伴希望快速…...

编程日记 2025/8/22 14:08:16

【注解简化配置的原理是什么】

注解（Annotation）简化配置的核心原理是将原本分散在外部文件（如XML、properties）中的元数据直接内嵌到代码中，通过声明式编程让框架或工具自动处理这些元数据，从而减少手动配置的复杂度。以下是其实现原理的…...

编程日记 2025/8/22 15:49:52

Livox-Mid-70雷达使用------livox_mapping建图

1.ubuntu20.04 和Livox mid 70 的IP设置连接好Livox-Mid-70雷达,然后进行局域网配置 1.1 Livox mid 70的IP是已知的，即192.168.1.1XX, XX表示mid 70广播码的后两位 1.2 ubuntu 20.04的IP设置 a.查看本机IP名 ifconfig b.设置本机IP地址 sudo ifconfig enx00e04…...

编程日记 2025/8/17 23:47:30

Django中使用不同种类缓存的完整案例

Django中使用不同种类缓存的完整案例推荐超级课程：本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录 Django中使用不同种类缓存的完整案例步骤1：设置Django项目步骤2：设置URL路由步骤3：视图级别…...

编程日记 2025/8/17 22:24:09

代码随想录算法训练营Day32| 完全背包问题（二维数组滚动数组）、LeetCode 518 零钱兑换 II、377 组合总数 IV、爬楼梯（进阶）

理论基础完全背包问题在完全背包问题中，每种物品都有无限个，我们可以选择任意个数（包括不选），放入一个容量为 W W W 的背包中。我们希望在不超过容量的情况下，最大化背包内物品的总价值。完全背包&a…...

编程日记 2025/8/22 22:18:44

Django SaaS案例：构建一个多租户博客应用

Django SaaS案例：构建一个多租户博客应用推荐超级课程：本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录 Django SaaS案例：构建一个多租户博客应用如果你正在从事一个SaaS（软件即服务）项目或一…...

编程日记 2025/8/20 7:47:49

静态库与动态库

静态库（Static Library） 定义：静态库（如 .a 文件或 .lib 文件）是编译时直接链接到可执行文件中的库。其代码和数据会被完整复制到最终的可执行文件中。特点： 独立部署：无需依赖外部库文件。 …...

编程日记 2025/8/21 2:42:41

优选算法的妙思之流：分治——归并专题

专栏：算法的魔法世界个人主页：手握风云目录一、归并排序二、例题讲解 2.1. 排序数组 2.2. 交易逆序对的总数 2.3. 计算右侧小于当前元素的个数 2.4. 翻转对一、归并排序归并排序也是采用了分治的思想，将数组划分为多个长度为1的子…...

编程日记 2025/8/21 17:15:17

PDFBox渲染生成pdf文档

使用PDFBox可以渲染生成pdf文档，并且自定义程度高，只是比较麻烦，pdf的内容位置都需要手动设置x（横向）和y（纵向）绝对位置，但是每个企业的单据都是不一样的，一般来说都会设…...

编程日记 2025/8/24 7:58:30

flutter dio网络请求与json数据解析

在Flutter中，Dio 是一个功能强大且易于使用的网络请求库，用于处理HTTP请求和响应。与 http 包相比，Dio 提供了更多高级功能，例如拦截器、文件上传/下载、请求取消等。结合 json_serializable 或手动解析 JSON 数据，可以…...

编程日记 2025/8/21 4:30:52

7. RabbitMQ 消息队列——延时队列(Spring Boot + 安装message_exchange“延迟插件“ 的详细配置说明)的详细讲解

7. RabbitMQ 消息队列——延时队列(Spring Boot 安装message_exchange"延迟插件" 的详细配置说明)的详细讲解文章目录 7. RabbitMQ 消息队列——延时队列(Spring Boot 安装message_exchange"延迟插件" 的详细配置说明)的详细讲解1. RabbitMQ 延时队列概…...

编程日记 2025/8/17 23:38:22

使用 MyBatis-Plus 实现高效的 Spring Boot 数据访问层

在开发 Spring Boot 应用时，数据访问是不可或缺的部分。为了提高开发效率并减少样板代码，MyBatis-Plus 提供了强大的功能，能够简化与数据库交互的操作。本文将详细介绍如何在 Spring Boot 中使用 MyBatis-Plus，并结合具体代码示例…...

编程日记 2025/8/24 11:58:16

Linux学习笔记——零基础详解：什么是Bootloader？U-Boot启动流程全解析！

零基础详解：什么是Bootloader？U-Boot启动流程全解析！ 一、什么是Bootloader？📌 举个例子： 二、U-Boot 是什么？三、U-Boot启动过程：分为两个阶段🔹 第一阶段（汇…...

编程日记 2025/8/18 0:20:59

网络初识 - Java

网络发展史： 单机时代（独立模式） -> 局域网时代 -> 广域网时代 -> 移动互联网时代网络互联：将多台计算机链接再一起，完成数据共享。数据共享的本质是网络数据传输，即计算机之间通过网络来传输数…...

编程日记 2025/8/22 11:08:33

（51单片机）独立按键控制流水灯LED流向（独立按键教程）（LED使用教程）

源代码如上图将7个文放在Keli5 中即可，然后烧录在单片机中就行了烧录软件用的是STC-ISP，不知道怎么安装的可以去看江科大的视频： 【51单片机入门教程-2020版程序全程纯手打从零开始入门】https://www.bilibili.com/video/BV1Mb411e7re?…...

编程日记 2025/8/20 9:00:12

QML输入控件: TextArea的应用（带行号的编辑器）

目录引言📚 相关阅读🔨BUG修复实现思路代码解析主窗口代码自定义TextAreaItem组件行号显示部分文本编辑区域滚动同步关键功能解析1. 动态更新行号2. 属性映射3. 外观定制运行效果总结工程下载引言在开发Qt/QML应用程序时，文本编辑功能是…...

编程日记 2025/8/21 15:54:47

kafka 的存储文件结构

Kafka 的存储文件结构是其高吞吐量和高效性能的关键部分。Kafka 的存储结构是围绕日志（Log） 的设计展开的，而每个 Kafka 分区（Partition） 都会以日志文件的形式存储。Kafka 采用了顺序写入、分段存储和索引文件的机制…...

编程日记 2025/8/21 10:46:57

FAISS原理深度剖析与LLM检索分割难题创新解决方案

一、FAISS核心技术解构：突破传统检索的次元壁 1.1 高维空间的降维艺术 FAISS（Facebook AI Similarity Search）通过独创的Product Quantization（乘积量化）技术，将高维向量空间切割为多个正交子空间。每个子…...

编程日记 2025/8/20 16:23:09

Windows操作系统安全配置（一）

1.操作系统和数据库系统管理用户身份标识应具有不易被冒用的特点，口令应有复杂度要求并定期更换配置方法：运行“gpedit.msc”计算机配置->Windows设置->安全设置>帐户策略->密码策略: 密码必须符合复杂性要求->启用密码长度最小值->…...

编程日记 2025/8/21 22:19:19

相关文章：