当前位置：首页 > news >正文

【爬虫基础】第二部分爬虫基础理论 P1/3

news 来源：原创 2025/9/14 19:04:15

上节内容回顾：【爬虫基础】第一部分网络通讯 P1/3-CSDN博客

【爬虫基础】第一部分网络通讯-Socket套接字 P2/3-CSDN博客

【爬虫基础】第一部分网络通讯-编程 P3/3-CSDN博客

爬虫相关文档，希望互相学习，共同进步

风123456789～-CSDN博客

前言

1.知识点碎片化：每个网站实现的技术相似但是有区别，要求我们根据不同的网站使用不同的应对手段。主要是常用的一些网站爬取技术。

2.学习难度：入门比web简单，但后期难度要比web难，在于爬虫工程师与网站开发及运维人员的对抗。比如你写了爬虫但是被网站运维人员发现后添加反爬，那么就要解决反爬。即平台更新换代，爬虫策略需要实时更新。

3.学习特点：以摸个网站爬虫为讲解对象，即一个技术点的案例。

4.后续发展：要求掌握的东西多，工作中根据工作需要涉及到更多没有接触的知识。

5.法律层面：爬虫相关工作属于灰色地带，目前国内现行法律对于爬虫相关评判还没有明确制度。

6.建议：好记性不如烂笔头，建议多找网站进行爬取联系，同时做好笔记。

1.概述

爬虫通常会遵循一定的规则和算法，以确保能够高效地遍历互联网并收集到所需的数据。

本节章节：
第一节 爬虫理论原理（本文）
第二节 http协议
第三节 chrome浏览器抓包说明

2.爬虫理论原理

知识点：
1.爬虫的概念
2.爬虫的作用
3.爬虫的分类
4.爬虫的流程

2.1 爬虫的概念

爬虫就是自动抓取互联网信息的程序。

‌爬虫（Web Crawler）是一种按照一定规则从互联网上抓取信息的程序。‌它与用户正常访问信息的区别在于，用户是缓慢、少量地获取信息，而爬虫则是大量地获取信息。爬虫通过模拟浏览器请求网站的行为，获取网页的HTML代码、JSON数据或二进制数据（如图片、视频、音频等），并将其存储或进行进一步处理。‌

再通俗讲，如果说互联网是一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用。

2.2 爬虫的作用

为什么要使用爬虫？

大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集，去掉很多无关数据。

在进行大数据分析或者进行数据挖掘的时候，数据源可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。

此时就可以利用爬虫技术，自动地从互联网中获取我们感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，从而进行更深层次的数据分析，并获得更多有价值的信息。

爬虫的作用：

1）数据采集

  爬虫可以快速收集大量数据，常用于市场调研、竞争分析等。

  2）数据统计
  通过分析大量数据，可以发现一些人为难以察觉的模式和趋势。
3）数据的功能性集成（如：刷流量与秒杀活动‌）

爬虫可以模拟大量用户访问，增加网站的访问量，甚至参与秒杀活动。

2.3 爬虫的分类

爬虫的类型

‌通用爬虫‌：用于收集互联网上的大量数据，例如搜索引擎的爬虫。它们遍历整个网页链接，并按照规则提取相关信息。
‌聚焦爬虫‌：针对特定主题或领域进行数据收集。它们只访问和提取与预设主题相关的网页数据。对某个单一的平台，单独开发的爬虫采集抖音的爬虫程序
‌增量式爬虫‌：主要用于定期更新数据，而不是每次都全面爬取。它们记录上一次爬取的时间戳，只访问和提取自上次爬取以来更新过的网页数据。
‌深度爬虫‌：专门用于访问和收集隐藏在互联网深层网页中的信息。这些网页通常不被搜索引擎索引，需要特殊的技术和算法才能访问和提取数据。
‌垂直爬虫‌：专注于特定网站或特定类型网页的数据收集，例如新闻爬虫、电商产品爬虫等。
‌社交媒体爬虫‌：用于在各种社交媒体平台上抓取用户的信息、帖子、评论等数据，常用于情感分析、舆情监测等应用。

1）通用爬虫

类似百度、谷歌这样的爬虫，抓取对象是整个互联网，对于网页没有固定的抽取规则。对于所有网页都是一套通用的处理方法。

需要采集网站(平台)：特别多
收集的信息非常有限
收集网页的标题
采集算法

2）垂直爬虫

这类爬虫主要针对一些特定对象、网站，有一台指定的爬取路径、数据抽取规则。

比如今日头条，它的目标网站就是所有的新闻类网站。

比如Etao比价、网易的慧慧购物助手，他的目标网站就是淘宝、京东等等电商网站。

通用爬虫和垂直爬虫显著的区别：

A.抓取范围，通用爬虫的抓取范围要比垂直爬虫大得多，一个是整个互联网，一个是指定的网站。

B.爬取路线，一个通用爬虫要不按照深度爬取、要不是按广度爬取。而垂直爬虫则可能是按照指定路线爬取。

C.数据处理，通用爬虫一般就是分词、索引到数据库。而垂直爬虫则通过特定的规则来抽取更加精细的数据。

2.4 爬虫的流程原理

用户获取网络数据的方式：

方式1：浏览器提交请求--->下载网页代码--->解析成页面

方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2。

爬虫的流程步骤： 1.准备数据(网站地址)
2.发送请求，获取响应
3.解析响应，数据提取
4.保存数据

1）准备数据（网站地址）

2）发起请求，获取响应

爬虫首先会向目标网站发送HTTP请求，以获取网页的HTML源码。

Request包含：请求头、请求体等

Request模块缺陷：不能执行JS 和CSS 代码

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

3）解析响应，数据提取

获取到HTML源码后，爬虫会使用解析器对网页进行解析，提取出所需的信息。

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据:以wb的方式写入文件

4）保存数据

提取出的信息会被存储到本地文件、数据库或其他存储介质中，以便后续的分析和处理

数据库（[MySQL]，Mongdb、Redis）

文件

注意：法律和道德问题

在使用爬虫时，需要遵守一定的法律和道德准则，尊重网站的隐私政策和使用条款，确保合法和负责任地使用爬虫技术。

今天先到这里吧~~

预知后事如何，且听下回分解~ ok

项目管理--相关知识

项目管理-项目绩效域1/2-CSDN博客

项目管理-项目绩效域1/2_八大绩效域和十大管理有什么联系-CSDN博客

项目管理-项目绩效域2/2_绩效域团不策划-CSDN博客

高项-案例分析万能答案（作业分享）-CSDN博客

项目管理-计算题公式【复习】_项目管理进度计算题公式:乐观-CSDN博客

项目管理-配置管理与变更-CSDN博客

项目管理-项目管理科学基础-CSDN博客

项目管理-高级项目管理-CSDN博客

项目管理-相关知识（组织通用治理、组织通用管理、法律法规与标准规范）-CSDN博客

Oracle其他文档，希望互相学习，共同进步

Oracle-找回误删的表数据(LogMiner 挖掘日志)_oracle日志挖掘恢复数据-CSDN博客

oracle 跟踪文件--审计日志_oracle审计日志-CSDN博客

ORA-12899报错，遇到数据表某字段长度奇怪现象：“Oracle字符型，长度50”但length查却没有50_varchar(50) oracle 超出截断-CSDN博客

EXP-00091: Exporting questionable statistics.解决方案-CSDN博客

Oracle 更换监听端口-CSDN博客

【爬虫基础】第二部分爬虫基础理论 P1/3

上节内容回顾：【爬虫基础】第一部分网络通讯 P1/3-CSDN博客【爬虫基础】第一部分网络通讯-Socket套接字 P2/3-CSDN博客【爬虫基础】第一部分网络通讯-编程 P3/3-CSDN博客爬虫相关文档，希望互相学习，共同进步风123456789&#xff…...

编程日记 2025/9/14 19:04:15

第2章_保护您的第一个应用程序

第2章_保护您的第一个应用程序在本章中，您将学习如何使用 Keycloak 保护您的第一个应用程序。为了让事情更有趣，您将运行的示例应用程序由两部分组成，前端 Web 应用程序和后端 REST API。这将向您展示用户如何向前端进行身份验证&#xff0…...

编程日记 2025/9/9 14:29:31

山东大学软件学院人工智能导论实验之知识库推理

目录实验目的： 实验代码： 实验内容： 实验结果实验目的： 输入相应的条件，根据知识库推理得出相应的知识。实验代码： def find_data(input_process_data_list):for epoch, data_process in enumerat…...

编程日记 2025/9/12 0:41:07

Java 网络协议面试题答案整理，最新面试题

TCP和UDP的主要区别是什么？ TCP（传输控制协议）和UDP（用户数据报协议）的主要区别在于TCP是面向连接的协议，而UDP是无连接的协议。这导致了它们在数据传输方式、可靠性、速度和使用场景方面的不同。 1、连接…...

编程日记 2025/9/11 21:56:19

win10把c盘docker虚拟硬盘映射迁移到别的磁盘

c盘空间本身就比较小、如果安装了docker服务后，安装的时候没选择其他硬盘，虚拟磁盘也在c盘会占用很大的空间，像我的就三十多个G，把它迁移到其他磁盘一下子节约几十G 1、先输入下面命令查看 docker 状态 wsl -l -v 2、如果没有停止…...

编程日记 2025/9/14 6:13:53

AOP进阶-02.通知顺序

一.通知顺序当有多个切面类中的切入点表达式一样时，这些切面类的执行顺序是怎样的呢？如图我们将定义两个切面类，一个MyAspect2，一个MyAspect3，一个MyAspect4。执行后我们发现， 对于目标方法前的通知方法&…...

编程日记 2025/9/8 14:17:07

${sym} 与 String(sym) 的区别

在 JavaScript 中，${sym}（模板字符串插值）和 String(sym)（显式类型转换）虽然都涉及将值转换为字符串，但它们的底层逻辑和行为存在显著差异，尤其是在处理 Symbol 等特殊类型时。以下是具体对比&a…...

编程日记 2025/9/11 11:49:37

sglang框架源码笔记

文章目录整体架构1. **客户端（Client）**：2. **服务器端（Server）**：3. **调度器与模型工作节点（Scheduler & Model Worker）**： TpModelWorker类ModelRunner类TpModel…...

编程日记 2025/9/8 11:38:30

2025年SCI一区智能优化算法：混沌进化优化算法（Chaotic Evolution Optimization, CEO），提供MATLAB代码

一、混沌进化优化算法 https://github.com/ITyuanshou/MATLABCode 1. 算法简介混沌进化优化算法（Chaotic Evolution Optimization, CEO）是2025年提出的一种受混沌动力学启发的新型元启发式算法。该算法的主要灵感来源于二维离散忆阻映射的混沌进化过…...

编程日记 2025/9/14 3:43:51

uake 网络安全 reverse网络安全

🍅 点击文末小卡片 ，免费获取网络安全全套资料，资料在手，涨薪更快本文首发于“合天网安实验室” 首先从PEID的算法分析插件来介绍，要知道不管是在CTF竞赛的REVERSE题目中，还是在实际的商业产品中&#xf…...

编程日记 2025/9/8 17:46:20

C语言实现单链表

单链表是数据结构中最基础的链式结构，它不按照线性的顺序存储数据，而是由若干个同一结构类型的“节点”依次串联而成的，即每一个节点里保存着下一个节点的地址（指针）。上图中，一个表头变量head是用来存储链表首节点的地址，链表中每个节点有data（数据）部分和n…...

编程日记 2025/9/10 7:25:58

Rk3568驱动开发_点亮led灯代码完善(手动挡)_6

1.实现思路： 应用层打开设备后通过write函数向内核中写值，1代表要打开灯，0代表要关闭灯 Linux配置gpio和控制gpio多了一个虚拟内存映射操作 2.注意事项： 配置和读写操作的时候要谨慎，比如先关掉gpio再注销掉虚拟内存…...

编程日记 2025/9/8 17:04:09

threejs：document.createElement创建标签后css设置失效

vue3threejs，做一个给模型批量CSS2D标签的案例，在导入模型的js文件里，跟着课程写的代码如下： import * as THREE from three; // 引入gltf模型加载库GLTFLoader.js import { GLTFLoader } from three/addons/loaders/GLTFLoader.…...

编程日记 2025/9/13 16:03:06

在 compare-form.vue 中添加 compareDate 隐藏字段，并在提交时自动填入当前时间

在 compare-form.vue 中添加 compareDate 隐藏字段，并在提交时自动填入当前时间。提交表单时存入的对象是FakeRegistration，这个对象里面有compareDate字段，刚好表格查询的对象也是FakeRegistration，所以表格展示的时间就是刚才…...

编程日记 2025/9/12 23:01:00

使用DeepSeek/ChatGPT等AI工具辅助编写wireshark过滤器

随着deepseek,chatgpt等大模型的能力越来越强大，本文将介绍借助deepseek，chatgpt等大模型工具，通过编写提示词，辅助生成全面的Wireshark显示过滤器的能力。每一种协议的字段众多，流量分析的需求多种多样，…...

编程日记 2025/9/10 10:45:58

Java 大视界 -- Java 大数据在智能物流路径规划与车辆调度中的创新应用（102）

💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2025/9/11 5:29:39

YOLOv12 ——基于卷积神经网络的快速推理速度与注意力机制带来的增强性能结合

概述实时目标检测对于许多实际应用来说已经变得至关重要，而Ultralytics公司开发的YOLO（You Only Look Once，只看一次）系列一直是最先进的模型系列，在速度和准确性之间提供了稳健的平衡。注意力机制的低效阻碍了它们在…...

编程日记 2025/9/4 15:31:31

一个行为类似标准库find算法的模板

函数需要两个模板类型参数，一个表示函数的迭代器参数，另一个表示值的类型。代码 #include<iostream> #include<string> #include<vector> #include<list>using namespace std;template <typename IterType,typename T>…...

编程日记 2025/9/8 12:07:29

LLC谐振变换器恒压恒流双竞争闭环simulink仿真

1.模型简介本仿真模型基于MATLAB/Simulink（版本MATLAB 2017Ra）软件。建议采用matlab2017 Ra及以上版本打开。（若需要其他版本可联系代为转换）针对全桥LLC拓扑，利用Matlab软件搭建模型，分别对轻载&#xf…...

编程日记 2025/9/8 1:43:52

Elasticsearch 的分布式架构原理：通俗易懂版

Elasticsearch 的分布式架构原理：通俗易懂版 Lucene 和 Elasticsearch 的前世今生 Lucene 是一个功能强大的搜索库，提供了高效的全文检索能力。然而，直接基于 Lucene 开发非常复杂，即使是简单的功能也需要编写大量的 Java 代码&…...

编程日记 2025/9/8 17:59:15

[深度学习]基于C++和onnxruntime部署yolov12的onnx模型

基于C和ONNX Runtime部署YOLOv12的ONNX模型，可以遵循以下步骤： 准备环境：首先，确保已经下载后指定版本opencv和onnruntime的C库。模型转换： 安装好yolov12环境并将YOLOv12模型转换为ONNX格式。这通常涉及使用深度学习…...

编程日记 2025/9/14 5:28:29

seacmsv9报错注入

1、seacms的介绍 seacms中文名：海洋影视管理系统。是一个采用了php5mysql架构的影视网站框架，因此，如果该框架有漏洞，那使用了该框架的各个网站都会有相同问题。 2、源码的分析漏洞的部分源码如下： <?php …...

编程日记 2025/9/14 6:21:45

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20033.%20%E5%8F%98%E4%BD%8D%E8%AF%8D%E7%BB%84/README.md 剑指 Offer II 033. 变位词组题目描述给定一个字符串数组 strs ，将变位词组合在一起…...

编程日记 2025/9/10 10:56:33

【2025全网最新最全】前端Vue3框架的搭建及工程目录详解

文章目录安装软件Node.js搭建Vue工程创建Vue工程精简Vue项目文件 Vue工程目录的解读网页标题的设置设置全局样式路由配置安装软件Node.js 下载地址：https://nodejs.org/zh-cn/ 安装完成后，打开cmd,查看环境是否准备好 node -v npm -vnpm使用之前一定…...

编程日记 2025/9/13 19:34:53

前缀和专题练习 ——基于罗勇军老师的《蓝桥杯算法入门C/C++》

目录一、0求和 - 蓝桥云课算法代码： 代码思路概述代码详细解释数组定义输入读取前缀和计算部分结果计算部分输出结果程序结束总结二、1.可获得的最小取值 - 蓝桥云课算法代码： 代码思路概述详细代码逻辑解释输入初始化 …...

编程日记 2025/9/12 16:49:54

1.测试策略与计划设计指南

1.介绍 1.1项目介绍完整项目组成：1.基于K8S定制开发的SaaS平台；2.多个团队提供的中台服务(微服务)；3.多个业务团队开发的系统平台。涉及多个项目团队、上百个微服务组件。测试在所有团队开发测试后，自己搭建测试环境&#xff0c…...

编程日记 2025/9/8 13:49:24

pikachu

暴力破解基于表单的暴力破解【2024版】最新BurpSuit的使用教程（非常详细）零基础入门到精通，看一篇就够了！让你挖洞事半功倍！_burpsuite使用教程-CSDN博客登录页面，随意输入抓包，发送到攻击…...

编程日记 2025/9/11 8:09:17

HDFS扩缩容及数据迁移

1.黑白名单机制在HDFS中可以通过黑名单、白名单机制进行节点管理，决定数据可以复制/不可以复制到哪些节点。黑名单通常是指在HDFS中被标记为不可用或不可访问的节点列表，这些节点可能由于硬件故障、网络问题或其他原因而暂时或永久性地无法使用。当一…...

编程日记 2025/9/14 6:52:25

设计模式-（状态模式，策略模式，代理模式，责任链模式）

状态模式概念： 用于管理一个对象在不同状态下的行为变化。它允许对象在内部状态改变时改变其行为，从而让对象看起来像是改变了其类。状态模式的核心思想是将状态封装到独立的类中，每个状态类都定义了在该状态下对象的行为状态模式主要涉…...

编程日记 2025/9/10 22:29:08

二、IDE集成DeepSeek保姆级教学(使用篇)

各位看官老爷好，如果还没有安装DeepSeek请查阅前一篇一、IDE集成DeepSeek保姆级教学(安装篇) 一、DeepSeek在CodeGPT中使用教学 1.1、Edit Code 编辑代码选中代码片段 —> 右键 —> CodeGPT —> Edit Code, 输入自然语言可编辑代码，点击S…...

编程日记 2025/9/14 0:05:27

通义灵码插件安装入门教学 - IDEA（安装篇）

在开发过程中，使用合适的工具和插件可以极大地提高我们的工作效率。今天，我们将详细介绍如何在 IntelliJ IDEA 中安装并配置通义灵码插件，这是一款旨在提升开发者效率的实用工具。无论你是新手还是有经验的开发者，本文都将为你提供…...

编程日记 2025/9/6 5:00:14

每天一个Flutter开发小项目 (4) : 构建收藏地点应用 - 深入Flutter状态管理

引言欢迎回到每天一个Flutter开发小项目系列博客！在前三篇博客中，我们从零开始构建了计数器应用、待办事项列表应用，以及简易天气应用。您不仅掌握了 Flutter 的基础组件和布局，还学习了网络请求、JSON 解析等实用技能，更重要的是，我们一起探讨了高效的 Flutter 学习…...

编程日记 2025/9/8 16:12:37

qt-C++笔记之QtCreator新建项目即Create Project所提供模板的逐个尝试

qt-C笔记之QtCreator新建项目即Create Project所提供模板的逐个尝试 code review! 文章目录 qt-C笔记之QtCreator新建项目即Create Project所提供模板的逐个尝试1.Application(Qt):Qt Widgets Application1.1.qmake版本1.2.cmake版本 2.Application(Qt):Qt Console Applicati…...

编程日记 2025/9/13 14:42:01

【NestJS系列】安装官方nestjs CLI 工具

环境搭建指南：从零开始创建 NestJS 项目一、工具准备 1. 安装 Node.js 环境推荐使用 LTS 版本（目前 20.x 以上）验证安装：终端执行 node -v 和 npm -vNode.js 官网下载2. 包管理器选择这里选用更高效的 pnpm，你也可选择 npm 或 yarn # 安装 pnpm npm install -g pnp…...

编程日记 2025/9/12 21:04:55

【Springboot知识】Logback从1.2.x升级到1.3.x需要注意哪些点？

文章目录 **1. 确认依赖版本**示例依赖配置（Maven）： **2. 处理 StaticLoggerBinder 的移除**解决方案： **3. 修改日志配置文件**示例 logback.xml 配置： **4. 检查兼容性问题**Spring Boot 2.x 的兼容性解决方案&#…...

编程日记 2025/9/14 12:48:34

【Linux C | 时间】localtime 的介绍、死机、死锁问题以及 localtime_r 函数的时区问题

😁博客主页😁：🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑：🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…...

编程日记 2025/9/8 18:32:59

每日一题——LRU缓存机制的C语言实现详解

LRU缓存机制的C语言实现详解参考1. 数据结构设计双向链表节点哈希表节点哈希表LRU缓存结构 2. 初始化哈希表和双向链表哈希函数初始化哈希表初始化双向链表创建LRU缓存 3. 更新双向链表4. 实现Get操作5. 实现Put操作更新节点值删除最久未使用节点插入或更新节点 6. 释放缓存释…...

编程日记 2025/9/14 13:25:19

虚函数表和虚函数表指针

1.虚函数表什么时候生成？ 编译器编译的时候生成 2.虚函数表存放在哪里？ 讨论两种情况：在磁盘（可执行程序）、在内存（运行状态） 3.虚函数表与虚函数表指针的关系每个类只有一个虚函数&#x…...

编程日记 2025/9/14 17:11:48

计算机毕业设计SpringBoot+Vue.js图书进销存管理系统(源码+文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/9/14 15:28:18

3-2 WPS JS宏工作簿的打开与保存(模板批量另存为工作)学习笔记

************************************************************************************************************** 点击进入 -我要自学网-国内领先的专业视频教程学习网站 *******************************************************************************************…...

编程日记 2025/9/8 16:05:09

大白话Vuex 核心概念（state、mutations、actions）的使用案例与原理

大白话Vuex 核心概念（state、mutations、actions）的使用案例与原理 Vuex是Vue.js应用程序中专门用来管理状态的工具，就好像是一个大管家，帮你把项目里一些重要的数据和操作管理得井井有条。下面用大白话结合案例来介绍Vuex核心概…...

编程日记 2025/9/8 10:00:11

【学写LibreCAD】1 LibreCAD主程序

一、源码头文件： #ifndef MAIN_H #define MAIN_H#include<QStringList>#define STR(x) #x #define XSTR(x) STR(x)/*** brief handleArgs* param argc cli argument counter from main()* param argv cli arguments from main()* param argClean a list…...

编程日记 2025/9/11 11:16:09

CentOS7最小化安装中使用curl安装yum和wget

在 CentOS 7 最小化安装中，如果已经有curl工具，可以按照以下步骤使用它来安装yum和wget： 1. 备份原有的 yum 源配置文件为了避免配置冲突或后续需要恢复，先备份原有的yum源配置文件。 mv /etc/yum.repos.d/CentOS-Base.repo /…...

编程日记 2025/9/10 6:22:33

【Linux】learning notes（3）make、copy、move、remove

文章目录 1、mkdir （make directory）2、rmdir （remove directory）3、rm（remove）4、>5、touch 新建文件6、mv（move）7、cp（copy） 1、mkdir （make…...

编程日记 2025/9/14 10:09:48

P10108 [GESP202312 六级] 闯关游戏

题目大意如题分析设最佳通关方案为 { s 1 , s 2 , . . . , s k } \{s_1,s_2,...,s_k\} {s1,s2,...,sk}，其中 s i s_i si 代表第 i i i 次到达的关卡（ ≥ N \ge N ≥N 的不算）。当 a k N − 1 a_kN-1 akN−1 时&#…...

编程日记 2025/9/8 13:16:25

Dubbo RPC 原理

一、Dubbo 简介 Apache Dubbo 是一款高性能、轻量级的开源 RPC 框架，支持服务治理、协议扩展、负载均衡、容错机制等核心功能，广泛应用于微服务架构。其核心目标是解决分布式服务之间的高效通信与服务治理问题。二、Dubbo 架构设计 1. 核心组件 Prov…...

编程日记 2025/9/8 18:43:29

网络安全机器学习算法计算机网络安全机制

（一）网络操作系统安全网络操作系统安全是整个网络系统安全的基础。操作系统安全机制主要包括访问控制和隔离控制。访问控制系统一般包括主体、客体和安全访问政策访问控制类型： 自主访问控制强制访问控制访问控制措施： 入…...

编程日记 2025/9/8 12:26:26

【Jenkins】一种灵活定义多个执行label节点的jenkinsfile写法

确定执行机器和自定义工作目录（忽略节点的workspace） pipeline{agent {node {label "XXXXX"customWorkspace "E:/workspace/"}}parameters {}options {}stages {}post {} }仅确定执行机器 pipeline{agent { label "XXXXX&quo…...

编程日记 2025/9/13 16:23:57

Web自动化之Selenium控制已经打开的浏览器(Chrome,Edge)

在使用selenium进行web自动化或爬虫的时候,经常会面临登录的情况,对于这种情况,我们可以利用Selenium控制已经打开的浏览器，从而避免每次都需要重新打开浏览器并进行登录的繁琐步骤。目录说明启动浏览器注意 --user-data-dir说明代码设定代码改进代…...

编程日记 2025/9/10 0:14:01

【万字长文】开源之播对话白鲸开源CEO郭炜--乐观主义的开源精神走得更远

本文为白鲸开源科技CEO郭炜1小时深度访谈全记录来源于：开源之播」Episode15:对话郭炜–乐观主义的开源精神走得更远大家好，我是郭炜，开源圈的“郭大侠”。作为 Apache 基金会的成员，我曾参与并孵化了多个开源项目，如…...

编程日记 2025/9/13 13:00:52

前言