当前位置：首页 > news >正文

java基础概念37：正则表达式2-爬虫

news 来源：原创 2025/8/1 1:33:04

一、定义

【回顾】正则表达式的作用

作用一：校验字符串是否满足规则
作用二：在一段文本中查找满足要求的内容——爬虫

二、本地爬虫VS网络爬虫

2-1、本地爬虫

示例：

代码优化：

public static void main(String[] args) {// 大串String str = "Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久|ava17也会逐渐登上历史舞台";// 获取正则表达式对象Pattern p = Pattern.compile("Java\\d{0,2}");// 获取文本匹配去对象Matcher m = p.matcher(str);while (m.find()){String s1 = m.group();System.out.println(s1);}}

2-2、网络爬虫

示例：

三、带条件爬取VS贪婪爬取VS非贪婪爬取

3-1、带条件爬取

示例：

?=：意味着它用于匹配一个位置，该位置后面的字符序列能够匹配一个特定的模式，但本身不消耗任何字符。

3-2、贪婪爬取VS非贪婪爬取

贪婪爬取：在爬取数据的时候尽可能的多获取数据；
非贪婪爬取：在爬取数据的时候尽可能的少获取数据。

示例：

public static void main(String[] args) {String str = "Java自从95年问世以来，abbbbbbbbbbbbaaaaaaaaaaaaaaaaaa经历了很多版本，目前企业中用的最多的是!ava8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台";// 贪婪爬取String regex = "ab+";Pattern p = Pattern.compile(regex);Matcher m = p.matcher(str);while (m.find()){// abbbbbbbbbbbbSystem.out.println(m.group());}// 非贪婪爬取String regex2 = "ab+?";Pattern p2 = Pattern.compile(regex2);Matcher m2 = p2.matcher(str);while (m2.find()){// abSystem.out.println(m2.group());}}

四、正则表达式在字符串方法中的使用

4-1、replaceAll方法

4-2、split方法

java基础概念37：正则表达式2-爬虫

一、定义【回顾】正则表达式的作用作用一：校验字符串是否满足规则作用二：在一段文本中查找满足要求的内容——爬虫二、本地爬虫VS网络爬虫 2-1、本地爬虫示例： 代码优化： public static void main(String[] args) {// 大…...

编程日记 2025/8/1 1:33:04

【大数据学习 | Spark-Core】RDD的概念与Spark任务的执行流程

1. RDD的设计背景在实际应用中，存在许多迭代式计算，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，目前的MapReduce框架都是把中间结果写入到HDFS中&…...

编程日记 2025/8/1 3:13:11

day06（单片机高级）PCB设计

目录 PCB设计 PCB设计流程元器件符号设计原理图设计元器件封装设计元器件库使用 PCB设计目的：学习从画原理图到PCB设计的整个流程 PCB设计流程元器件符号设计元器件符号：这是电子元器件的图形表示，用于在原理图中表示特定的元器件。例…...

编程日记 2025/8/1 3:16:12

[Redis#2] 定义 | 使用场景 | 安装教程 | 快！

目录 1. 定义 In-memory data structures 在内存中存储数据 2. 优点！快 Programmability 可编程性 Extensibility 扩展性 Persistence 持久化 Clustering 分布式集群 High availability 高可用性 ⭕快速访问的实现 3. 使用场景 1.Real-time data store …...

编程日记 2025/8/1 3:14:59

docker pull命令拉取镜像失败的解决方案

docker pull命令拉取镜像失败的解决方案简介： docker pull命令拉取镜像失败的解决方案 docker pull命令拉取镜像失败的解决方案一、执行docker pull命令，拉取镜像失败报错信息：error pulling image configuration: Get https://produc…...

编程日记 2025/7/30 3:14:13

漫步北京小程序构建智慧出行，打造旅游新业态模式

近年来，北京市气象服务中心持续加强推进旅游气象服务，将旅游气象监测预警基础设施纳入景区配套工程，提升气象和旅游融合发展水平，服务建设高品质智慧旅游强市。天气条件往往影响着旅游景观的体验，北京万云科技有限公…...

编程日记 2025/7/31 20:35:44

DNS域名解析服务器

一、dns简介及域名 DNS(Domain Name System) : 作为将域名和IP地址相互映射的一个分布式数据库，能便捷互联网的访问。使用53端口，通常以UDP较快的数据传输协议来查询，如果没有查询到，将再次启动TCP重新查询，两者同时启…...

编程日记 2025/7/29 6:19:52

MySQL数据存储详解

1. MySQL 的数据存放位置当我们在 MySQL 数据库中创建一个表时，MySQL 会在数据库对应的文件夹下生成三个文件： 1.1 db.opt 文件是什么： 每个数据库都有一个 db.opt 文件，这个文件保存了数据库的配置信息。作用： 记…...

编程日记 2025/7/31 23:38:46

Maven maven项目构建的生命周期 Maven安装配置 IDEA 配置 Maven

一，Maven的概述 Maven的作用：专门用于管理和构建Java项目的工具，它的主要功能有： 提供了一套标准化的项目结构提供了一套标准化的构建流程（编译，测试，打包，发布……）提…...

编程日记 2025/7/30 22:14:58

和为 K 的子数组(java)

题目描述： 给你一个整数数组 nums 和一个整数 k ，请你统计并返回该数组中和为 k 的子数组的个数。子数组是数组中元素的连续非空序列。示例 1： 输入：nums [1,1,1], k 2 输出：2示例 2： 输入&#xf…...

编程日记 2025/7/26 0:31:52

关于Redux的学习（包括Redux-toolkit中间件）

目录什么是 Redux ？ 我为什么要用 Redux ？ 我什么时候应该用 Redux ？ Redux 库和工具 React-Redux Redux Toolkit Redux DevTools 拓展一个redux小示例代码示例(很有用)： Redux 术语 Actions Reducers Store Dis…...

编程日记 2025/7/24 20:29:09

MIT 6.S081 | 操作系统 | Lab1: Xv6 and Unix utilities

Lab1: Xv6 and Unix utilities 文章目录 Lab1: Xv6 and Unix utilities实验任务1.启动XV6(easy)2.Sleep(easy)-练手的，就是熟悉一下怎么在xv6项目中加.c文件，生成可执行程序并进行测试的1.解析rm.c2.argc 如何被赋值3.Sleep代码4.makefile编辑5.通过make…...

编程日记 2025/7/29 15:19:37

04 - 尚硅谷 - MQTT 客户端编程

1.在Java中使用MQTT 1.1 Eclipse Paho Java Client 具体步骤： 1、创建一个Spring Boot项目，添加如下依赖 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId>…...

编程日记 2025/7/30 5:28:56

C语言基础学习：抽象数据类型（ADT）

基础概念抽象数据类型（ADT）是一种数据类型，它定义了一组数据以及可以在这组数据上执行的操作，但隐藏了数据的具体存储方式和实现细节。在C语言中，抽象数据类型（ADT）是一种非常重要的概念&…...

编程日记 2025/6/30 21:46:46

蓝桥杯每日真题 - 第16天

题目：（卡牌） 题目描述（13届 C&C B组C题） 解题思路： 题目分析： 有 n 种卡牌，每种卡牌的现有数量为 a[i]，所需的最大数量为 b[i]，还有 m 张空白卡牌。每…...

编程日记 2025/7/30 1:27:52

【Docker】快速部署 Pikachu：一个包含常见 Web 安全漏洞的渗透测试练习靶场

系统介绍 Pikachu是一个带有漏洞的Web应用系统，在这里包含了常见的web安全漏洞。如果你是一个Web渗透测试学习人员且正发愁没有合适的靶场进行练习，那么Pikachu可能正合你意。 Pikachu上的漏洞类型列表如下： Burt Force(暴力破解漏洞) XSS…...

编程日记 2025/7/26 1:27:30

【解决】Unity TMPro字体中文显示错误/不全问题

问题描述：字体变成方块原因：字体资源所承载的长度有限 1.找一个中文字体放入Assets中 2.选中字体创建为TMPro 字体资源 3.选中创建好的字体资源（蓝色的大F） 在右边的属性中找到Atlas Width h和 Atlas Heigth,修改的大一点&…...

编程日记 2025/7/21 4:13:12

速通前端篇 —— CSS

找往期文章包括但不限于本期文章中不懂的知识点： 个人主页：我要学编程程(ಥ_ಥ)-CSDN博客所属专栏：速通前端目录 CSS的介绍基本语法规范 CSS选择器标签选择器 class选择器 id选择器复合选择器通配符选择器 CSS常见样式颜…...

编程日记 2025/7/30 13:48:39

【案例】泛微.齐业成助力北京中远大昌汽车实现数电票全流程管理

中远大昌统一发票共享平台上线三个多月以来，实现： 5000份 60000元发票开具成本节约客户简介及需求分析北京中远大昌汽车服务有限公司（以下简称“中远大昌”）成立于2002年，是中远海运集团所属香远（北…...

编程日记 2025/7/30 12:33:19

Windows系统运行库软件游戏修复工具

本页面下载的资源包包括PC电脑常用的运行库和电脑必备组件，如您的电脑出现应用打不开，缺少dll链接库、闪退等现象可以尝试用下面软件修复。本资源永久有效。软件安装基本常识科普： 为什么要安装运行库？运行库默认安装到C盘&…...

编程日记 2025/7/31 1:18:04

解决.DS_Store 在项目一致无法排除，.gitignore里也不生效

.DS_Store 是 macOS 操作系统创建的隐藏文件，通常用于存储目录的属性，比如视图设置、图标位置等。它通常不应包含在代码仓库中，因此需要排除它。你提到即使将其添加到 .gitignore 文件中，仍然无法排除它，可能是由于以下…...

编程日记 2025/7/27 16:38:42

C#里怎么样判断文件是否存在？

C#里怎么样判断文件是否存在？判断文件是否存在，也是一个常用的功能。因为文件如果不存，直接去操作，就会抛出异常。比如要拷贝一个文件到另外一个目录里，如果文件已经存在那个文件夹里，也会抛出异常。所以提前判断，就可以减少很多不必要的异常抛出，同时程序写得更加…...

编程日记 2025/7/29 23:05:03

汽车免拆诊断案例 | 2012款路虎揽胜运动版柴油车加速无力

故障现象　一辆2012款路虎揽胜运动版车，搭载3.0T柴油发动机（型号为306DT），累计行驶里程约为10.2万km。车主进厂反映，车辆行驶中加速无力，且发动机故障灯异常点亮。故障诊断接车后试车，发动…...

编程日记 2025/7/28 10:44:21

JAVA基础

JAVA基础 JAVA的变量变量是什么内存中存储的，数值可以改变的数据定义变量语法数据类型变量名值； 变量的命名： 必须由字母、数字、下划线和$组成；开头不能是数字规范的命名是小驼峰命令：studentName要做…...

编程日记 2025/7/30 7:09:31

ssh无法连接Ubuntu

试了多次ssh都无法连接，明明可以上网网卡、防火墙、端口都没有问题，就是连接不上结果是这个版本Ubuntu镜像默认没有安装ssh服务安装SSH服务：apt-get install openssh-server 开启SSH服务：/etc/init.d/ssh start 就可以连接…...

编程日记 2025/7/28 13:39:12

spi 回环

///tx 极性0 （sclk信号线空闲时为低电平） /// 相位0 (在sclk信号线第一个跳变沿进行采样) timescale 1ns / 1ps//两个从机 8d01 8d02 module top(input clk ,input rst_n,input [7:0] addr ,input …...

编程日记 2025/7/28 5:27:56

MongoDB 更新集合名

MongoDB 更新集合名 MongoDB 是一个流行的 NoSQL 数据库，它使用集合（collections）来存储文档（documents）。集合在 MongoDB 中相当于关系型数据库中的表。在 MongoDB 中，集合名是可以在某些情况下进行更新的…...

编程日记 2025/7/28 22:53:27

常见面试题----深入源码理解MQ长轮询优化机制

引言在分布式系统中，消息队列（Message Queue, MQ）扮演着至关重要的角色。MQ不仅实现了应用间的解耦，还提供了异步消息处理、流量削峰等功能。而在MQ的众多特性中，长轮询（Long Polling）机制因其…...

编程日记 2025/7/30 7:10:48

Firewall防火墙配置

文章目录一、firewalld简介二、firewalld特性三、firewalld相关文件及目录四、firewalld配置五、firewalld配置实例一、firewalld简介 firewalld 提供了支持网络/防火墙区域(zone)定义网络链接以及接口安全等级的动态防火墙管理工具。它支持 ipv4, ipv6 防火墙设置以及以太网…...

编程日记 2025/7/31 2:22:16

我做了一份斯坦福CS229吴恩达机器学习笔记

吴恩达教授的机器学习课程，可以说是AI领域的一块金字招牌。这门在斯坦福大学开设的课程，历经十余年，依旧是机器学习入门的经典之作。记得当年，这门课火爆到吴恩达教授不得不将其搬到线上，结果不仅在斯坦福&#xff0c…...

编程日记 2025/7/29 6:27:16

TESSY单元测试工具详解与操作演示：ISO 26262合规性、自定义测试用例、详细测试报告等

在嵌入式系统开发中，安全性和可靠性至关重要，尤其是在汽车、医疗和工业控制等高风险行业。为了确保代码在实际运行中满足安全标准，开发者需要一套完善全面的测试工具，来严格检测代码的安全性和可靠性。 TESSY作为一款已获得IEC 61…...

编程日记 2025/7/31 12:23:55

C++语言之函数对象与算法

在 C 中，函数对象（Function Object）也叫仿函数（Functor），是一个类，这个类重载了()运算符。从概念上讲，它的行为类似于一个函数，可以像调用函数一样来调用这个类的对象。 …...

编程日记 2025/7/29 11:21:46

Fakelocation Server服务器/专业版 Windows11

前言:需要Windows11系统 Fakelocation开源文件系统需求 Windows11 | Fakelocation | 任务一打开 PowerShell（以管理员身份）命令安装 Chocolatey Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProto…...

编程日记 2025/7/31 7:35:54

java使用itext生成pdf

一、利用Adobe Acrobat DC软件创建pdf模板备好Adobe Acrobat DC软件 1.excel/jpg/png文件转pdf文件右击打开我们要转换的文件 2.然后点击添加域 3.可以看到域的名字 4.调整字体大小/对齐方式等 5.保存二，代码部分首先上依赖 <dependency><group…...

编程日记 2025/7/30 15:25:21

【PPTist】添加PPT模版

前言：这篇文章来探索一下如何应用其他的PPT模版，给一个下拉菜单，列出几个项目中内置的模版 PPT模版数据 （一）增加菜单项首先在下面这个菜单中增加一个“切换模版”的菜单项，点击之后在弹出框中显示所有的…...

编程日记 2025/7/30 6:40:19

AmazonS3集成minio实现https访问

最近系统全面升级到https，之前AmazonS3大文件分片上传直接使用http://ip:9000访问minio的方式已然行不通，https服务器访问http资源会报Mixed Content混合内容错误。一般有两种解决方案，一是升级minio服务，配置ssl证书&#xff0c…...

编程日记 2025/7/30 23:36:03

适配屏幕px、rem单位换算, 将 pxToRem 函数设置为一个全局工具如：在 utils.js 文件、SCSS/Mixin 定义

页面的宽度适配： 假设页面的根元素（html）的字体大小设置为动态值（常用 rem 单位适配时的做法）， 比如 html { font-size: (屏幕宽度 / 设计稿宽度) }。如果根元素的字体大小为 1rem 屏幕宽度 / 1920px&…...

编程日记 2025/7/30 20:56:32

H.265流媒体播放器EasyPlayer.js播放器提示MSE不支持H.265解码可能的原因

随着人工智能和机器学习技术的应用，流媒体播放器将变得更加智能，能够根据用户行为和偏好提供个性化的内容推荐。总体而言，流媒体播放器的未来发展将更加注重技术创新和用户互动，以适应不断变化的市场需求和技术进步。提示MSE不支…...

编程日记 2025/7/30 23:10:09

医学图像语义分割：前列腺肿瘤、颅脑肿瘤、腹部多脏器 MRI、肝脏 CT、3D肝脏、心室

医学图像语义分割：前列腺肿瘤、颅脑肿瘤、腹部多脏器 MRI、肝脏 CT、3D肝脏、心室语义分割网络FCN：通过将全连接层替换为卷积层并使用反卷积上采样，实现了第一个端到端的像素级分割网络U-Net：采用对称的U形编解码器结构&#xff…...

编程日记 2025/7/27 13:18:32

16. 指针类型和步长概念问题

1. 项目场景： ➣ Jack Qiao对米粒说：“今天有道友遇到一个问题，举个栗子数组 arr[5] { 0 };道友发现&arr[0] 1与&arr 1打印出来的地址竟然不同。”米粒测试后果然是这样。 2. 问题描述 ☑ 举个栗子：数组 arr[5] { 0…...

编程日记 2025/7/29 23:37:14

【电路笔记】-布尔逻辑AND函数

逻辑AND函数文章目录逻辑AND函数1、概述2、逻辑 AND 函数仅当所有输入均为 true 时，逻辑与函数输出才为 true，否则输出为 false。 1、概述布尔代数基于逻辑函数，其中每个布尔函数（例如逻辑 AND 函数）通常具有一个…...

编程日记 2025/7/31 8:01:57

数据结构C语言描述3(图文结合)--双链表、循环链表、约瑟夫环问题

前言这个专栏将会用纯C实现常用的数据结构和简单的算法；有C基础即可跟着学习，代码均可运行；准备考研的也可跟着写，个人感觉，如果时间充裕，手写一遍比看书、刷题管用很多，这也是本人采用纯C语言…...

编程日记 2025/7/26 9:38:32

wend看源码-APISJON

项目地址腾讯APIJSON官方网站定义 APIJSON 可以定义为一个面向HTTP 协议的JSON 规范，一个面向数据访问层的ORM 框架。其主要工作流程包括：前端按照既定格式组装 JSON 请求报文，通过 APIJSON-ORM 将这些报文直接转换为 SQL 语句&#xff0c…...

编程日记 2025/7/28 21:53:57

CSS(8):盒子阴影与文字阴影

一：盒子阴影text-shadow属性 1.box-shadow：h-shadow v-shadow blur spread color inset; 默认的是外部阴影outset，不能写在代码上 2.鼠标经过盒子后的阴影 rgba透明度 3.文字阴影 text-shadow:水平偏移垂直偏移模糊度阴影颜色; 注意点…...

编程日记 2025/7/24 23:23:21

Hadoop 系列 MapReduce：Map、Shuffle、Reduce

文章目录前言MapReduce 基本流程概述MapReduce 三个核心阶段详解Map 阶段工作原理 Shuffle 阶段具体步骤分区（Partition）排序（Sort）分组（Combine 和 Grouping） Reduce 阶段工作原理 MapReduce 应用场景Map…...

编程日记 2025/7/29 23:06:31

web——sqliabs靶场——第十三关——报错注入+布尔盲注

发现是单引号加括号闭合的尝试联合注入发现不太行，那尝试报错注入。测试报错注入 unameadmin) and updatexml(1,0x7e,3) -- &passwdadmin&submitSubmit 爆数据库 unameadmin) and updatexml(1,concat(0x7e,database(),0x7e),3) -- &passwdadmin&a…...

编程日记 2025/7/30 7:23:40

调大Vscode资源管理器字体

对于调整资源管理器字体大小（也就是下图红框），查找了网上很多方法。要么介绍的方法是调整了代码字体，要么是调节了终端字体，要么是通过整体放缩实现的调整，总之都不合适。唯一的调整方法是在几篇CSDN里看到…...

编程日记 2025/7/26 15:01:34

【新人系列】Python 入门（十一）：控制结构

✍ 个人博客：https://blog.csdn.net/Newin2020?typeblog 📝 专栏地址：https://blog.csdn.net/newin2020/category_12801353.html 📣 专栏定位：为 0 基础刚入门 Python 的小伙伴提供详细的讲解，也欢迎大佬们…...

编程日记 2025/7/28 14:05:14