当前位置：首页 > news >正文

python学习笔记--实现简单的爬虫(一)

news 来源：原创 2025/8/4 3:27:43

任务：爬取豆瓣最受欢迎的250个电影的资料

链接：豆瓣电影 Top 250

用浏览器打开后，使用F12或鼠标右键--检查，查看网页的源代码，分析网页结构，如下图所示：

分析后得知：
1.电影名位于class为hd的div中，里边嵌套中一层a标签和span标签，最终目的地为<span class="title"></span> ；

2.电影评分位于class_="rating_num"的span中；

3. 电影资料位于class_="bd"的div中；

参见下图：

下面通过编写python代码，爬取最受欢迎250部电影的名字，评分和电影资料，并导出到movies.txt文件中，下面简要说下编码实现过程：

1.导入2个第三方库:requests用于发送请求，bs4用于将复杂的网页代码结构解析成可读性强的书籍目录索引结构；

2.headers必不可少，很多网页都有反爬机制，使用headers能在一定程度绕开反爬机制，

3.按照上面分析出，提取出电影名，评分和电影资料，并存储到各自的集合中；

4.找出总面数，在for循环中逐页提取；

5.最后把所有页码中提取出来的信息输出到movies.txt文件中。

import bs4
import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}def get_response(url):response = requests.get(url, headers=headers)return responsedef find_movies(response):soup = bs4.BeautifulSoup(response.text, 'html.parser')#电影名movies = []targets = soup.find_all("div", class_="hd")for target in targets:movies.append(target.a.span.text)#电影评分ranks = []targets = soup.find_all("span", class_="rating_num")for target in targets:ranks.append('评分：%s'% target.text)#电影资料messages = []targets = soup.find_all("div", class_="bd")for target in targets:try:messages.append(target.p.text.split('\n')[1].strip()+target.p.text.split('\n')[2].strip())except:continueresult = []length = len(movies)for i in range(length):result.append((movies[i]+ranks[i]+messages[i]+'\n'))return result# 找出一共有多少页
def find_pages(response):soup = bs4.BeautifulSoup(response.text, 'html.parser')# 找到总页数total_pages = soup.find("span", class_="next").previous_sibling.previous_sibling.textreturn int(total_pages)# 爬取所有电影
def crawl_movies():url = 'https://movie.douban.com/top250'res = get_response(url)total_pages = find_pages(res)movies = []for i in range(total_pages):page_url = url + '?start=' + str(i*25)page_res = get_response(page_url)movies.extend(find_movies(page_res))with open('movies.txt', 'w', encoding='utf-8') as f:for movie in movies:f.write(movie)if __name__ == '__main__':crawl_movies()

温馨提示：爬虫一定要遵守网站的robot协议，友好爬取，别把对方的网站爬崩了。

python学习笔记--实现简单的爬虫(一)

任务：爬取豆瓣最受欢迎的250个电影的资料链接：豆瓣电影 Top 250 用浏览器打开后，使用F12或鼠标右键--检查，查看网页的源代码，分析网页结构，如下图所示： 分析后得知： 1.电影名位于…...

编程日记 2025/8/4 3:27:43

[学习笔记] 部署Docker搭建靶场

前言我们需要部署Docker来搭建靶场题目，他可以提供一个隔离的环境，方便在不同的机器上部署，接下来，我会记录我的操作过程，简单的部署一道题目 Docker安装不推荐在物理机上部署，可能会遇到一些问题&…...

编程日记 2025/8/4 3:27:42

二分查找-在排序数组中查找元素的第一个和最后一个位置

34.在排序数组中查找元素的第一个和最后一个位置给你一个按照非递减顺序排列的整数数组 nums，和一个目标值 target。请你找出给定目标值在数组中的开始位置和结束位置。如果数组中不存在目标值 target，返回 [-1, -1]。你必须设计并实现时间复杂度为 O(…...

编程日记 2025/8/4 3:27:43

蓝桥杯真题 2109.统计子矩阵

原题地址:1.统计子矩阵 - 蓝桥云课问题描述给定一个 NMNM 的矩阵 AA, 请你统计有多少个子矩阵 (最小 1111, 最大 NM)NM) 满足子矩阵中所有数的和不超过给定的整数 KK ? 输入格式第一行包含三个整数 N,MN,M 和 KK. 之后 NN 行每行包含 MM 个整数, 代表矩阵 AA. 输出格…...

编程日记 2025/8/4 3:26:09

学术型ppt制作经验分享 - 如何美化科研ppt?

WordinPPT / 持续为双一流高校、科研院所、企业等提供PPT制作系统服务。 - 院士增选、国家科技奖、杰青、长江学者特聘教授、校企联聘教授、重点研发、优青、青长、青拔... / 学术型ppt制作经验分享部分页面内容 / PPT全文共101页 - 科学技术奖ppt：自然科学奖…...

编程日记 2025/8/4 3:26:10

Python数据可视化实战：从基础图表到高级分析

Python数据可视化实战：从基础图表到高级分析数据可视化是数据分析的重要环节，通过直观的图表可以快速洞察数据规律。本文将通过5个实际案例，手把手教你使用Python的Matplotlib库完成各类数据可视化任务，涵盖条形图、堆积面积图、…...

编程日记 2025/7/29 12:57:47

稳定运行的以Oracle NoSQL数据库为数据源和目标的ETL性能变差时提高性能方法和步骤

提高基于Oracle NoSQL数据库的ETL（提取、转换、加载）性能时，主要从多个角度进行优化。提高基于Oracle NoSQL数据库的ETL性能需要综合考虑多个方面，关键是减少不必要的I/O操作、优化数据转换和加载过程、合理配置Oracle NoSQL数据…...

编程日记 2025/8/4 3:22:50

ORACLE 19.8版本数据库环境EXPDP导数据的报错处理

近期用户在做EXPDP导出时，报错异常termination终止;EXPDP本身是简单的功能并且这个环境也是经常做导出的，到底是什么原因导致了这个问题呢？ 导出脚本报错： 分析导出日志，当时系统资源充足但是进程启动失败，…...

编程日记 2025/8/3 20:20:20

GPT-5 将免费向所有用户开放？

GPT-5 将免费向所有用户开放？ 硅谷知名分析师 Ben Thompson 最近与 OpenAI CEO Sam Altman 进行了一场深度对谈，其中Sam Altman透漏GPT-5将免费向大家发放。 OpenAI 这波操作可不是一时冲动，而是被逼出来的。DeepSeek 这个新秀横空出世&am…...

编程日记 2025/8/4 3:18:04

【AI模型】深度解析：DeepSeek的联网搜索的实现原理与认知误区

一、大模型的“联网魔法”：原来你是这样上网的！ 在人工智能这个舞台上，大模型们可是妥妥的明星。像DeepSeek、QWen这些大模型，个个都是知识渊博的“学霸”，推理、生成文本那叫一个厉害。不过，要是论起上网…...

编程日记 2025/8/4 3:13:06

学习笔记--基于Sa-Token 实现Java项目单点登录+同端互斥检测

目录同端互斥登录单点登录SSO 架构选型模式二: URL重定向传播前后端分离整体流程准备工作搭建客户端搭建认证中心SSO Server 环境配置开放认证接口启动类跨域处理同端互斥登录同端互斥登陆模块同端互斥登录指：同一类型设备上只允许单地…...

编程日记 2025/8/4 3:26:11

Can通信流程

下面给出一个更详细的 CAN 发送报文的程序流程说明，结合 HAL 库的使用及代码示例，帮助你了解每一步的具体操作和内部原理。一、系统与外设初始化 1.1 HAL 库初始化在 main() 函数开头，首先调用 HAL 库初始化函数： HAL_Init()…...

编程日记 2025/7/22 17:41:03

基于BClinux8部署Ceph 19.2(squid)集群

#作者：闫乾苓文章目录 1.版本选择Ceph版本发布历史目前官方在维护的版本 2.部署方法3.服务器规划4.前置配置4.1系统更新4.2配置hosts cat >> /etc/hosts << EOFssh-keygenssh-copy-id ceph01ssh-copy-id ceph02ssh-copy-id ceph034.5 Python34.6 Syst…...

编程日记 2025/8/1 23:38:16

Workerman5.0如何实现一对一聊天

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...

编程日记 2025/7/31 8:09:06

c#难点整理2

1.对象池的使用就是先定义一系列的对象，用一个，调一个。 public class ObjectPool<T> where T : new(){private Queue<T> pool; // 用于存储对象的队列private int maxSize; // 对象池的最大容量// 构造函数public ObjectPool(int maxSi…...

编程日记 2025/7/31 20:19:32

STM32基础教程——定时器

前言 TIM定时器（Timer）:STM32的TIM定时器是一种功能强大的外设模块，通过时基单元（包含预分频器、计数器和自动重载寄存器）实现精准定时和计数功能。其核心原理是：内部时钟（CK_INT）或…...

编程日记 2025/7/27 16:22:08

How to share files with Windows via samba in Linux mint 22

概述 Windows是大家日常使用最多的操作系统，在Windows主机之间，可以共享文件，那么如何在Windows主机与Linux主机之间共享文件呢？ 要在Windows主机与Linux主机之间共享文件，我们可以借助Samba协议完成。借助Samba协议…...

编程日记 2025/8/1 20:35:24

[AI速读]如何构建高效的AMBA协议检查器（Checker IP）

在芯片验证过程中，检查器（Checker）是确保设计符合协议规范的关键工具。本文基于一篇技术论文，分享如何为AMBA协议（如AXI、AHB）构建可重用的检查器IP（Checker IP，简称CIP），并简化其核心思路，帮助工程师快速上手。一、什么是Checker IP？ Checker IP是一组用SystemVe…...

编程日记 2025/7/9 19:37:43

VBA-Excel

VBA 一、数据类型与变量常用数据类型： Byte：字节型，0~255。Integer：整数型，用于存储整数值，范围 -32768 到 32767。Long：长整型，可存储更大范围的整数，范围 -214748364…...

编程日记 2025/8/2 22:17:43

网络华为HCIA+HCIP IPv6

目录 IPv4现状 IPv6基本报头 IPv6扩展报头 IPv6地址 IPv6地址缩写规范编辑 IPv6地址分配 IPv6单播地址分配 IPv6单播地址接口标识 IPv6常见单播地址 - GUA （2 / 3 开头） IPv6常见单播地址 - ULA IPv6常见单播地址 - LLA IPv6组播地…...

编程日记 2025/7/28 22:58:25

LeetCode 每日一题 2025/3/17-2025/3/23

记录了初步解题思路以及本地实现代码；并不一定为最优也希望大家能一起探讨一起进步目录 3/17 1963. 使字符串平衡的最小交换次数3/18 2614. 对角线上的质数3/19 2610. 转换二维数组3/20 2612. 最少翻转操作数3/21 2680. 最大或值3/22 2643. 一最多的行3/23 2116…...

编程日记 2025/8/3 19:26:58

git tag以及git

git tag 以及git 一、先说收获吧 1. git bash 在windows上类似于linux的bash提供的shell命令行窗口，可以执行很多linux命令，cd pwd ls vim cat touch mkdir，还可以用正则匹配查看标签。相当于在windows上装了一个小的linux。git init myproj…...

编程日记 2025/8/2 16:44:02

Android 自定义变形 MD5 算法

版权归作者所有，如有转发，请注明文章出处：https://cyrus-studio.github.io/blog/ MD5是一种哈希函数，用于将任意长度的数据映射为一个固定长度的哈希值。它由 Ron Rivest 在 1991 年设计，是继 MD4 之后的改进版本。 M…...

编程日记 2025/7/28 6:56:25

【SpringBoot】MorningBox小程序的完整后端接口文档

以下是「晨光宅配」小程序的完整接口文档，涵盖了所有12个表的接口。每个接口包括请求方法、URL、请求参数、响应格式和示例接口文档 1. 用户模块 1.1 获取用户信息 URL: /user/{userId}方法: GET请求参数: userId (路径参数): 用户ID响应格式:{"userId": 1,&qu…...

编程日记 2025/8/3 14:45:44

2025年01月03日微创网络（杭州银行外包）前端面试

目录 html 块级元素和行内元素有哪些阴影的几个属性垂直水平居中的实现方式定位的几种方式盒子模型的方式js的数组方法有哪些vue2 vue3 区别vuex哈希路由和浏览器路由的区别浏览器缓存的几个方式react hooks的优势react 组件传值vue 组件传值如何进行性能优化前端监控get post…...

编程日记 2025/8/3 10:48:04

工单分类总结

微调BERT-base模型，构建层次化分类器，Top-3准确率达97.2%，并自动识别出问题的关键类别 1. 具体微调的BERT-base模型是什么模型？ BERT-base模型是一个预训练的Transformer模型，包含12个Transformer块、12个自注意头和隐藏大小为768。该模型在大规模文本数据上进行了预训练…...

编程日记 2025/7/29 18:36:55

2025年了，5G还有三个新变化

最近舆论开始讨论5G为什么不火了？5G是不是停滞发展了。实际上，5G不仅在发展，还迎来了它的升级版5G-A。在今年西班牙举行的世界移动通信大会上，5G-A就是焦点之一。被誉为全球通信领域风向标的MWC，汇聚了华为、中兴通…...

编程日记 2025/8/2 6:38:37

区块链交易所平台开发全解析

在数字化飞速发展的今天，区块链技术已成为金融领域的核心驱动力之一。作为数字货币交易的关键平台，区块链交易所的开发不仅涉及复杂的技术环节，还需要兼顾用户体验、安全性、合规性等多个方面。本文将深入探讨区块链交易所平台的开发流程、关…...

编程日记 2025/8/4 1:34:22

hexo+butterfly博客功能完善和美化（四）---博客上传

hexobutterfly博客功能完善和美化（四）—博客上传这是最后一期讲美化和功能完善了，笔者会陆续把csdn上面的博客转移到我的博客网站上面，大家可以来访问 Darlingの妙妙屋文章目录 hexobutterfly博客功能完善和美化（…...

编程日记 2025/8/1 18:25:32

源码分析之Leaflet中dom模块DomEvent.DoubleTap的实现原理

概述 DomEvent.DoubleTap模块是Leaflet中用于模拟双击(dbclick)事件的模块，主要解决移动端浏览器对双击事件支持不完善或延迟的问题，同时避免与标签(<label>)关联的表单元素误触发。源码分析源码实现如下 DomEvent.DoubleTap的源码实现如下&…...

编程日记 2025/8/3 1:37:02

记录一次，rabbitmq开启stomp插件之后，还是连不上15674端口的问题

原因是装在docker 里面的rabbitmq 没有映射15674端口，需重新删除容器之后重新运行 docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 -p 15674:15674 -p 1883:1883 -p 15675:15675 rabbitmq:版本号进入docker容器开启插件 docker exec -it rabbitm…...

编程日记 2025/8/3 1:37:07

git clone项目报错fatal: fetch-pack: invalid index-pack output问题

前情回顾：git项目放在公司服务器上面，克隆等操作需要连接VPN才能操作。由于项目比较大，网速比较慢，克隆项目经常出现fetch-pack: invalid index-pack output。在网上查找各种解决方法。也就这一种有点效果。仅供参考，不…...

编程日记 2025/7/20 14:50:09

【access开发】导入excel 并生成表

hi，大家好呀！ 最近天气越来越暖了，在这个春暖花开的季节了，每天心情应该都是美美的，正所谓一年之计在于春，在这个美好的季节，大家一起努力学习学习吧！那我们来看看今天学点啥呢&…...

编程日记 2025/7/31 11:52:51

利用knn算法实现手写数字分类

利用knn算法实现手写数字分类 1.作者介绍2.KNN算法2.1KNN（K-Nearest Neighbors）算法核心思想2.2KNN算法的工作流程2.3优缺点2.4 KNN算法图示介绍 3.实验过程3.1安装所需库3.2 MNIST数据集3.3 导入手写数字图像进行分类3.4 完整代码3.5 实验结果 1.作者介…...

编程日记 2025/7/31 20:24:42

从零开始实现 C++ TinyWebServer 处理请求 HttpRequest类详解

文章目录 HTTP 请求报文HttpRequest 类实现 Init() 函数实现 ParseRequestLine() 函数实现 ParseHeader() 函数实现 ParsePath() 函数实现 ParseBody() 函数实现 ParsePost() 函数实现 ParseFromUrlEncoded() 函数实现 UserVerify() 函数实现 Parse() 函数HttpRequest 代码Http…...

编程日记 2025/7/19 11:05:25

Android开发layer-list

Android开发layer-list 它的用处可以在drawable上进行多图拼接，比如启动页，不想图片被拉伸就这么做。还有做某些线突出来。示例代码： <?xml version"1.0" encoding"utf-8"?> <layer-list xmlns:android&q…...

编程日记 2025/8/2 16:44:03

如何提升库存系统的高并发和稳定性：算法与设计模式

库存系统是企业运营的核心模块，尤其是在电商、零售和供应链管理中，系统的高并发和稳定性直接影响订单处理的准确性和效率。面对海量订单、复杂的库存管理需求，如何在高并发环境下确保库存数据的准确性和系统的稳定性？本文将从架构…...

编程日记 2025/7/30 8:20:43

关于CNN,RNN,GAN,GNN,DQN,Transformer,LSTM,DBN你了解多少

以下是神经网络中常见的几种模型的简要介绍： 1. CNN (Convolutional Neural Network, 卷积神经网络) 用途: 主要用于图像处理和计算机视觉任务。特点: 通过卷积核提取局部特征，具有平移不变性，能够有效处理高维数据（如图像…...

编程日记 2025/8/3 6:30:06

设计模式之装饰器模式

装饰器模式(Decorator)依然是我们设计模式中的结构型模式，其中的构造思想仍然是对多个类进行组合使用，以达成系统调用实现指定功能的设计模式。装饰器模式不论在我们日常开发过程中还是在我们提升技术阅读源码过程中都是比较常见的，但是整体学…...

编程日记 2025/7/30 4:11:25

Mistral AI发布开源多模态模型Mistral Small 3.1：240亿参数实现超越GPT-4o Mini的性能

法国人工智能初创公司Mistral AI于2025年3月正式推出新一代开源模型Mistral Small 3.1 ，该模型凭借240亿参数的轻量级设计，在多项基准测试中表现优异，甚至超越了Google的Gemma 3和OpenAI的GPT-4o Mini等主流专有模型。 1、核心特性与优势多…...

编程日记 2025/7/29 1:36:53

SpringBoot3实战（SpringBoot3+Vue3基本增删改查、前后端通信交互、配置后端跨域请求、数据批量删除(超详细)）(3)

目录一、从0快速搭建SpringBoot3工程、SpringBoot3集成MyBatis、PageHelper分页查询的详细教程。(博客链接) 二、实现前端与后端通信对接数据。(axios工具) （1）安装axios。(vue工程目录) （2）封装请求工具类。(request.js) <1&…...

编程日记 2025/8/1 17:28:34

LabVIEW发电平台数据采集系统

本文详细介绍了基于LabVIEW的摇臂式波浪发电平台数据采集系统的设计与实现。通过整合LabVIEW软件与多种传感器技术，本系统能够有效提升数据采集的准确性和效率，为波浪能的利用和发电设备的优化提供科学依据。项目背景随着全球能源需求增长和环境保…...

编程日记 2025/8/2 16:43:51

人工智能（AI）系统化学习路线

一、为什么需要系统化学习AI？ 人工智能技术正在重塑各行各业，但许多初学者容易陷入误区： ❌ 盲目跟风：直接学习TensorFlow/PyTorch，忽视数学与算法基础。 ❌ 纸上谈兵：只看理论不写代码，无法解…...

编程日记 2025/7/30 1:22:43

oracle事务的组成

1)数据库事务由以下的部分组成: 一个或多个DML 语句 ; 一个 DDL(Data Definition Language – 数据定义语言) 语句； 一个 DCL(Data Control Language – 数据控制语言)语句； 2)事务的执行开始： 以第一个 DML 语句的执行作为开始 ，…...

编程日记 2025/8/3 18:16:01

第二十八篇数据获取与数据分析：数仓体系下的专业化分工与协同

声明：文章内容仅供参考，需仔细甄别。文中技术名称属相关方商标，仅作技术描述；代码示例为交流学习用途，部分参考开源文档（Apache 2.0/GPLv3）；案例数据已脱敏，技术推荐保持…...

编程日记 2025/8/4 1:28:09

SpringSecurity——前后端分离登录认证

SpringSecurity——前后端分离登录认证的整个过程前端： 使用Axios向后端发送请求 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>登录</title><script src"https://cdn…...

编程日记 2025/7/28 15:01:34

【AI】Orin Nano+ubuntu22.04上移植YoloV11，并使用DeepStream测试成功

1、准备工作使用 sdk-manager 烧写 OrinNano， JetPack版本为6.0 DP，对应操作系统为：Ubuntu22.04 参见博客：【NVIDIA】Jetson Orin Nano系列：烧写Ubuntu22.04 2、安装 PyTorch 2.1 下载依赖 1）安装onnx pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/sim…...

编程日记 2025/8/1 20:41:02

RHCE 使用nginx搭建网站

一。准备工作 Windows dns映射创建目录网页 vim 编辑内容添加如下重启nginx服务，在Windows浏览器进行测试...

编程日记 2025/7/3 12:58:34

arm linux下的读写信号量rw_semphore的实现

本文基于arm linux 5.10来介绍内核中使用的读写信号量rw remphore的实现代码。内核中信号量结构体struct rw_semaphore的定义在include/linux/rwsem.h 32位architectures下，结构体struct rw_semaphore中的count的使用如下： 先来看信号量的定义和初始化…...

编程日记 2025/7/31 13:09:25

搭建主从DNS、nfs、nginx

任务需求： 客户端通过访问 www.nihao.com 后，能够通过 dns 域名解析，访问到 nginx 服务中由 nfs 共享的首页文件，内容为：Very good, you have successfully set up the system. 各个主机能够实现时间同步，…...

编程日记 2025/7/28 1:20:55

相关文章：