当前位置：首页 > news >正文

Python爬虫基础文件操作

news 来源：原创 2025/9/18 10:56:25

文件操作

引言

爬虫爬取的一切内容都是在内存进行的，这样会有什么问题吗？如果一旦短电或着发生意外电脑关机了那么你的工作成果将瞬间消失。所以，我们还缺少数据在本地文件系统进行持久化的能力，简单的来说就是文件读写操作。文件读写操作在爬虫中是必不可缺少的一部分。

文件打开

Python中内置了一个open()方法，用于对文件读写操作。使用open()方法操作文件可以分三步，一是打开文件，二是操作文件，三是关闭文件。

文件句柄/文件描述符

open()方法返回值是一个file对象，可以将它赋值给一个变量，这个变量就是所谓的文件句柄

file对象

可以调用read()和write()方法，对打开的文件进行读写操作

open方法的语法

f = open(fliename,mode)

filename

一个包含了你要访问的文件名称的字符串值，通常是文件路径。文件路径作用:定位到指定文件

mode

打开文件的模式，默认是只读r

文件打开的模式

常规文件打开模式操作示例

b模式:

二进制模式，通常用于读取图片、视频等二进制文件，注意，它在读写的时侯以bytes类型读写的，因此获得的是bytes对象而不是字符串在这个读写过程中，需要自己指定编码格式。在使用带b的模式一定要注意传入的数据类型，确保为bytes类型。

+模式:

对于w+模式，在读写之前都会清空文件的内容，建议不要使用。

对于a+模式，永远只能在文件末尾写入，有局限性。

对于r+模式，也就是读写模式，配合seek()和tell()方法可以实现更多操作

编码问题

要读取非utf-8文件,需要给open()函数传入encoding参数，例如，读取GBK编码的文件。

遇到一些编码不规范的文件，可能会抛出UnicodeDecodeError异常这表示在文件中可能掺杂了一些非法编码的。遇到这种情况可以提供errors='ignore'参数，表示如果遇到编码错误后如何处理。

文件对象操作

每当我们用open()方法打开文件时，将返回文件对象。这个对象内置了很多操作方法。

f.read(size)#size读取数据的个数

读取一定大小的数据，然后作为字符串或字节对象返回，size是一个可选的数字类型的参数，用于指定读取的数据量。当size被忽略了或者为负值，那么该文件的所有内容都将被读取并且返回。

注意：如果文件体积较大，建议不要使用read()方法一次性读入内存，而是read(512)一点一点的读。

f.readline()

从文件一行读取n内容。换行'\n'。如果返回一个空字符串，说明已经读取到最后一行。这种方法通常是读一行处理一行，并且不能回头读过的行不能在读了。

f.readlines()

件文件中所有的行，一行一行全部读入一个列表内，按顺序一个一个全部读入列表内，并返回这个列表。readlines方法一次性将文件全部读入内存，所以也存在一定的问题。但是它有个好处，每行都保存在列表里，可以随意存取。

fp = open('./text.txt','r')
text = for.read(10) #读取指定字节的数据
text_line = fp.readline() #一次读取一行数据
text_lines = fp.readlines() #读取多行数据返回一个列表
print(text_lines)
fq.close()

f.seek()

如果需要改变文件指针的位置，可以使用f.seek(offset,from_what)方法。seek()经常和tell()方法配合使用。

from_what

如果是0表示从文件开头计算

如果是1表示表示从文件读写指针的当前位置开始计算

2表示从文件结尾开始计算，默认是0

offset:表示偏移量

seek(x,0):从文件首行首字符开始移动x个字节

seek(x,1):表示从当前位置往后移动x个字节

seek(-x,2):表示从文件的末尾往前移动x个字节

fp=open('./text.txt','r')
fp.seek(9,0)
text=fp.read(5)
print(text)

f.tell()

返回文件读写指针当前所处的位置,它是从文件开头开始算起的字节数。一定要注意是字节数，而不是字符数。

fp=open('./text.txt','r')
print(fp.tell)
fp.close()

f.write()

将字符串或bytes类型的数据写入文件内。write()动作可以多次重复进行，其实都是在内存中操作，并不会立刻写入硬盘，直到执行close()方法后，才会将所有的的写入操作反映到硬盘上，在这个过程中，如果想将内存中修改，立刻保存到硬盘上，可以使用f.flush()方法。

fp=open('./text.txt','w')
fp.write('hello')
fp.close() #清空后写入

fp=open('./text.txt','a')
fp.write('hello')
fp.close() #追加

Python爬虫基础文件操作

文件操作引言爬虫爬取的一切内容都是在内存进行的，这样会有什么问题吗？如果一旦短电或着发生意外电脑关机了那么你的工作成果将瞬间消失。所以，我们还缺少数据在本地文件系统进行持久化的能力，简单的来说就是文件读写操作。文…...

编程日记 2025/9/18 10:56:25

OpenGauss MySQL兼容库迁移

OpenGauss 提供了从MySQL到OG的迁移工具，虽然安装在起来及其繁琐，也不怎么好用，不过我现在需要的是，从MySQL到OG的MySQL兼容库，可以理解成从MySQL到MySQL的迁移。但是很不幸的是，OG的MySQL的兼容模式&…...

编程日记 2025/9/14 0:28:24

SOME/IP--协议英文原文讲解10

前言 SOME/IP协议越来越多的用于汽车电子行业中，关于协议详细完全的中文资料却没有，所以我将结合工作经验并对照英文原版协议做一系列的文章。基本分三大块： 1. SOME/IP协议讲解 2. SOME/IP-SD协议讲解 3. python/C举例调试讲解 4.2.2 Req…...

编程日记 2025/9/14 13:32:34

linux shell 当命令执行出现错误立即退出的方法

在 Linux 脚本中，如果你想在整个脚本执行完毕后检查是否有错误发生，可以通过以下几种方式实现： 1. 使用 $? 检查上一条命令的退出状态每个命令执行后，Shell 会将其退出状态存储在特殊变量 $? 中。$? 的值为 0 表示成功&#…...

编程日记 2025/9/14 0:28:21

Moonshot AI 新突破：MoBA 为大语言模型长文本处理提效论文速读

前言在自然语言处理领域，随着大语言模型（LLMs）不断拓展其阅读、理解和生成文本的能力，如何高效处理长文本成为一项关键挑战。近日，Moonshot AI Research 联合清华大学、浙江大学的研究人员提出了一种创新方法 —— 混…...

编程日记 2025/9/15 0:53:23

vue2 和 vue3 中 computer 计算属性的用法

Vue 2 中的 computed 在 Vue 2 中，计算属性是响应式的，并且基于 getter 进行缓存，只有依赖的响应式数据发生变化时才会重新计算。基本用法 <template><div><p>原始消息：{{ message }}</p><p>反…...

编程日记 2025/9/15 21:20:53

Python爬虫入门到精通：从零开始的数据采集之旅

一、网络世界的"小蜘蛛"：什么是爬虫？想象一下，你是一只勤劳的小蜘蛛，每天在互联网这张巨大的网上爬来爬去。你不需要自己织网，只需要顺着别人织好的网络路径，把有价值的信息收集到自己的小篮子里。这就是爬虫最形象的比喻——一个自动化的信息采集程序。 Py…...

编程日记 2025/9/14 0:28:17

Python+Selenium+Pytest+POM自动化测试框架封装

🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 1、测试框架简介 1）测试框架的优点代码复用率高，如果不使用框架的话，代码会显得很冗余。可以组装日志、报告、邮件等一些高…...

编程日记 2025/9/17 15:16:24

【JMeter使用-2】JMeter中Java Request采样器的使用指南

Apache JMeter 是一款功能强大的性能测试工具，支持多种协议和测试场景。除了内置的采样器（如HTTP请求、FTP请求等），JMeter还允许通过 Java Request采样器调用自定义的Java代码，从而实现更复杂的测试逻辑。本文将详细介…...

编程日记 2025/9/17 7:17:23

IntelliJ IDEA中Maven配置全指南

一、环境准备与基础配置 1.1 Windows 环境下载并配置 Maven 见此篇博文：环境配置 1.2 IDEA配置步骤打开设置面板：File → Settings → Build → Build Tools → Maven 关键配置项： Maven home path E:\apache-maven-3.9.9 （…...

编程日记 2025/9/15 16:11:17

自学Java-AI结合GUI开发一个石头迷阵的游戏

自学Java-AI结合GUI开发一个石头迷阵的游戏准备环节1、创建石头迷阵的界面2、打乱顺序3、控制上下左右移动4、判断是否通关5、统计移动步骤，重启游戏6、拓展问题准备环节技术： 1、GUI界面编程 2、二维数组 3、程序流程控制 4、面向对象编程 ∙ \bulle…...

编程日记 2025/9/14 0:28:10

NetLogon 权限提升漏洞

参考文章：CVE-2020-1472NetLogon权限提升漏洞_cve-2020-1472复现谢公子-CSDN博客域控机器账户：WIN-0V0GAORDC17 域控 ip：192.168.72.163 域内攻击者机器 ip：192.168.72.158，host：WIN10-01 攻击者 kali…...

编程日记 2025/9/15 4:18:52

UDP和TCP

UDP协议报文中应该包含源IP，源端口号目的IP，目的端口号UDP/TCP 一个进程是否可以绑定多个端口号？ 可以。多个进程是否可以绑定一个端口号？ 不可以，因为端口号的主要作用是唯一标识一台计算机上的一个特定服务或应…...

编程日记 2025/9/14 0:28:07

2025 年 1 月公链行业研报：比特币主导地位强化

2025 年 1 月公链行业研报作者：Stella L (stellafootprint.network) 数据来源：Footprint Analytics 公链研究页面 2025 年 1 月，加密市场总市值增长 7.2% 至 2.8 万亿美元，主要区块链平台表现分化。在新的监管政策与人工智能基…...

编程日记 2025/9/14 0:28:05

在低功耗MCU上实现人工智能和机器学习

作者：Silicon Labs 人工智能（AI）和机器学习（ML）技术不仅正在快速发展，还逐渐被创新性地应用于低功耗的微控制器（MCU）中，从而实现边缘AI/ML解决方案。这些MCU是许多嵌入式…...

编程日记 2025/9/14 0:28:03

新数据结构(11)——Java类的产生和反射

反射是获取类信息的一种能力类信息包括属性、方法、构造器、父类、接口等类信息的来源来自类的加载器，这是从.class文件到内存中的java虚拟器（JVM）中间的一个阶段（如下图） 类的加载器里，用Field数组存…...

编程日记 2025/9/14 5:43:04

智能网络感知，打造极致流畅的鸿蒙原生版中国移动云盘图文体验

背景中国移动云盘（原“和彩云网盘”）是中国移动重磅推出的安全、智能、不限速、移动用户免流的智能云盘，致力于成为5G时代用户个人与家庭的数字资产管理中心，是中国移动继语音、短信、流量后的“第四项基础服务”。照片、音视…...

编程日记 2025/9/13 23:24:57

MySQL查看视图

《MySQL 9从入门到性能优化（视频教学版）（数据库技术丛书）》(王英英)【摘要书评试读】- 京东图书 (jd.com) MySQL9数据库技术_夏天又到了的博客-CSDN博客查看视图是查看数据库中已存在的视图的定义。查看视图必须要有SHOW VIE…...

编程日记 2025/9/13 23:24:56

量子计算的基本运算：Hadamard 门、CNOT 门、Pauli 门详解

量子计算是现代计算科学的前沿领域，它与经典计算机在处理信息的方式上有着本质的区别。量子计算机利用量子比特（qubit）的叠加态和量子纠缠等特性来进行计算，从而在某些特定任务上超越传统计算机。量子计算的核心运算单元是量子门，它们通过作用于量子比特来操控量子状态。本…...

编程日记 2025/9/15 17:32:58

java(spring boot)实现向deepseek/GPT等模型的api发送请求/多轮对话(附源码)

我们再启动应用并获取api密钥后就可以对它发送请求了，但是官方文档对于如何进行多轮对话以及怎么自定义参数并没有说的很清楚，给的模板也没有java的，因此我们需要自己实现。 import org.json.JSONArray; import org.json.JSONObject;import j…...

编程日记 2025/9/16 8:24:59

Flask flash() 消息示例

目录安装 Flask 入门：Flask flash() 基本示例进阶：使用 Flask-WTF Flash 登录结果消息详解：get_flashed_messages() 详解：flash() 消息的完整生命周期 Flask 提供 flash() 用于向用户传递临时消息，通常用于： • 表单提交成功或失败 • 用户登录、注册、退出提…...

编程日记 2025/9/15 18:00:04

文章目录 1. 安装NVIDIA驱动2. 安装CUDA&NV-CODEC2.1 安装CUDA2.2 安装NV-CODEC 3. 编译ffmpeg3.1 安装依赖3.2 下载源码安装依赖3.3 验证 4. 使用 1. 安装NVIDIA驱动安装依赖包 sudo apt install -y ubuntu-drivers-common编辑 /etc/modprobe.d/blacklist-nouveau.conf 文…...

编程日记 2025/9/15 17:36:27

C++类与对象深度解析（一）：从引用、内联函数到构造析构的编程实践

目录一.引用引用的特征：1.引用必须初始化 2.本质是别名 3.函数参数传递 4.常引用 5.函数返回值 6.权限放大缩小平移引用 vs 指针二.内联函数关键点说明三.宏函数四.类什么是类？ 简单的类五.构造函数与析构函数 1. 构造函数&…...

编程日记 2025/9/13 23:24:47

SpringCloud-使用FFmpeg对视频压缩处理

在现代的视频处理系统中，压缩视频以减小存储空间、加快传输速度是一项非常重要的任务。FFmpeg作为一个强大的开源工具，广泛应用于音视频的处理，包括视频的压缩和格式转换等。本文将通过Java代码示例，向您展示如何使用FFmpeg进行视…...

编程日记 2025/9/16 1:38:37

Pytorch实现之粒子群优化算法在GAN中的应用

简介简介：主要是采用了粒子群优化（PSO）算法来优化GAN的一个训练。PSO是一种是一种基于种群的随机优化技术。这种优化技术是通过粒子群进行的，粒子群在每次迭代中都会更新自己。对于给定的目标函数，这种方法利用一个搜索空间，在那里粒子群移动，找到所需的全局最小值。这…...

编程日记 2025/9/13 5:57:16

http+nginx

HTTP协议：超文本传输协议，Hyper Text transfer protocol（发明者：蒂姆.伯纳斯.李） 1.超文本包含超链接(link)和各种多媒体元素的文本，这些超文本文件彼此相连，形成网状（web&…...

编程日记 2025/9/15 7:24:39

网络运维学习笔记 014网工初级（HCIA-Datacom与CCNA-EI）ACL访问控制列表

文章目录 ACL（Access Control List，访问控制列表）思科：实验1（标准ACL）：实验2（扩展ACL）：实验3（ACL在VTY的使用场景）： 华为&…...

编程日记 2025/9/17 16:20:40

002 SpringCloudAlibaba整合 - Feign远程调用、Loadbalancer负载均衡

前文地址： 001 SpringCloudAlibaba整合 - Nacos注册配置中心、Sentinel流控、Zipkin链路追踪、Admin监控文章目录 8.Feign远程调用、loadbalancer负载均衡整合1.OpenFeign整合1.引入依赖2.启动类添加EnableFeignClients注解3.yml配置4.日志配置5.远程调用测试6.服务…...

编程日记 2025/9/13 23:24:38

机器视觉检测中，2D面阵相机和线扫相机的区别

2D面阵相机和线扫相机是工业视觉系统中常用的两种相机类型，各有其特点和应用场景。 2D面阵相机特点： 成像方式：通过二维传感器一次性捕捉整个场景的图像。分辨率：分辨率由传感器的像素数决定，常见的有百万像素到几千…...

编程日记 2025/9/13 23:24:36

解锁观察者模式：Java编程中的高效事件管理之道

系列文章目录后续补充~~~ 文章目录一、引言：探索观察者模式的奥秘二、观察者模式的核心原理2.1 模式定义与概念2.2 关键角色剖析2.3 工作机制深度解析三、观察者模式在 Java 中的实现3.1 手动实现观察者模式3.2 使用 JDK 内置的观察者模式3.3 代码示例解析与对比…...

编程日记 2025/9/15 9:55:15

Ubuntu编译ZLMediaKit

下载 git clone https://gitee.com/xia-chu/ZLMediaKit cd ZLMediaKit git submodule update --init安装工具 sudo apt install -y build-essential sudo apt install -y gcc g sudo apt install -y cmakesudo apt install -y build-essential cmake git libssl-dev libsdl1.…...

编程日记 2025/9/13 23:24:32

全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）

目录一、性能测试的指标 1、并发量 2、响应时间 3、错误率 4、吞吐量 5、资源使用率二、压测全流程三、其他注意点 1、并发和吞吐量的关系 2、并发和线程的关系四、调优及分布式集群压测（待仔细学习） 1.线程数量超过单机承载能力时的解决…...

编程日记 2025/9/13 23:24:30

鸿蒙初学者学习手册(HarmonyOSNext_API14)_自定义动画API（@ohos.animator (动画) ）

前言在纯血鸿蒙中最具有用户特色的效果就是自定义的动画效果。在纯血鸿蒙中有多种定义方式，但是今天介绍的是ApI中的自定义动画。注意: 动画本身具有生命周期，但是不支持在UIAbility的文件使用，简单而言就是不允许在UIAbility生命周期中…...

编程日记 2025/9/18 10:54:50

Grok 3.0 Beta 版大语言模型评测

2025年2月17日至18日，全球首富埃隆马斯克（Elon Musk）携手其人工智能公司xAI，在美国重磅发布了Grok 3.0 Beta版。这款被誉为“迄今为止世界上最智能的语言模型”的AI，不仅集成了先进的“DeepSearch”搜索功能&#xff0…...

编程日记 2025/9/17 8:42:29

IDEA中查询Maven项目的依赖树

在Maven项目中，查看项目的依赖树是一个常见的需求，特别是当你需要了解项目中直接或间接依赖了哪些库及其版本时。你可以通过命令行使用Maven的dependency:tree插件来做到这一点。这个命令会列出项目中所有依赖的树状结构。打开idea项目的终端&#xff…...

编程日记 2025/9/13 23:24:25

学习aigc

DALLE2 论文 Hierarchical Text-Conditional Image Generation with CLIP Latents [2204.06125] Hierarchical Text-Conditional Image Generation with CLIP LatentsAbstract page for arXiv paper 2204.06125: Hierarchical Text-Conditional Image Generation with CLIP L…...

编程日记 2025/9/13 23:24:23