当前位置： 首页 > news >正文

python爬虫系列课程3：解决爬虫过程中遇到的编码问题

news 来源：原创 2025/9/21 5:34:27

python爬虫系列课程3：解决爬虫过程中遇到的乱码问题


在爬取某些网站时，以4399小游戏网站为例，正常编写爬虫代码并执行之后会出现乱码，代码如下： 

import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
}
url = 'https://www.4399.com'
response = requests.get(url,

相关文章：

python爬虫系列课程3：解决爬虫过程中遇到的编码问题

python爬虫系列课程3：解决爬虫过程中遇到的乱码问题 在爬取某些网站时，以4399小游戏网站为例，正常编写爬虫代码并执行之后会出现乱码，代码如下： import requestsheaders = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko…...

编程日记 2025/9/21 5:34:27

ocr智能票据识别系统|自动化票据识别集成方案

在企业日常运营中，对大量票据实现数字化管理是一项耗时且容易出错的任务。随着技术的进步，OCR（光学字符识别）智能票据识别系统的出现为企业提供了一个高效、准确的解决方案，不仅简化了财务流程，还大幅提升了…...

编程日记 2025/9/20 19:23:18

Go入门之map

map类型是引用类型，必须初始化才能使用，为key-value形式 var userinfo make(map[string]string)userinfo["username"] "zhangsan"var user map[string]string{"username": "张三","age": &qu…...

编程日记 2025/9/19 22:31:37

SpringBoot 中封装 Cors 自动配置

在现代 Web 开发中，跨域资源共享（CORS）是一个常见的问题。Spring Boot 提供了灵活的方式来处理 CORS 配置。本文将介绍如何通过自动配置的方式，在 Spring Boot 应用程序中全局配置 CORS。 背景 当浏览器从一个域名的网页去请求另…...

编程日记 2025/9/19 23:15:30

Github很慢/无法访问：简单两步搞定

第一步：获取github当前的DNS列表 第二步：把它们复制到自己本地的hosts文件中，保存 比大象装冰箱还少一步！( 下面具体说怎么操作 ~） 获取github当前的DNS列表 http://raw.hellogithub.com/hosts 把这个地址粘贴到浏…...

编程日记 2025/9/19 4:44:31

反射机制的简单示例

一个使用反射机制的简单示例&#xff0c;这个示例将展示如何使用反射来实现一个通用的数据导出功能。 首先&#xff0c;让我们创建必要的项目结构和文件&#xff1a; 首先修改 pom.xml 添加依赖&#xff1a; <?xml version"1.0" encoding"UTF-8"?&…...

编程日记 2025/9/19 22:33:30

DeepSeek在学术读写翻译中的独特优势

上下文理解能力 DeepSeek的核心优势之一在于其卓越的上下文理解能力。它能够根据前文内容准确理解和回应用户的提问或指令&#xff0c;确保对话的连贯性和相关性。这一能力在处理长篇对话和复杂文本时尤为重要&#xff0c;能够帮助用户更好地把握整体逻辑和细节。 2. 翻译专业…...

编程日记 2025/9/15 18:58:45

rust笔记4-属性derive

在 Rust 中，#[derive] 是一种属性（attribute），用于自动为类型实现某些 Trait。通过 #[derive]，编译器可以自动生成这些 Trait 的默认实现，从而减少手动编写重复代码的工作量。 #[derive] 通常用于实现一些常见的 Trait，例如： Debug：为类型生成格式化输出的代码。Clon…...

编程日记 2025/9/21 1:45:55

前端（AJAX）学习笔记（CLASS 2）：图书管理案例以及图片上传

* BootStrap弹框 功能&#xff1a;不离开当前页面&#xff0c;显示单独内容&#xff0c;供用户操作 步骤&#xff1a; 1、引入bootstrap.css和bootstrap.js 2、准备弹框标签&#xff0c;确认结构 3、通过自定义属性&#xff0c;控制弹框的显示和隐藏 其中的bootstrap.css…...

编程日记 2025/9/20 10:20:17

跟李沐学AI：InstructGPT论文精读（SFT、RLHF）

原论文&#xff1a;[2203.02155] Training language models to follow instructions with human feedback 原视频&#xff1a;InstructGPT 论文精读【论文精读48】_哔哩哔哩_bilibili 简介 1. RLHF 的基本概念 RLHF 是一种结合强化学习和人类反馈的训练方法&#xff0c;旨在…...

编程日记 2025/9/18 17:26:56

RedisTemplate存储含有特殊字符解决

ERROR信息: 案发时间: 2025-02-18 01:01 案发现场: UserServiceImpl.java 嫌疑人: stringRedisTemplate.opsForValue().set(SystemConstants.LOGIN_CODE_PREFIX phone, code, Duration.ofMinutes(3L)); // 3分钟过期作案动机: stringRedisTemplate继承了Redistemplate 使用的…...

编程日记 2025/9/20 22:16:20

燧光 XimmerseMR SDK接入Unity

官网SDK文档连接&#xff1a; RhinoX Unity XR SDK 一&#xff1a;下载SDK 下载链接&#xff1a;RhinoX Unity XR SDK 二&#xff1a;打开Unity项目&#xff0c;添加Package 1、先添加XR Core Utilties包和XR Interaction Toolkit包 2、导 2、再导入下载好的燧光SDK 三&…...

编程日记 2025/9/20 9:33:35

Mycat中间件

一、概述 Mycat是开源的&#xff0c;活跃的、基于java语言编写的MySQL数据库中间件。可以像使用MySQL一样使用mycat&#xff0c;对于开发人员来说根本感觉不到mycat的存在&#xff1b; 二、安装 Mycat是采用java语言开发的开源数据库中间件&#xff0c;支持windows和linux运行环…...

编程日记 2025/9/16 8:16:40

【HBase】HBaseJMX 接口监控信息实现钉钉告警

目录 一、JMX 简介 二、JMX监控信息钉钉告警实现 一、JMX 简介 官网&#xff1a;Apache HBase ™ Reference Guide JMX &#xff08;Java管理扩展&#xff09;提供了内置的工具&#xff0c;使您能够监视和管理Java VM。要启用远程系统的监视和管理&#xff0c;需要在启动Java…...

编程日记 2025/9/19 13:08:20

OpenLayers总结3

一、 静态测距 1.原理 静态测距主要是针对地图上已有的矢量要素&#xff08;如线要素&#xff09;&#xff0c;利用 OpenLayers 提供的几何计算函数来获取其长度。在实际操作中&#xff0c;先加载包含几何要素的 GeoJSON 数据到矢量图层&#xff0c;当鼠标指针移动到要素上时…...

编程日记 2025/9/12 10:30:03

【OpenCV】在Liunx中配置OpenCV环境变量

将 /usr/local/include/opencv4 加入到环境变量中&#xff0c;可以帮助编译器找到 OpenCV 的头文件。这可以通过设置 CPLUS_INCLUDE_PATH 和 C_INCLUDE_PATH 环境变量来实现。以下是具体步骤&#xff1a; 方法一&#xff1a;临时设置环境变量 如果您希望临时设置这些环境变量…...

编程日记 2025/9/18 14:11:49

游戏引擎学习第109天

回顾目前进展 在这一期中&#xff0c;讨论了游戏开发中的一个重要问题——如何处理Z轴值的表示&#xff0c;尤其是在一个3D游戏中&#xff0c;如何更好地表示和存储这些值。上次的进展中&#xff0c;已经解决了透视投影的问题&#xff0c;意味着渲染部分的Z轴代码基本上已经完…...

编程日记 2025/9/19 19:19:50

npm、yarn、pnpm 的异同及为何推荐 pnpm

文章目录 一、引言二、npm 介绍&#xff08;一&#xff09;工作原理和特点&#xff08;二&#xff09;优势与不足 三、yarn 介绍&#xff08;一&#xff09;诞生背景和特性&#xff08;二&#xff09;与 npm 的主要区别 四、pnpm 介绍&#xff08;一&#xff09;核心优势和创新…...

编程日记 2025/9/12 10:29:58

基于遗传算法排课系统

一、遗传算法介绍&#xff1a; 遗传算法核心的任务是要通过编码体系&#xff0c;给出解决方案的染色体表现规则&#xff0c;首先需要随机初始化一定数量的种群&#xff08;population&#xff09;&#xff0c;而种群则由一定数目的个体(individual)构成。每个个体实际上是染色体…...

编程日记 2025/9/20 9:30:33

Windows 图形显示驱动开发-GpuMmu 示例方案

本文介绍常见使用方案以及实现这些方案所需的操作顺序。 更新进程的页表条目 下面是更新页表条目以将属于进程 (P) 的分配映射到物理内存的操作序列。 假定页表分配已驻留在图形处理单元中GPU)内存段。 视频内存管理器在分页进程上下文中为进程 P 的根页表分配分配虚拟地址范…...

编程日记 2025/9/19 9:44:58

【Linux AnolisOS】关于Docker的一系列问题。尤其是拉取东西时的网络问题，镜像源问题。

AnolisOS 8中使用Docker部署&#xff08;全&#xff09;_anolis安装docker-CSDN博客 从在虚拟机安装龙蜥到安装docker上面这篇文章写的很清晰了&#xff0c;我重点讲述我解决文章里面问题一些的方法。 问题1&#xff1a; docker: Get https://registry-1.docker.io/v2/: net/h…...

编程日记 2025/9/20 1:42:05

策略+适配器模式详解

文章目录 1.策略模式1.目录结构2.Strategy.java 策略接口3.StrategyA.java 策略A4.StrategyB.java 策略B5.StrategyC.java 策略C6.Context.java 策略上下文7.Client.java 客户端8.小结 2.适配器模式1.目录结构2.CustomPaymentProcessor.java 自己的支付接口3.PayPalPaymentServ…...

编程日记 2025/9/19 9:15:21

Vue中事件名的命名规范

Vue中事件名的命名规范 起因&#xff1a; 本人之前不太写vue的项目&#xff0c;最近接触了vue的代码&#xff0c;在学习的过程中同时也会伴随着一点疑惑。比如一以下面的父子组件的事件传递为例&#xff1a; 父组件&#xff1a; 显然&#xff0c;父组件有个自定义事件refre…...

编程日记 2025/9/17 13:21:19

云计算架构学习之Ansible-playbook实战、Ansible-流程控制、Ansible-字典循环-roles角色

一、Ansible-playbook实战 1.Ansible-playbook安装软件 bash #编写yml [rootansible ansible]# cat wget.yml - hosts: backup tasks: - name: Install wget yum: name: wget state: present #检查playbook的语法 [rootansible ansible]…...

编程日记 2025/9/20 22:12:22

背包dp与数位dp

背包dp 介绍 动态规划实际上就是将复杂问题分解成若干个子问题&#xff0c;并通过子问题的解逐步发展成整体问题的解的算法思想。&#xff08;我感觉这个解释就跟递归的思想一样&#xff09; 背包问题分为01背包(物体只能使用一次)&#xff0c;完全背包(物体可以使用无数次)&…...

编程日记 2025/9/12 10:29:44

【linux】更换ollama的deepseek模型默认安装路径

【linux】更换ollama的deepseek模型默认安装路径 文章目录 【linux】更换ollama的deepseek模型默认安装路径Ollama 默认安装路径及模型存储路径迁移ollama模型到新的路径1.创建新的模型存储目录2.停止ollama3.迁移现有模型4.修改 Ollama 服务配置5.重启ollama6.验证迁移是否成功…...

编程日记 2025/9/14 17:27:01

【紫光同创国产FPGA教程】——FPGA开发工具使用

本原创文章由深圳市小眼睛科技有限公司创作&#xff0c;版权归本公司所有&#xff0c;如需转载&#xff0c;需授权并注明出处&#xff08;www.meyesemi.com) 一&#xff1a;实验简介 实验目的&#xff1a;了解PDS软件的使用&#xff0c;在线Debugger工具的使用请看第八章uart实…...

编程日记 2025/9/19 15:41:25

面试技术分享：MySQL死锁与事务等待超时的临时解决方案

&#x1f4dd; 面试技术分享&#xff1a;MySQL死锁与事务等待超时的临时解决方案 1. 问题背景 某电商系统在促销高峰期出现库存更新失败&#xff0c;日志报错&#xff1a; Lock wait timeout exceeded; try restarting transaction (errno 1213)现象&#xff1a;多个事务因争…...

编程日记 2025/9/14 13:25:46

6.3 k8s的事件event和kube-scheduler中的事件广播器

什么是k8s的events k8s的events是向您展示集群内部发生的事情的对象 例如调度程序做出了哪些决定或者为什么某些 Pod 从节点中被逐出 哪些组件可以产生events 所有核心组件和扩展&#xff08;操作符&#xff09;都可以通过 API Server 创建事件k8s 多个组件均会产生 event …...

编程日记 2025/9/20 7:32:44

OAI 平台 4G（LTE）基站 、终端、核心网 端到端部署实践（一）

本系列文章，基于OAI LTE代码搭建端到端运行环境，包含 eNB,EPC,UE三个网元。本小节先介绍系统总体架构，硬件平台及驱动安装方法。 1. Overview 系统总体架构如下图所示。 2 Machine setup 2.1 Machine specs Distributor ID: Ubuntu Description: Ubuntu 18.04.5 LTS…...

编程日记 2025/9/20 22:22:59

t113修改串口

1 sys_config.fex [uart_para] uart_debug_port 0 uart_debug_tx port:PE02<6><1><default><default> uart_debug_rx port:PE03<6><1><default><default> 2 uboot修改启动参数 3 修改env.cfg启动地址和传输 #ear…...

编程日记 2025/9/18 21:05:24

「软件设计模式」桥接模式（Bridge Pattern）

深入解析桥接模式&#xff1a;解耦抽象与实现的艺术 一、模式思想&#xff1a;正交维度的优雅解耦 桥接模式&#xff08;Bridge Pattern&#xff09;通过分离抽象&#xff08;Abstraction&#xff09;与实现&#xff08;Implementation&#xff09;&#xff0c;使二者可以独立…...

编程日记 2025/9/19 2:22:58

“地质环境体检”辅助智慧地质，服务工程建设、城市用地规划

随着社会经济的高速发展&#xff0c;各类工程建设也在加快筹建中。在工程项目的快速推进中&#xff0c;如何保障工作安全和工程建设的质量&#xff0c;是国家和社会普遍关注的一个问题。地质环境条件是影响工程建设、城市用地规划的重要因素&#xff0c;加强地质风险系统性研究…...

编程日记 2025/9/12 10:29:30

TMS320F28335二次bootloader在线IAP升级

F28335总共ABCDEFGH个区域&#xff0c;每个32K*16bits&#xff0c;即64K字节。 bootloader代码占用A区&#xff0c;地址0x338000~0x33FF7F&#xff0c;cmd文件中SECTIONS部分&#xff0c;需要添加Flash28_API相关信息&#xff0c;具体下载Flash28335_API_V210的demo&#xff0…...

编程日记 2025/9/19 10:50:35

java:用Guava的TypeToken优雅处理通配符类型（WildcardType）: ? extends Number

在日常开发中我们经常会遇到泛型和通配符类型&#xff08;WildcardType&#xff09;&#xff0c;比如当我们需要处理List<? extends Number>这样的类型时&#xff0c;如何优雅地创建这样的类型表示&#xff1f;本文将重点介绍如何通过Guava的TypeToken来实现通配符类型的…...

编程日记 2025/9/20 15:49:43

ROS-相机话题-获取图像-颜色目标识别与定位-目标跟随-人脸检测

文章目录 相机话题获取图像颜色目标识别与定位目标跟随人脸检测 相机话题 启动仿真 roslaunch wpr_simulation wpb_stage_robocup.launch rostopic hz /kinect2/qhd/image_color_rect/camera/image_raw&#xff1a;原始的、未经处理的图像数据。 /camera/image_rect&#xff…...

编程日记 2025/9/15 17:13:54

Zabbix——Rocky9安装zabbix相关步骤记录

安装Zabbix 安装MariaDB 这里用MariaDB演示 https://mariadb.org/download/?trepo-config&dRedHatEnterpriseLinux9&v10.11&r_mneusoft 通过这个网址获得连接 选择对应的repo 根据系统版本和要安装的版本选择对应的repo 安装 新建一个repo文件&#xff0c;例…...

编程日记 2025/9/12 10:29:22

三轴云台之姿态测量篇

一、姿态测量的基本原理 三轴云台通过内置的传感器实时感知其姿态变化。这些传感器主要包括陀螺仪、加速度计和磁力计&#xff08;在某些高级系统中&#xff09;。 陀螺仪&#xff1a;用于检测云台的角速度变化&#xff0c;即绕三个轴的旋转速度。陀螺仪提供的数据是姿态测量的…...

编程日记 2025/9/18 2:02:05

Kotlin 2.1.0 入门教程（二十三）泛型、泛型约束、协变、逆变、不变

out&#xff08;协变&#xff09; out 关键字用于实现泛型的协变。协变意味着如果 B 是 A 的子类型&#xff0c;那么 Producer<B> 可以被视为 Producer<A> 的子类型。这里的 Producer 是一个使用泛型类型参数的类或接口&#xff0c;并且该泛型类型参数被标记为 ou…...

编程日记 2025/9/16 2:18:27

VSCode 中使用 Snippets 设置常用代码块

背景 在开发中&#xff0c;有很多代码片段是重复的&#xff0c;例如&#xff1a;vue文件中的模版&#xff0c;react 中的模版&#xff0c;打印的 log 等等&#xff0c;很多很多。对于这些重复性的工作&#xff0c;vscode 官方提供了解决方案-Snippets in Visual Studio Code&a…...

编程日记 2025/9/21 5:15:19

在conda虚拟环境中安装jupyter lab-----deepseek问答记录

在 Conda 虚拟环境中安装 Jupyter Lab 的步骤如下&#xff1a; 1. 创建并激活 Conda 虚拟环境 如果你还没有创建虚拟环境&#xff0c;可以使用以下命令创建一个新的虚拟环境并激活它&#xff1a; conda create -n myenv python3.x # 将 myenv 替换为你的环境名称&#xff0…...

编程日记 2025/9/20 1:42:35

单元测试整理

在国外软件开发中&#xff0c;单元测试必不可少&#xff0c;但是国内并不太重视这一块&#xff0c;一个好的单元测试可以提前发现很多问题&#xff0c;也减去和测试battle的时间 Spring单元测试 JUnit4 RunWith 指明单元测试框架 e.g. RunWith(SpringJUnit4ClassRunner.cla…...

编程日记 2025/9/12 9:26:35

计算机毕业设计hadoop+spark旅游景点推荐 旅游推荐系统 旅游可视化 旅游爬虫 景区客流量预测 旅游大数据 大数据毕业设计

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…...

编程日记 2025/9/15 22:05:03

Java虚拟机面试题：内存管理（下）

&#x1f9d1; 博主简介&#xff1a;CSDN博客专家&#xff0c;历代文学网&#xff08;PC端可以访问&#xff1a;https://literature.sinhy.com/#/?__c1000&#xff0c;移动端可微信小程序搜索“历代文学”&#xff09;总架构师&#xff0c;15年工作经验&#xff0c;精通Java编…...

编程日记 2025/9/19 13:07:01

【贝克街迷宫疑云：用侦探思维破解Java迷宫算法】

贝克街迷宫疑云&#xff1a;用侦探思维破解Java迷宫算法 "华生&#xff0c;把煤气灯调亮些。"福尔摩斯用放大镜仔细端详着桌上的羊皮纸&#xff0c;“这个案子比表面上看起来要复杂得多——它是个三维的思维迷宫。” 第一幕&#xff1a;离奇委托 1895年秋的伦敦笼…...

编程日记 2025/9/16 9:16:18

网络安全示意图 网络安全路线图

其实网络安全本身的知识点并不算难&#xff0c;但需要学的东西比较多&#xff0c;如果想要从事网络安全领域&#xff0c;肯定是需要系统、全面地掌握清楚需要用到的技能的。 自学的方式基本是通过看视频或者相关的书籍&#xff0c;不论是什么方法&#xff0c;都是很难的&#…...

编程日记 2025/9/20 8:07:57

ubuntu22.04离线安装K8S

1. 准备离线安装包 参考教程离线包准备教程 2. 准备环境 2.1. 准备主机 主机名ip系统k8s-master192.168.38.128ubuntu22.04k8s-node192.168.38.131ubuntu22.04 2.2. 设置host 修改 /etc/hosts 文件&#xff0c;添加master和node节点&#xff0c;需要和主机名保持一致 2…...

编程日记 2025/9/21 1:04:07

985本硕，网络安全方向，走算法还是走开发？

今天给大家分享的是一位粉丝的提问&#xff0c;985本硕&#xff0c;网络安全方向&#xff0c;走算法还是走开发&#xff1f; 接下来把粉丝的具体提问和我的回复分享给大家&#xff0c;希望也能给一些类似情况的小伙伴一些启发和帮助。 同学提问&#xff1a; 985本硕&#xff…...

编程日记 2025/9/21 0:53:16

如何清理 Linux 缓存 ？

和其他操作系统一样&#xff0c;Linux 使用缓存来优化系统性能。随着时间的推移&#xff0c;这些缓存可能会累积起来&#xff0c;尽管 Linux 擅长管理内存&#xff0c;但在某些情况下&#xff0c;手动清除可能是有益的&#xff0c;例如用于系统诊断、应用程序性能测试或其他特定…...

编程日记 2025/9/20 1:01:32

cv2库的使用及图像预处理02

目录 八,图像缩放 1. 图像缩放操作 2. 插值方法 &#xff08;1&#xff09;最邻近插值&#xff08;cv2.INTER_NEAREST&#xff09; &#xff08;2&#xff09;双线性插值&#xff08;cv2.INTER_LINEAR&#xff09; 3. 显示缩放结果 4. 目标尺寸 5. 总结 九,线性灰度变…...

编程日记 2025/9/20 19:10:48