当前位置：首页 > news >正文

Selenium配合Cookies实现网页免登录

news 来源：原创 2025/5/20 23:16:19

文章目录

前言
1 方案一：使用Chrome用户数据目录
2 方案二：手动获取并保存Cookies，后续使用保存的Cookies
3 注意事项

前言

在进行使用Selenium进行爬虫、网页自动化操作时，登录往往是一个必须解决的问题，但是Selenium每次打开的浏览器默认是不携带用户数据的，所以每次都需要手动登录。本文将详细介绍如何使用Selenium配合Cookies实现网页的自动登录功能，以链家网站为例进行讲解。
实现思路
1. 使用本地保存的Chrome用户数据目录
2. 先手动登录一次获取并保存Cookies，后续使用保存的Cookies

1 方案一：使用Chrome用户数据目录

思想：这种方案的核心是直接使用本地Chrome浏览器的用户数据，包括已保存的登录状态和Cookie信息。
代码实现（代码执行之前先保证手动正常打开网站时，网站是登陆了的，不然使用的用户数据也是没有登陆的，没有用）

from selenium import webdriver
from selenium.webdriver.chrome.service import Servicedriver_path = "E:\\ProgramFiles\\_CodeTools\\ChromeDriver\\chromedriver.exe"
service = Service(driver_path)options = webdriver.ChromeOptions()
# 设置用户数据目录
options.add_argument("--user-data-dir=C:/Users/L/AppData/Local/Google/Chrome/User Data")
# 禁用自动化提示
options.add_experimental_option("useAutomationExtension", False)
options.add_experimental_option("excludeSwitches", ["enable-automation"])browser = webdriver.Chrome(service=service, options=options)
browser.get("https://bj.lianjia.com/ershoufang/")# 后续操作
# ...

核心代码：

options.add_argument("--user-data-dir=C:/Users/L/AppData/Local/Google/Chrome/User Data")

该代码的作用是设置Chrome浏览器的用户数据目录（C:/Users/L/AppData/Local/Google/Chrome/User Data），使得Selenium可以直接使用本地Chrome浏览器的用户数据，包括已保存的登录状态和Cookie信息。不过应注意用户数据目录随操作系统、用户名等不同而不同，需要根据实际情况进行调整。

不同操作系统的数据目录如下：
- Windows: C:/Users/用户名/AppData/Local/Google/Chrome/User Data
- macOS: ~/Library/Application Support/Google/Chrome/Profile 1
- Linux: ~/.config/google-chrome/Default
优点
- 实现简单，不需要手动处理Cookie，代码量少
- 可以直接使用本地浏览器的所有配置
缺点
- 依赖本地Chrome浏览器配置
- 可能存在跨设备兼容性问题
- 需要指定正确的用户数据目录路径

2 方案二：手动获取并保存Cookies，后续使用保存的Cookies

思想：这种方案的核心是先通过手动登录获取网站的Cookies信息，将其保存到本地文件，后续使用时直接读取并应用这些Cookies来实现自动登录。
代码实现（第一步：获取Cookies）

import json
from selenium import webdriver
from selenium.webdriver.chrome.service import Servicedriver_path = "E:\\ProgramFiles\\_CodeTools\\ChromeDriver\\chromedriver.exe"
service = Service(driver_path)options = webdriver.ChromeOptions()
options.add_experimental_option("useAutomationExtension", False)
options.add_experimental_option("excludeSwitches", ["enable-automation"])browser = webdriver.Chrome(service=service, options=options)
browser.get("https://bj.lianjia.com/ershoufang/")# 等待手动登录
input("请登录后按回车继续...")# 获取cookie并保存
cookies = browser.get_cookies()
with open("cookies.json", "w") as f:json.dump(cookies, f, indent=4)# 关闭浏览器
browser.quit()

这一步在浏览器打开后网页是没有登录的，需要我们手动按照网页要求进行登录，登录完成后命令行回车，程序获取Cookies后保存到本地文件，结束程序。

代码实现（第二步：使用Cookies实现免登录）

import json
from selenium import webdriver
from selenium.webdriver.chrome.service import Servicedriver_path = "E:\\ProgramFiles\\_CodeTools\\ChromeDriver\\chromedriver.exe"
service = Service(driver_path)options = webdriver.ChromeOptions()
options.add_experimental_option("useAutomationExtension", False)
options.add_experimental_option("excludeSwitches", ["enable-automation"])browser = webdriver.Chrome(service=service, options=options)
browser.get("https://bj.lianjia.com/ershoufang/")# 读取并添加cookie
with open("cookies.json", "r") as f:cookies = json.load(f)
for cookie in cookies:browser.add_cookie(cookie)# 刷新页面，完成登录
browser.refresh()# 后续操作
# ...

这一步代码是读取保存的Cookies，并将其添加到浏览器中，完成自动登录。

核心代码：

# 步骤一：获取并保存Cookies
cookies = browser.get_cookies()
with open("cookies.json", "w") as f:json.dump(cookies, f, indent=4)# 步骤二：读取并使用Cookies
with open("cookies.json", "r") as f:cookies = json.load(f)
for cookie in cookies:browser.add_cookie(cookie)

这段代码展示了Cookies的获取、保存和使用过程。需要注意的是，Cookies通常都有有效期，过期后需要重新获取。

优点
- 可跨设备使用，便于部署
- Cookie可以保存和复用
- 实现更灵活，可以针对不同网站保存不同的Cookie
缺点
- 需要先手动登录获取Cookie
- Cookie可能会过期，需要定期更新
- 实现步骤相对较麻烦

3 注意事项

ChromeDriver版本要与Chrome浏览器版本匹配
Cookie有效期有限，需要定期更新
不同网站的Cookie获取方式可能不同
注意Cookie的安全存储，避免泄露
建议添加异常处理机制

Selenium配合Cookies实现网页免登录

文章目录前言1 方案一：使用Chrome用户数据目录2 方案二：手动获取并保存Cookies，后续使用保存的Cookies3 注意事项前言在进行使用Selenium进行爬虫、网页自动化操作时，登录往往是一个必须解决的问题，但是Selenium每次…...

编程日记 2025/5/20 23:16:19

HarmonyOS简介：HarmonyOS核心技术理念

核心理念一次开发、多端部署可分可合、自由流转统一生态、原生智能一次开发、多端部署可分可合自由流转自由流转可分为跨端迁移和多端协同两种情况统一生态支持业界主流跨平台开发框架，通过多层次的开放能力提供统一接入标准，实现三方框架快速…...

编程日记 2025/5/20 23:09:59

Unity URP 获取/设置 Light-Indirect Multiplier

Unity URP 获取/设置 Light-Indirect Multiplier 他喵的代码的字段名称叫：bounceIntensity ~~~~~~...

编程日记 2025/5/8 3:39:51

计算机网络（60）蜂窝移动通信网

一、定义与原理蜂窝移动通信网是指将一个服务区分为若干蜂窝状相邻小区并采用频率空间复用技术的移动通信网。其原理在于，将移动通信服务区划分成许多以正六边形为基本几何图形的覆盖区域，称为蜂窝小区。每个小区设置一个基站，负责本小区内移…...

编程日记 2025/5/19 14:44:41

解决.NET程序通过网盘传到Linux和macOS不能运行的问题

问题描述：.net程序用U盘传到虚拟机macOS和Linux可以正常运行，但是网盘传过去就不行。解决方法： 这是文件权限的问题。当你通过U盘将文件传输到虚拟机的macOS和Linux系统时，文件的权限和所有权可能得到了保留或正确设置。但如果…...

编程日记 2025/5/20 23:14:38

LeetCode | 不同路径

一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为 “Start” ）。机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中标记为 “Finish” ）。问总共有多少条不同的路径？ 示例 1…...

编程日记 2025/5/19 8:28:51

渗透测试技法之口令安全

一、口令安全威胁口令泄露途径代码与文件存储不当：在软件开发和系统维护过程中，开发者可能会将口令以明文形式存储在代码文件、配置文件或注释中。例如，在开源代码托管平台 GitHub 上，一些开发者由于疏忽，将包含数据…...

编程日记 2025/5/20 16:27:32

【C语言】main函数解析

一、前言在学习编程的过程中，我们很早就接触到了main函数。在Linux系统中，当你运行一个可执行文件（例如 ./a.out）时，如果需要传入参数，就需要了解main函数的用法。本文将详细解析main函数的参数&#xff…...

编程日记 2025/5/19 2:16:42

Vue3笔记——（二）

015 生命周期组件的生命周期： 【时刻】【调用特定的函数】 vue2生命周期创建 beforeCreate、 created 挂载 beforeMounte、mounted 更新 beforeUpdate、updated 销毁 beforeDestroy、destroyed 生命周期、生命周期函数、生命周期钩子 vue3生命周期创建 setup 挂…...

编程日记 2025/5/9 6:44:21

linux文件I/O

open 用于打开一个文件并返回一个文件描述符。文件描述符是一个整数，它在后续的文件操作中用于标识文件。原型： int open(const char *pathname, int flags, mode_t mode);pathname：要打开的文件的路径flags：指定文件打开方式…...

编程日记 2025/5/16 15:00:48

利用双指针一次遍历实现”找到“并”删除“单链表倒数第K个节点（力扣题目为例）

Problem: 19. 删除链表的倒数第 N 个结点文章目录题目描述思路复杂度Code 题目描述思路 1.欲找到倒数第k个节点，即是找到正数的第n-k1、其中n为单链表中节点的个数个节点。 2.为实现只遍历一次单链表，我们先可以使一个指针p1指向链表头部再让其先走k步…...

编程日记 2025/5/19 10:31:48

MySQL 8 不开通 CLONE 插件，建立主从关系

文章目录前言一、主库操作二、从库操作三、主库操作四、测试总结前言 MySQL 版本：8.0.36 MySQL 8 通过 CLONE 插件，搭建主从数据库详情参考链接文章主库不开通 CLONE 插件，如何建立主从关系呢？本文简单介绍一下一、主库操作…...

编程日记 2025/5/15 17:32:06

活动回顾和预告｜微软开发者社区 Code Without Barriers 上海站首场活动成功举办！

Code Without Barriers 上海活动回顾 Code Without Barriers：AI & DATA 深入探索人工智能与数据如何变革行业 2025年1月16日，微软开发者社区 Code Without Barriers （CWB）携手 She Rewires 她原力在大中华区的首场活动“AI &…...

编程日记 2025/5/9 5:07:38

Direct Preference Optimization (DPO): 一种无需强化学习的语言模型偏好优化方法

论文地址：https://arxiv.org/pdf/2305.18290 1. 背景与挑战近年来，大规模无监督语言模型（LM）在知识获取和推理能力方面取得了显著进展，但如何精确控制其行为仍是一个难题。现有的方法通常通过**强化学习从人类反馈&…...

编程日记 2025/5/19 7:23:55

搜狐Android开发（安卓）面试题及参考答案

ViewModel 的作用及原理是什么？ ViewModel 是 Android 架构组件中的一部分，主要作用是在 MVVM 架构中充当数据与视图之间的桥梁。它负责为视图准备数据，并处理与数据相关的业务逻辑，让视图（Activity、Fragment 等）专注于展示数据和与用户交互。比如在一个新闻应用中，Vie…...

编程日记 2025/5/17 18:23:29

蓝牙的一些基础知识（TODO）

前阵工作中遇到的。 iOS 和 iPadOS 支持的蓝牙描述文件 - 官方 Apple 支持 (中国) 在树莓派上定制蓝牙 Profile 通常需要修改或创建自定义的 Bluetooth 服务 (Profile) 来实现特定的功能，例如定制 Audio Sink、HID（Human Interface Device）、…...

编程日记 2025/5/17 13:44:35

Redis实战（黑马点评）——涉及session、redis存储验证码，双拦截器处理请求

项目整体介绍数据库表介绍基于session的短信验证码登录与注册 controller层 // 获取验证码PostMapping("code")public Result sendCode(RequestParam("phone") String phone, HttpSession session) {return userService.sendCode(phone, session);}// 获…...

编程日记 2025/5/18 2:15:17

WPF常见面试题解答

以下是WPF（Windows Presentation Foundation）面试中常见的问题及解答，涵盖基础概念、高级功能和实际应用，帮助你更好地准备面试： 基础概念什么是WPF？ WPF是微软开发的用于构建桌面应用程序的UI框架&#x…...

编程日记 2025/5/16 6:29:47

Nginx前端后端共用一个域名如何配置

在 Nginx 中配置前端和后端共用一个域名的情况，通常是通过路径或子路径将请求转发到不同的服务。以下是一个示例配置，假设： 前端静态文件在 /var/www/frontend/。后端 API 服务运行在 http://127.0.0.1:5000。域名是 example.com&#xff…...

编程日记 2025/5/19 17:20:46

DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？

DeepSeek掀起了生成式AI领域的风暴。首先推出DeepSeek-v3，现在推出DeepSeek-R1，这两款模型都打破了所有基准，并且完全开源。但今天我们不是在讨论这两款超级模型，而是讨论DeepSeek-R1的一个蒸馏版本——DeepSeek-R1-Distill-Qwen-1.5B，它可能是今天被低估的版本，虽然…...

编程日记 2025/5/16 8:48:38

wampserver + phpstrom 调试配置

step 1 点击任务栏wampserver图标->php->php.ini[apache module] 在文件最后面,确保这些值被定义且跟以下的一样 xdebug.mode debug xdebug.start_with_request yes xdebug.client_port 9003 xdebug.client_host 127.0.0.1step 2 按如下配置 step3 下断点,运行即…...

编程日记 2025/5/17 20:47:39

MySQL分表自动化创建的实现方案(存储过程、事件调度器)

《MySQL 新年度自动分表创建项目方案》一、项目目的在数据库应用场景中，随着数据量的不断增长，单表存储数据可能会面临性能瓶颈，例如查询、插入、更新等操作的效率会逐渐降低。分表是一种有效的优化策略，它将数据分散存储在多…...

编程日记 2025/5/15 21:00:58

RabbitMQ 架构分析

文章目录前言一、RabbitMQ架构分析1、Broker2、Vhost3、Producer4、Messages5、Connections6、Channel7、Exchange7、Queue8、Consumer 二、消息路由机制1、Direct Exchange2、Topic Exchange3、Fanout Exchange4、Headers Exchange5、notice5.1、备用交换机（Alter…...

编程日记 2025/5/20 6:45:26

Spring Boot 无缝集成SpringAI的函数调用模块

这是一个完整的 Spring AI 函数调用实例，涵盖从函数定义、注册到实际调用的全流程，以「天气查询」功能为例，结合代码详细说明： 1. 环境准备 1.1 添加依赖  <dependency><groupId>o…...

编程日记 2025/5/15 10:09:24

如何跨互联网adb连接到远程手机-蓝牙电话集中维护

如何跨互联网adb连接到远程手机-蓝牙电话集中维护 --ADB连接专题一、前言随便找一个手机，安装一个App并简单设置一下，就可以跨互联网的ADB连接到这个手机，从而远程操控这个手机做各种操作。你敢相信吗？而这正是本篇想要描述的…...

编程日记 2025/5/19 10:40:54

MySQL--》深度解析InnoDB引擎的存储与事务机制

目录 InnoDB架构事务原理 MVCC InnoDB架构从MySQL5.5版本开始默认使用InnoDB存储引擎，它擅长进行事务处理，具有崩溃恢复的特性，在日常开发中使用非常广泛，其逻辑存储结构图如下所示， 下面是InnoDB架构图&#xf…...

编程日记 2025/5/19 4:02:45

python：taichi 模拟一维波场

在 Taichi 中模拟一维波场，通常是利用 Taichi 编程语言的特性来对一维空间中的波动现象进行数值模拟，以下是相关介绍： 原理基础波动方程：一维波动方程的一般形式为 ，其中 u(x,t) 表示在位置x 和时间t 处的波的状态&…...

编程日记 2025/5/15 21:17:06

力扣【347. 前 K 个高频元素】Java题解（堆）

TopK问题，我们直接上堆。首先遍历一次然后把各个数字的出现频率存放在哈希表中便于后面堆的操作。因为是出现频率前 k 高，所以用小顶堆，当我们遍历的频率值大于堆顶值时就可以替换堆顶。代码： class Solution {public int[] …...

编程日记 2025/5/17 12:39:30

仿12306项目选座购票业务逻辑

12306项目选座购票业务逻辑文章目录 12306项目选座购票业务逻辑项目分享选座逻辑购票逻辑更新余票逻辑用户选座功能服务器售票功能0. 业务数据校验1. 保存确认订单表，状态初始化2. 查出余票记录，需要得到真是的库存3. 扣减余票数量，并判断余…...

编程日记 2025/5/14 17:13:24

2024年面对不确定性

24年处在了十字路口，面对工作、家庭、生活的责任，一切变得不确定了，量子力学给了我们新的认识世界的角度，不确定性才是这个世界的底色，我们怎么选择？ 不停的思考霍金在大设计书中给出了深刻的哲学思想&a…...

编程日记 2025/5/17 22:54:07

Nginx的负载均衡

一、概述 Nginx负载均衡是一种通过将客户端请求分发到多个后端服务器的技术，旨在提高系统的吞吐量、可用性和容错性。二、Nginx负载均衡工作原理 Nginx作为反向代理服务器，接收客户端的请求，并根据配置的负载均衡算法将请求转发到后端服务…...

编程日记 2025/5/19 4:46:56

vue3组件el-table报错

传给table标签的data不是数组就会报错， 摁着商品管理代码找了半天也没发现哪里错了，而且关闭报错表格数据能正常显示， 。。。最后发现我还有个订单管理页面，这里面的data初始化成ref( )了，把这个组件注释掉&#xf…...

编程日记 2025/5/19 3:48:43

天聚地合：引领API数据流通服务,助力数字经济发展

天聚地合：引领API数据流通服务,助力数字经济发展爱企猫01月24日消息：天聚地合（苏州）科技股份有限公司,成立于2010年,总部位于苏州,是一家综合性API数据流通服务商。公司旗下品牌‘聚合数据’已开发超过790个API,服务百万企业级客…...

编程日记 2025/5/19 18:07:30

AIGC的企业级解决方案架构及成本效益分析

AIGC的企业级解决方案架构及成本效益分析一，企业级解决方案架构 AIGC（人工智能生成内容）的企业级解决方案架构是一个多层次、多维度的复杂系统,旨在帮助企业实现智能化转型和业务创新。以下是总结的企业级AIGC解决方案架构的主要组成部分： 1. 技术架构企业级AIGC解决方…...

编程日记 2025/5/16 6:11:11

企业知识管理平台的对比分析与优化策略探讨

内容概要随着信息技术的飞速发展，企业对知识管理的重视程度日益提高。知识管理不仅有助于知识的积累和传承，更在于提升企业整体运营效率和创新能力。为此，众多企业纷纷引入知识管理平台，以便更好地管理和利用其内部知识资源。 …...

编程日记 2025/5/20 8:18:43

分布式数据库与集中式数据库

分布式数据库分布式数据库是在集中式数据库系统的基础上发展起来的，由多个相互连接并分布在不同物理位置的数据库组成。因此，可以独立于其他物理位置来管理存储在各个物理位置上的数据。因此，在不同物理位置的数据库之间的通信是由计算机网…...

编程日记 2025/5/20 4:59:05

STM32 OLED屏配置

1.OLED简介 OLED（Organic Light Emitting Diode）：有机发光二极管 OLED显示屏：性能优异的新型显示屏，具有功耗低、相应速度快、宽视角、轻薄柔韧等特点 0.96寸OLED模块：小巧玲珑、占用接口少、简单易用&a…...

编程日记 2025/5/19 0:42:12

Spring Boot - 数据库集成04 - 集成Redis

Spring boot集成Redis 文章目录 Spring boot集成Redis一：redis基本集成1：RedisTemplate Jedis1.1：RedisTemplate1.2：实现案例1.2.1：依赖引入和属性配置1.2.2：redisConfig配置1.2.3：基础使用 2&…...

编程日记 2025/5/15 17:50:40

Day47：遍历元组

元组是 Python 中的一种有序集合类型，类似于列表，但与列表不同的是，元组是不可变的。这使得元组的元素一旦创建就不能更改。尽管元组是不可变的，我们仍然可以使用循环结构来遍历元组中的元素。今天我们将学习如何遍历元组中的元…...

编程日记 2025/5/20 10:49:09

【PoCL】项目源码编译

PoCL 项目链接本博文主要介绍了源码编译llvm和PoCL的过程目录 0. 个人简介 && 授权须知1. 项目介绍2. 项目依赖3. 源码编译3.1 编译 LLVM 工程3.2 编译PoCL 工程 0. 个人简介 && 授权须知 📋 个人简介 💖 作者简介：大家好&…...

编程日记 2025/5/15 21:54:31

【数据分享】1929-2024年全球站点的逐月平均能见度（Shp\Excel\免费获取）

气象数据是在各项研究中都经常使用的数据，气象指标包括气温、风速、降水、湿度等指标！说到气象数据，最详细的气象数据是具体到气象监测站点的数据！ 有关气象指标的监测站点数据，之前我们分享过1929-2024年全球气象站点…...

编程日记 2025/5/17 5:03:20

免费GPU算力，不花钱部署DeepSeek-R1

在人工智能和大模型技术飞速发展的今天，越来越多的开发者和研究者希望能够亲自体验和微调大模型，以便更好地理解和应用这些先进的技术。然而，高昂的GPU算力成本往往成为了阻碍大家探索的瓶颈。幸运的是，腾讯云Cloud Studio提供了免…...

编程日记 2025/5/9 7:14:22

C语言的灵魂——指针(1)

指针是C语言的灵魂，有了指针C语言才能完成一些复杂的程序；没了指针就相当于C语言最精髓的部分被去掉了，可见指针是多么重要。废话不多讲我们直接开始。指针一，内存和地址二，编址三，指针变量和地址1&#…...

编程日记 2025/5/20 8:10:23

2000-2020年各省第三产业增加值占GDP比重数据

2000-2020年各省第三产业增加值占GDP比重数据 1、时间：2000-2020年 2、来源：国家统计局、统计年鉴 3、指标：行政区划代码、地区名称、年份、第三产业增加值占GDP比重 4、范围：31省 5、指标解释：第三产业增加值占G…...

编程日记 2025/5/19 17:19:36

Linux MySQL离线安装

一、准备工作 1. 下载MySQL安装包访问MySQL官方网站，选择适合您Linux系统的MySQL版本进行下载。通常推荐下载Generic Linux (glibc 2.12)版本的.tar.gz压缩包，例如mysql-8.0.33-linux-glibc2.12-x86_64.tar.xz。将下载好的安装包拷贝到Linux服务器的某…...

编程日记 2025/5/10 3:08:53

ESP32服务器和PC客户端的Wi-Fi通信

ESP32客户端-服务器Wi-Fi通信本指南将向您展示如何设置ESP32板作为服务端，PC作为客户端，通过HTTP通信，以通过Wi-Fi（无需路由器或互联网连接）交换数据。简而言之，您将学习如何使用HTTP请求将一个板的数据发…...

编程日记 2025/5/14 17:24:05

Linux文件权限

目录 1.Linux权限管理 1.1文件访问者的分类 1.2文件的类型和访问权限 1）文件类型 2）文件访问权限 3）chmod指令 4）chown指令编辑 5）chgrp命令 1.3目录权限 1.4粘滞位 1.5umask（权限掩码&…...

编程日记 2025/5/18 0:15:28

UE骨骼模拟物理

此功能可以制作仿动物派对上半身模拟物理效果 Set all bodies below simulate physics 骨骼名称设置为 spine_01 这样上半身所有骨骼都会模拟物理效果演示...

编程日记 2025/5/8 5:20:15

salesforce中如何获取一个profile的18位id

在 Salesforce 中，要获取一个 Profile 的 18 位 ID，可以通过以下几种方式实现： 方法 1：通过 Developer Console 登录 Salesforce。点击右上角的头像或设置齿轮，选择 “开发者控制台”（Developer Conso…...

编程日记 2025/5/18 17:49:11

为什么机器学习中梯度下降是减去斜率，而不是按照其数学意义减去斜率的倒数

做个简单假设，Loss函数的某一个参数的函数曲线是二次方程，其导数函数为 r 2 ∗ w r 2*w r2∗w 按照斜率意义来看，要减去斜率倒数降低LOSS需要将w1更新为w2，所以更新公式为 w w − Δ L Δ w w w - \frac{\Delta L}{\Delta w…...

编程日记 2025/5/20 16:29:35

文章目录

前言

1 方案一：使用Chrome用户数据目录

2 方案二：手动获取并保存Cookies，后续使用保存的Cookies

3 注意事项

相关文章：