当前位置：首页 > news >正文

Python 实现的采集诸葛灵签

news 来源：原创 2025/8/17 15:24:29

Python 实现的采集诸葛灵签

项目介绍

这是一个基于 Python 开发的诸葛灵签数据采集和展示项目。通过爬虫技术获取诸葛神签的签文和解签内容，并提供数据存储和查询功能。

项目结构

zhuge/├── zhuge_scraper.py # 爬虫主程序├── zhuge_pages/ # 数据存储目录│   ├── all_signs.json # 汇总数据│   └── zhuge_sign_*.json # 单个签文数据└── zhuge.md # 项目说明文档

功能特点

支持批量爬取 384 个诸葛神签
自动将中文数字转换为阿拉伯数字
数据以 JSON 格式保存
实现断点续传和错误重试
智能延时，避免请求过频
双重保存机制（单独文件 + 汇总文件）

技术栈

Python 3.x
requests：网络请求
BeautifulSoup4：HTML 解析
json：数据序列化
re：正则表达式处理

核心功能模块

1. 中文数字转换

实现了将"三百八十四"等中文数字转换为阿拉伯数字的功能：

def chinese_to_arabic(chinese_num):# 将中文数字（如"三百八十四"）转换为阿拉伯数字（384）

2. 页面解析

解析网页内容，提取签号、签文和解签信息：

def parse_zhuge_page(soup):# 解析页面内容，返回包含签号、签文和解签的字典

3. 数据爬取

处理单个页面的爬取和数据保存：

def scrape_zhuge_page(url):# 爬取单个页面并保存数据

4. 批量处理

控制批量爬取流程和请求频率：

def scrape_zhuge_range(start=1, end=384):# 批量爬取指定范围的签文

数据存储结构

数据以 JSON 格式存储，包含以下字段：

{"sign_number": "签号","sign_text": "签文内容","interpretation": "解签详解"
}

使用说明

环境准备

pip install requests beautifulsoup4

运行方式

python zhuge_scraper.py

数据输出

单个签文：zhuge_pages/zhuge_sign_[编号].json
汇总文件：zhuge_pages/all_signs.json

注意事项

请合理控制爬取频率
建议使用代理池轮换 IP
数据仅供学习研究使用
注意网站反爬虫机制

后续优化计划

添加代理池支持
优化中文数字转换算法
添加数据验证机制
实现更完善的错误处理
添加日志记录系统

项目源码

import requests
from bs4 import BeautifulSoup
import os
import time
import random
import re
import jsondef chinese_to_arabic(chinese_num):"""将中文数字转换为阿拉伯数字"""cn_num = {'零': 0, '一': 1, '二': 2, '三': 3, '四': 4,'五': 5, '六': 6, '七': 7, '八': 8, '九': 9,'十': 10, '百': 100}result = 0temp_sum = 0temp_num = 0for char in chinese_num:curr_num = cn_num.get(char)if curr_num == 100:  # 百temp_sum += (temp_num if temp_num > 0 else 1) * curr_numtemp_num = 0elif curr_num == 10:  # 十temp_sum += (temp_num if temp_num > 0 else 1) * curr_numtemp_num = 0else:  # 个位数temp_num = curr_numresult = temp_sum + temp_numreturn resultdef parse_zhuge_page(soup):"""Parse a Zhuge divination page and extract key information."""# Find the sign numbersign_number_elem = soup.find('dt', text=re.compile(r'诸葛测算第[零一二三四五六七八九十百]+签结果'))if sign_number_elem:chinese_num = re.search(r'第([零一二三四五六七八九十百]+)签', sign_number_elem.text).group(1)sign_number = str(chinese_to_arabic(chinese_num))else:sign_number = None# Find the sign textsign_text_elem = soup.find('dd').find('em')sign_text = sign_text_elem.text.strip() if sign_text_elem else None# Find the detailed interpretationinterpretation_elems = soup.find_all('dd')[1].find_all('p')interpretation = '\n'.join([p.text.strip() for p in interpretation_elems])return {'sign_number': sign_number,'sign_text': sign_text,'interpretation': interpretation}def scrape_zhuge_page(url):try:# 更完整的请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8','Accept-Encoding': 'gzip, deflate, br','Connection': 'keep-alive','Referer': 'https://www.chazidian.com/','Upgrade-Insecure-Requests': '1'}# 增加重试机制max_retries = 3retry_delay = 5for attempt in range(max_retries):try:response = requests.get(url, headers=headers, timeout=15)response.raise_for_status()breakexcept requests.RequestException as e:if attempt == max_retries - 1:raiseprint(f"Attempt {attempt + 1} failed, retrying in {retry_delay} seconds...")time.sleep(retry_delay)# 其余代码保持不变soup = BeautifulSoup(response.text, 'html.parser')page_data = parse_zhuge_page(soup)# 创建目录os.makedirs('zhuge_pages', exist_ok=True)# 保存到单个文件和独立文件all_data_file = 'zhuge_pages/all_signs.json'# 读取现有数据（如果存在）existing_data = []if os.path.exists(all_data_file):with open(all_data_file, 'r', encoding='utf-8') as f:existing_data = json.load(f)# 追加新数据existing_data.append(page_data)# 保存所有数据with open(all_data_file, 'w', encoding='utf-8') as f:json.dump(existing_data, f, ensure_ascii=False, indent=2)# 同时保存单独的文件（保持原有功能）filename = f'zhuge_pages/zhuge_sign_{page_data["sign_number"]}.json'with open(filename, 'w', encoding='utf-8') as f:json.dump(page_data, f, ensure_ascii=False, indent=2)print(f"Successfully scraped and saved {url}")return page_dataexcept requests.RequestException as e:print(f"Error scraping {url}: {e}")return Nonedef scrape_zhuge_range(start=1, end=384):"""Scrape a range of Zhuge divination pagesArgs:start (int): Starting page numberend (int): Ending page number"""# Scrape pagesfor page_num in range(start, end + 1):url = f'https://www.chazidian.com/zhuge{page_num}/'print(f"Scraping page {page_num}...")# Scrape pagepage_data = scrape_zhuge_page(url)if page_data:# Random delay to be nice to the servertime.sleep(random.uniform(0.5, 2))# Optional: break if too many errors occurif page_num % 50 == 0:print(f"Paused at page {page_num}. Waiting a bit...")time.sleep(random.uniform(3, 7))def main():try:scrape_zhuge_range(1, 384)print("Scraping completed successfully!")except Exception as e:print(f"An error occurred during scraping: {e}")if __name__ == '__main__':main()

Python 实现的采集诸葛灵签

Python 实现的采集诸葛灵签项目介绍这是一个基于 Python 开发的诸葛灵签数据采集和展示项目。通过爬虫技术获取诸葛神签的签文和解签内容，并提供数据存储和查询功能。项目结构 zhuge/├── zhuge_scraper.py # 爬虫主程序├── zhuge_pages/ # 数据存储目录…...

编程日记 2025/8/17 15:24:29

1.MobaXterm 这个软件方面粘贴,文件拷贝 MobaXterm 2.安装之前请确保你安装了Python 和 pip V5.2需要python3.8和pip mkdir esp32 cd esp32 git clone https://gitee.com/EspressifSystems/esp-gitee-tools.git cd esp-gitee-tools ./jihu-mirror.sh set cd .. git clone …...

编程日记 2025/8/17 16:01:27

Opencv之掩码实现图片抠图

掩码实现图片抠图目录掩码实现图片抠图1 掩码1.1 概念1.2 创建掩码1.3抠图思路 2 代码测试 1 掩码 1.1 概念掩码（Mask）是一种用于指定图像处理操作区域的工具。掩码通常是一个与图像尺寸相同的二值图像，其中像素值为0表示不处理&#xff…...

编程日记 2025/8/17 16:02:24

警惕！Ollama大模型工具的安全风险及应对策略

文章目录 **Ollama的安全隐患：不容忽视的风险****未授权访问：门户洞开的风险****数据泄露：敏感信息的外泄****漏洞利用：历史遗留的隐患** **安全加固：守护数据与服务的防线****限制监听范围：内网隔离的保护…...

编程日记 2025/8/15 23:54:59

MySQL -- 表的约束

概念引入：真正的约束表字段的是数据类型，但是数据类型的约束方式比较单一的，所以需要一些额外的一些约束，用于表示数据的合法性，在只有数据类型一种约束的情况下，我们比较难保证数据是百分百合法。通过添加…...

编程日记 2025/8/16 11:57:49

详解数据库范式

范式 1. 第一范式（1NF）2. 第二范式（2NF）3. 第三范式（3NF）4. BC范式（BCNF，Boyce-Codd Normal Form）5. 第四范式（4NF）6. 第五范式（5NF&a…...

编程日记 2025/8/16 12:43:51

Nginx + Keepalived 高可用集群

一、NginxKeepalived 原理 1.1.Nginx 负载均衡机制 Nginx 是一款轻量级且高性能的 Web 服务器和反向代理服务器，在负载均衡方面有着卓越的表现。其具备强大的七层流量管理能力，能够基于 URL、Cookie、HTTP 头信息等对请求进行精准路由。例如&#xff0…...

编程日记 2025/8/16 9:43:27

循环遍历 Java 集合中元素的方法总结

循环遍历 Java 集合中元素的方法在 Java 中，有多种方法可以遍历集合中的元素。以下是几种常见的遍历方法及其优缺点： 1. for-each 循环语法： for (ElementType element : collection) {// 处理 element }适用场景：所有集合类型…...

编程日记 2025/8/16 13:08:43

树莓派上的 TensorFlow Lite：从零开始的摄像头图像识别

**** 1. 引言随着人工智能（AI）和机器学习（ML）的发展，越来越多的开发者希望在嵌入式设备（如树莓派）上运行 AI 模型，实现目标检测、人脸识别等功能。TensorFlow Lite（TF…...

编程日记 2025/8/16 11:35:45

金融时间序列分析（Yahoo Finance API实战）

这里写目录标题金融时间序列分析（Yahoo Finance API实战）1. 引言2. 项目背景与意义3. 数据集介绍4. GPU加速在数据处理中的应用5. 交互式GUI设计与加速处理6. 系统整体架构7. 数学公式与指标计算8. 完整代码实现9. 代码自查与BUG排查10. 总结与展望金融时间序列分析（Yahoo …...

编程日记 2025/8/16 12:43:38

Python 正则表达式模块 re

Python 正则表达式模块 re flyfish 一、正则表达式基础 1. 什么是正则表达式？ 正则表达式（Regular Expression, RE）是一种用于匹配、查找和替换文本模式的工具，由普通字符（如字母、数字）和特殊字符&…...

编程日记 2025/8/16 12:30:44

Vue生命周期

一、Vue的生命周期及其阶段 Vue生命周期：一个Vue实例从创建到销毁的整个过程。也就是从开始创建、初始化数据、编译模板、挂载Dom→渲染、更新→渲染、卸载等一系列过程，我们称这是 Vue 的生命周期。生命周期的四个阶段：① 创建 ② 挂…...

编程日记 2025/8/16 11:58:58

vue3数据双向绑定解析

Vue 3 的双向绑定原理主要基于 Proxy 和 Reflect，核心源码在 reactivity 模块中。 1. 核心模块：reactivity reactivity 模块负责响应式数据的实现，主要包括以下几个文件： reactive.ts：处理对象和数组的响应式。ref.t…...

编程日记 2025/8/16 9:45:05

Gemini 2.0 全面解析：技术突破、应用场景与竞争格局

摘要 2025年3月，谷歌正式发布Gemini 2.0大模型，凭借其在多模态处理、代码生成和长上下文理解等领域的突破性进展，迅速成为AI领域的焦点。本文将深入剖析Gemini 2.0的技术架构、应用场景及与Grok3、DeepSeek R1、ChatGPT-4.5等竞品的对比&…...

编程日记 2025/8/16 9:44:49

【Linux系统编程】管道

目录 1、什么是管道2、管道的种类3、数据的读写3.1、管道通信3.2、管道的命令实例： 4、无名管道4.1、pipe() 无名管道的创建示例：简单读写示例：加入进程示例：通过管道（pipe） 实现父子进程之间的双向通信 …...

编程日记 2025/8/16 12:15:00

LeeCode题库第643题

643.子数组最大平均数I 项目场景： 给你一个由 n 个元素组成的整数数组 nums 和一个整数 k 。请你找出平均数最大且长度为 k 的连续子数组，并输出该最大平均数。任何误差小于 10-5 的答案都将被视为正确答案。示例 1： 输入&#xff…...

编程日记 2025/8/16 11:32:01

数据炼丹与硬件互动：预测湿度的武学之道

前言在这茫茫数据江湖中，高手过招，唯有融合机器学习与物联网之精髓，方能于风云变幻间自成一派。本文正是为各位江湖同道献上的秘籍，既有数据炼丹（预处理、模型训练）之奥义，也有硬件互通&#…...

编程日记 2025/8/16 13:06:32

【SpringBoot】MD5加盐算法的详解

目录一、什么是加盐算法二、如何实现加盐算法 2.1 加盐算法代码实现 2.2 注册页面中进行密码加盐 2.3 登录页面进行加盐的解密 2.4 注册和登录一、什么是加盐算法加盐算法是一种用于增强密码安全性的技术。这种技术通过在密码存储过程中添加一个随机生成的盐值&…...

编程日记 2025/8/16 12:31:59

IP风险度自检，互联网的安全“指南针”

IP地址就像我们的网络“身份证”，而IP风险度则是衡量这个“身份证”安全性的重要指标。它关乎着我们的隐私保护、账号安全以及网络体验，今天就让我们一起深入了解一下IP风险度。什么是IP风险度 IP风险度是指一个IP地址可能暴露用户真实身份或被网络平台…...

编程日记 2025/8/16 11:42:39

如何手动使用下载并且运行 QwQ-32B-GGUF

首先使用安装 pip install ModelScope 使用 ModelScope 下载对应的模型 modelScope download --model Qwen/QwQ-32B-GGUF qwq-32b-q4_k_m.gguf 第二步开始下载 ollama git clone https://githubfast.com/ggerganov/llama.cpp # githubfast.com 可以加速下载切换到目录&am…...

编程日记 2025/8/16 12:50:50

【实战ES】实战 Elasticsearch：快速上手与深度实践-附录-3-从ES 7.x到8.x的平滑迁移策略

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路附录-版本升级指南 3-Elasticsearch 7.x 到 8.x 平滑迁移策略指南1. 升级必要性分析1.1 版本特性对比1.2 兼容性评估矩阵 2. 预升级准备清单2.1 环境检查表2.2 数据备份策略 3. 分阶段…...

编程日记 2025/8/16 12:02:04

IP 地址

文章目录 IP 地址IP 地址的分类IPv4 地址IPv6 地址公有 IP 与私有 IP静态 IP 与动态 IP子网与子网掩码常见 IP 地址用途IP 地址的工作方式总结 IP 地址 IP（Internet Protocol）地址是计算机网络中的标识符，用于唯一标识网络中的设备。它可以…...

编程日记 2025/8/15 13:13:23

利用余弦相似度在大量文章中找出抄袭的文章

我前面的2篇文章分别讲了如果利用余弦相似度来判断2篇文章的相似度，来确定文章是否存在抄袭，和余弦相似度的原理，即余弦相似度到底是怎么来判断文章的相似性高低的等等。这一篇再说下，对于文章字数多和大量文章时，如果…...

编程日记 2025/8/16 12:22:45

《C语言中“输入魔法师”：scanf函数的奥秘与技巧》

🚀个人主页：fasdfdaslsfadasdadf 📖收入专栏：C语言 🌍文章目入一、引言二、scanf函数的基本语法三、格式说明符的种类及用法（一）整数输入（二）浮点数输入（三&…...

编程日记 2025/8/16 11:58:24

VSTO（C#）Excel开发6：与窗体交互

初级代码游戏的专栏介绍与文章目录-CSDN博客我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。源码指引：github源…...

编程日记 2025/8/16 12:59:48

PCL 点云OBB包围盒（二）

文章目录一、简介二、实现步骤二、实现代码三、实现效果参考资料一、简介包围盒是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体（称为包围盒）来近似地代替复杂的几何对象。（来源于百度）常用的求解包围盒的算法主要有AABB和OOB算法，但AAB…...

编程日记 2025/8/16 12:18:08

IDEA 一键完成：打包 + 推送 + 部署docker镜像

1、本方案要解决场景？ 想直接通过本地 IDEA 将最新的代码部署到远程服务器上。 2、本方案适用于什么样的项目？ 项目是一个 Spring Boot 的 Java 项目。项目用 maven 进行管理。项目的运行基于 docker 容器（即项目将被打成 docker image&am…...

编程日记 2025/8/16 5:31:14

农业建设项目管理系统评测：8款推荐工具优缺点分析

本文主要介绍了以下8款农业建设项目管理系统：1.PingCode； 2. Worktile ；3. 建米农业工程项目管理系统；4. 开创云数字农业管理平台； 5. Trimble Ag Software；6.Conservis； 7. Agworld &#xff1…...

编程日记 2025/8/16 6:33:13

【MySQL】表的约束（上）

文章目录表的约束什么是表的约束空属性默认值列描述（comment）零填充（zerofill）主键总结表的约束什么是表的约束表的约束（Constraints）是数据库表中的规则，用于限制存储的数据&#xff0c…...

编程日记 2025/8/16 11:10:14

根据TCP中的拥塞控制细说网卡了数据怎么传输

TCP（传输控制协议）中的拥塞控制是确保网络在数据传输过程中不会发生过载并导致网络崩溃的机制。拥塞控制通过动态地调整发送方的数据传输速率来适应网络的负载，从而避免网络拥塞。TCP的拥塞控制主要是根据网络的状况自动调整其发送速率&#…...

编程日记 2025/8/16 12:03:53

【SpringMVC】入门版

1.基本概念 1.1三层架构三层架构也就是我们常说的b/s架构中的表现层，业务层和持久层,每层都各司其职，下面来分别讲解这三层的作用。表现层： 也就是我们常说的web层。它负责接收客户端的请求，向客户端响应结果，通…...

编程日记 2025/8/16 11:14:58

DAY33 贪心算法Ⅱ

122. 买卖股票的最佳时机 II - 力扣（LeetCode） 想到把整体利润分解为每天的利润，就豁然开朗了。 class Solution { public:int maxProfit(vector<int>& prices) {int result0;for(int i1;i<prices.size();i){resultmax(0,pric…...

编程日记 2025/8/16 1:35:29

re-二维四向迷宫题

关于迷宫我们结合具体的来进行描述。迷宫，顾名思义是有墙，且只有一条路可以走下去。当我们在题目中获得了map（地图）就拥有了上帝视角，就可以顺利的走出迷宫。在下面这个图就是一个迷宫的map，其中A是起…...

编程日记 2025/8/16 11:07:43

并发编程面试题一

1、什么是进程、线程、协程，他们之间的关系是怎样的进程是操作系统进行资源分配和调度的基本单位。每个进程都有独立的内存空间，进程之间相互独立，一个进程崩溃不会影响其他进程，进程间通信（IPC）需要通过…...

编程日记 2025/8/16 12:47:39

3.14周报

本周主要是在找双目视觉三维人体姿态估计方向的文章，这篇dual-diffusion，双目三维人体姿态估计的双扩散文章，引起了兴趣，作者从由于摄像机数量的减少，增加了3d重建的不确定性入手，然后使用了扩散模型&#…...

编程日记 2025/8/15 20:59:30

【redis】zset 类型：基本命令（上）

set 集合： 唯一无序。（顺序不重要）孙行者、行者孙>同一只猴 list 有序。（顺序很重要）孙行者、行者孙>不同的猴 zset 有序。升序/降序有序集合排序的规则是什么？ 给 zset 中的 member 引入了…...

编程日记 2025/8/16 12:57:52

3分钟复现 Manus 超强开源项目 OpenManus

文章目录前言什么是 OpenManus构建方式环境准备克隆代码仓库安装依赖配置 LLM API运行 OpenManus 效果演示总结个人简介前言近期人工智能领域迎来了一位备受瞩目的新星——Manus。Manus 能够独立执行复杂的现实任务，无需人工干预。由于限制原因大部分人无法体验…...

编程日记 2025/8/16 12:15:44

【Java篇】一法不变，万象归一：方法封装与递归的思想之道

文章目录 Java 方法的使用：从基础到递归的全面解析一、方法的概念及使用1.1 什么是方法 (method)?1.2 方法定义1.3 方法调用的执行过程1.4 实参和形参的关系1.5 没有返回值的方法二、方法重载2.1 为什么需要方法重载2.2 方法重载的概念2.2.4 C 和 Java 的比较&…...

编程日记 2025/8/16 11:31:07

SpringBoot解决跨域

将这个类添加到项目中 ResponseAdvice.java package com.example.homeLearn.config;import org.springframework.core.MethodParameter; import org.springframework.http.MediaType; import org.springframework.http.server.ServerHttpRequest; import org.springframework…...

编程日记 2025/8/16 9:53:34

【实战ES】实战 Elasticsearch：快速上手与深度实践-附录-2-性能调优工具箱

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路附录-性能调优工具箱 2-Elasticsearch 性能调优工具箱深度指南一、性能诊断工具集1.1 实时监控工具1.2 慢查询分析二、硬件与基础架构优化2.1 存储方案选型2.2 JVM调优参数三、索引…...

编程日记 2025/8/16 9:53:28

UDP协议栈之整体架构处理

在之前的章节中，笔者就UDP、ICMP、IP、ARP、MAC层的报文格式，以及组帧解帧、CRC校验、分片处理等操作进行了具体介绍以及详细代码实现，并且通过了仿真测试。但之前的仿真测试都是对单层报文的组帧解帧进行的，这些模块仍处于“孤立…...

编程日记 2025/8/16 12:02:59

健康医疗：动态代理 IP 保障医疗数据安全，提升远程医疗服务质量！

在数字化浪潮的推动下，远程医疗服务以其便捷性和高效性受到了广泛的关注。然而，随之而来的是数据安全问题，尤其是医疗数据的安全性，成为了制约远程医疗服务发展的关键因素。幸运的是，动态代理IP技术的出现，…...

编程日记 2025/8/16 11:52:17

Navicat SqlServer 设置自增主键

Navicat是一款优秀的数据库管理工具，可以连接很多类型的数据库。使用它可以极大的提高工作效率。 Navicat 不能设置SqlServer自增字段，只能通过sql语句来实现建表时设置 create table <表名> ( <字段1-主键> int identity (1,1) primar…...

编程日记 2025/8/16 11:34:54

实验8 搜索技术

实验8 搜索技术一、实验目的 （1）掌握搜索技术的相关理论，能根据实际情况选取合适的搜索方法； （2）进一步熟悉盲目搜索技术，掌握其在搜索过程中的优缺点； （3）…...

编程日记 2025/8/16 11:48:23

IMA+DeepSeekR1+本地知识库撰写NOIP2008普及组T3【传球游戏】题解

目录一、提问词二、DeepSeekR1回复题目描述解题思路实现代码代码说明三、说明【IMADeepSeekR1本地知识库】撰写NOIP2008普及组复赛题解系列 1、IMADeepSeekR1本地知识库撰写NOIP2008普及组T1【ISBN 号码】题解-CSDN博客 2、IMADeepSeekR1本地知识库撰写NOIP200…...

编程日记 2025/8/16 11:58:31