当前位置： 首页 > news >正文

大批量URL去重的架构设计(redis-bitmap+redisson)

news 来源：原创 2025/6/9 7:07:53

1. 引言

  • 什么是数据去重？
    • 在大数据处理中，去重是指消除重复数据，只保留唯一的数据记录。
  • 去重的重要性
    • 提高数据处理效率，节省存储空间，提升数据分析的准确性。
  • 常见的去重技术
    • 基于哈希函数、布隆过滤器、位图等方法。

2. 大规模URL去重的挑战

  • 数据量巨大：处理数亿甚至数十亿的URL。
  • 高并发：实时接收和处理大量URL请求。
  • 内存与存储：高效利用内存和存储资源，降低成本。
  • 低延迟：确保去重操作的快速响应，满足实时性要求。
  • 高可用性与扩展性：系统需具备高可用性，并能够根据数据量增长进行水平扩展。

3. 架构概述

采用MurmurHash3哈希算法将URL映射为哈希值，再利用Redis位图存储这些哈希值对应的位状态，以实现高效的去重操作。Redis位图的优势在于其内存效率高、位操作速度快，适合大规模数据的去重需求。

4. 技术选型

MurmurHash3

  • 特点：
    • 高效的非加密哈希函数，适合大数据量处理。
    • 良好的散列分布性，减少哈希冲突。
    • 开源且易于实现。

Redis 位图（Bitmap）

  • 特点：
    • 每个位只占用一个比特位，内存利用率高。
    • 支持高效的位操作，如设置、获取和统计。
    • 支持持久化和分布式部署。

Redisson客户端

  • 特点：

    • 基于Redis的Java客户端，提供高级功能和分布式数据结构支持。
    • 支持异步操作、事务、分布式锁等。
    • 简化Redis操作，提升开发效率。

5. 系统架构设计

数据流与组件

  1. 数据接收模块：接收待去重的URL。
  2. 哈希计算模块：使用MurmurHash3将URL转换为哈希值。
  3. Redis位图模块：根据哈希值在Redis位图中进行设置和检查。
  4. 去重结果处理：根据Redis位图的检查结果，判断URL是否重复并进行相应处理。

6. Java实现细节

技术栈

  • 编程语言：Java
  • 哈希库 reids（提供MurmurHash3实现）
  • Redis客户端：Redisson

关键步骤

1. MurmurHash3 计算

使用Guava的Hashing库进行MurmurHash3计算。

import com.google.common.hash.HashFunction;
import com.google.common.hash.Hashing;
import java.nio.charset.StandardCharsets;public class HashUtil {private static final HashFunction murmur3 = Hashing.murmur3_128();public static long computeHash(String url) {// 获取128位哈希值，并取前64位return murmur3.hashString(url, StandardCharsets.UTF_8).asLong();}
}

运行实例图：
在这里插入图片描述

2. 去重逻辑整合（Redis 位图操作——伪代码）
public class RedisBitMapUtils {private RedissonClient redissonClient;private RBitSet test;private void  setUrlData(){test = redissonClient.getBitSet("url");for (int i = 0; i < 1000000; i++) {test.set(computeHash("https://www.baidu.com/" + i), true);}}private boolean isExist(long urlnum) {if (test.get(urlnum)) {return true;}return false;}}

补充知识点分布式id生成：

public class RedisIDUtils {private RedissonClient redisson;RIdGenerator generator = redisson.getIdGenerator( "shujie:id");RAtomicLong atomicLong = redisson.getAtomicLong("shujie:id");/*** 分布式id生成* @return*/private long genIds(){//初始值及步长generator.tryInit(1,1000);//返回idreturn  generator.nextId();}/*** 自增id* @return*/private long getAtomicId(){// 初始化计数器的起始值atomicLong.set(1);// 获取返回分布式主键return atomicLong.incrementAndGet();}
}

7. 总结

  • MurmurHash3 与 Redis 位图结合

    • 提供了一种高效、内存节省的数据去重方案。
    • 适用于大规模数据处理和高并发场景。

  • 关键优势

    • 高性能、低内存消耗、易于实现和扩展。

  • 应用场景

    • URL去重、日志去重、用户行为分析、实时数据统计等。

8. 附录：参考资料

  1. MurmurHash3 详解

    • MurmurHash3 官方文档

  2. Redis 位图使用指南

    • Redis 官方文档 - Bitmap

  3. Redisson GitHub 仓库

    • Redisson GitHub

  4. Google Guava Hashing

    • Guava Hashing 文档

相关文章：

大批量URL去重的架构设计(redis-bitmap+redisson)

1. 引言 什么是数据去重&#xff1f; 在大数据处理中&#xff0c;去重是指消除重复数据&#xff0c;只保留唯一的数据记录。 去重的重要性 提高数据处理效率&#xff0c;节省存储空间&#xff0c;提升数据分析的准确性。 常见的去重技术 基于哈希函数、布隆过滤器、位图等方法…...

编程日记 2025/5/31 23:25:50

WebGPU跨平台应用开发

对于 Web 开发人员来说&#xff0c;WebGPU 是一个 Web 图形 API&#xff0c;可提供对 GPU 的统一和快速访问。WebGPU 公开了现代硬件功能&#xff0c;并允许在 GPU 上进行渲染和计算操作&#xff0c;类似于 Direct3D 12、Metal 和 Vulkan。 虽然这是真的&#xff0c;但这个故事…...

编程日记 2025/6/3 17:29:02

Proteus(8.15)仿真下载安装过程（附详细安装过程图）

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 前言 一、Proteus是什么&#xff1f; 二、下载链接 三、下安装步骤 1.解压&#xff0c;有键管理员运行 2.点击Next&#xff0c;进行下一步 3.勾选I accept…&#…...

编程日记 2025/5/31 8:19:41

vlan和vlanif

文章目录 1、为什么会有vlan的存在2、vlan(虚拟局域网)1、vlan原理1. 为什么这样划分了2、如何实现不同交换机相同的vlan实现互访呢3、最优化的解决方法&#xff0c;vlan不同交换机4、vlan标签和vlan数据帧 5、vlan实现2、基于vlan的划分方式1、基于接口的vlan划分方式2、基于m…...

编程日记 2025/6/2 10:01:13

Unity开发哪里下载安卓Android-NDK-r21d

google的东西&#xff0c;居然是完全开源的 真的不是很多公司能做到&#xff0c;和那种伪搜索引擎是不同的 到底什么时候google才会开始造车 不过风险很多&#xff0c;最好不要合资&#xff0c;风险更大...

编程日记 2025/5/3 1:57:34

期末速成C++【初识C++】

目录 1.英文单词 2.C的特点 3.C对C语言的补充 3.1命名空间和域操作符 &#x1f387;3.2控制台输入输出 3.3类型增强 3.3.1const常变量 3.3.2const与指针 3.3.3布尔类型与枚举类型 3.4默认参数 &#x1f387;3.5函数重载 &#x1f387;引用 3.6.1引用做函数参数 …...

编程日记 2025/6/1 7:14:45

爬虫案例学习6

获取淘宝商品数据2024-12-18 参考学习&#xff1a; 大佬博客 视频教程 通过搜索发现&#xff0c;数据是通过发送请求过来的&#xff0c;不是静态存在源代码的 所以我们需要请求这个接口获取数据&#xff1a;比如标题&#xff0c;价格&#xff0c;图片等信息 https://h5api.m…...

编程日记 2025/5/30 5:45:51

28、论文阅读：基于像素分布重映射和多先验Retinex变分模型的水下图像增强

A Pixel Distribution Remapping and Multi-Prior Retinex Variational Model for Underwater Image Enhancement 摘要介绍相关工作基于模型的水下图像增强方法&#xff1a;无模型水下图像增强方法&#xff1a;基于深度学习的水下图像增强方法&#xff1a; 论文方法概述像素分布…...

编程日记 2025/6/4 5:00:34

[BJDCTF2020]ZJCTF，不过如此 1

[BJDCTF2020]ZJCTF&#xff0c;不过如此 1 打开实例发现代码审计 需要GET传入text和file参数&#xff0c;然后执行文件包含 text需要读取到I have a dream文本&#xff0c;这边采用data流进行绕过 ?textdata://,I have a dream&filenext.php成功绕过&#xff0c;接下来…...

编程日记 2025/6/1 3:04:05

Hive的in与not in 值中有null的时候注意事项,join where条件等问题

在进行hive SQL查询数据的时候&#xff0c;where条件中使用了in或者not in&#xff0c;但是该值内有null空。 这时&#xff0c;无论是in还是not in&#xff0c;空值都不会进入该条件内&#xff0c;但是使用not in的时候只是希望把自己不想要的数据给排除掉&#xff0c;这时会同…...

编程日记 2025/6/1 11:22:25

大语言模型画图（流程图、框架图）

第一步&#xff1a;向随意大语言模型&#xff0c;描述内容&#xff0c;推荐豆包 豆包 加上下面Prompt 通过Mermaid语法&#xff0c;描述上面流程图 第二步&#xff1a;将生成Mermaid输入流程图生成网站 中文Mermaid - 流程图、关系图在线画图、生成和编辑器...

编程日记 2025/5/27 8:01:52

Oracle创建逻辑目录

Oracle 在执行逻辑备份及还原时&#xff0c;需要用到逻辑目录。 本文就来简单介绍一下逻辑目录相关的操作&#xff0c;希望对大家有所帮助。 ‌1.登录到Oracle数据库‌ 使用具有足够权限的数据库用户登录到Oracle数据库。通常&#xff0c;这需要是管理员账号&#xff0c;如SYS…...

编程日记 2025/5/31 14:49:58

[react] 优雅解决typescript动态获取redux仓库的类型问题

store.getState()是可以获取总仓库的 先拿到函数的类型 再用ReturnType<T> 它是 TypeScript 中的一个内置条件类型&#xff0c;用于获取某个函数类型 T 的返回值类型 代码 // 先拿总仓库的函数类型type StatefuncType typeof store.getState;//再拿函数类型T的返回值类…...

编程日记 2025/6/2 4:27:37

python如何获取excel单元格文字是否加粗

是的&#xff0c;Python 可以获取 Excel 单元格中的文字是否加粗。通常&#xff0c;这需要使用 openpyxl 库&#xff0c;它允许你读取和写入 Excel 文件&#xff08;.xlsx 格式&#xff09;。 以下是一个示例代码&#xff0c;展示如何检查某个单元格的文字是否加粗&#xff1a…...

编程日记 2025/6/2 6:38:04

我的性能优化经验

专业方向&#xff1a;App cpu/memory/gpu/流畅度/响应时间的优化&#xff0c;Anr&#xff0c;Framework CarPowerManagementService模块的&#xff08;STR&#xff09;&#xff0c;从0~1完成性能监控体系搭建&#xff0c;完成3大版本迭代高质量性能交付 响应时间&#xff1a; …...

编程日记 2025/5/28 2:12:38

【Vulkan入门】16-IndexBuffer

TOC 先叨叨 上篇介绍了如何使用VertexBuffer传入顶点信息。两个多星期了我们一直在玩三个点&#xff0c;本篇介绍如何渲染更多的点。 在渲染前考虑一个问题&#xff0c;渲染一个三角形需要三个点&#xff0c;渲染两个相接的三角形需要几个点&#xff1f; 答案是6个点&#xf…...

编程日记 2025/6/3 17:35:53

如何通过HTTP API新建Collection

本文介绍如何通过HTTP API创建一个新的Collection。 前提条件 已创建Cluster&#xff1a;创建Cluster。 已获得API-KEY&#xff1a;API-KEY管理。 Method与URL HTTP POST https://{Endpoint}/v1/collections 使用示例 说明 需要使用您的api-key替换示例中的YOUR_API_KEY、…...

编程日记 2025/6/4 1:52:23

excel 使用vlook up找出两列中不同的内容

当使用 VLOOKUP 函数时&#xff0c;您可以将其用于比较两列的内容。假设您要比较 A 列和 B 列的内容&#xff0c;并将结果显示在 C 列&#xff0c;您可以在 C1 单元格中输入以下公式&#xff1a; 这个公式将在 B 列中的每个单元格中查找是否存在于 A 列中。如果在 A 列中找不到…...

编程日记 2025/5/31 10:25:30

实验16 循环神经网络（3）

目录 1.数据处理 1.1.数据集下载 1.2.数据加载 1.2.1读取数据 1.2.2词表转换 1.2.3封装数据 2. 模型构建 2.1汇聚层算子 2.2模型汇总 3. 模型训练 3.1模型训练 3.2绘制准确率和损失函数图像 4. 模型评价 5. 模型预测 6. 基于Torch的单向LSTM 6.1模型修改-只返…...

编程日记 2025/6/1 19:23:35

Docker 清理命令

Docker 清理命令 删除停止的容器&#xff1a;停止的容器仍然会占用磁盘空间&#xff0c;可以使用以下命令删除所有停止的容器&#xff1a; docker container prune删除无用的网络&#xff1a;Docker 创建的网络&#xff0c;如果不再使用&#xff0c;也可以被清理&#xff1a; d…...

编程日记 2025/6/2 10:07:33

游泳溺水识别数据集，对9984张原始图片进行YOLO，COCO JSON, VOC XML 格式的标注，平均识别率在91.7％以上

游泳溺水识别数据集&#xff1a; 对9984张原始图片进行YOLO&#xff0c;COCO JSON, VOC XML 格式的标注&#xff0c;平均识别率在91.7&#xff05;以上 &#xff0c;可识别泳池或者水库中是否有人溺水。 数据集分割 训练组98&#xff05; 9818图片 有效集&#xff05;…...

编程日记 2025/6/2 1:55:36

【计算机网络】应用层

1. 域名系统 DNS 1.1 域名系统概述 域名系统 DNS (Domain Name System) &#xff1a; 互联网使用的命名系统。 用来把人们使用的机器名字&#xff08;域名&#xff09;转换为 IP 地址。 为互联网的各种网络应用提供了核心服务。 域名采用层次树状结构的命名方法。 DNS 是…...

编程日记 2025/6/4 4:10:46

计算机组成原理的学习笔记（1）

学习笔记 前言 本文主要是对于b站尚硅谷的计算机组成原理的学习笔记&#xff0c;仅用于学习交流。 一、hello.c如何运行起来&#xff1f; 1. 预处理阶段 在编译 C 程序时&#xff0c;预处理器首先处理代码。预处理器会&#xff1a; 插入头文件&#xff1a;例如&#xff0c…...

编程日记 2025/6/3 20:00:18

挑战一个月基本掌握C++（第六天）了解函数，数字，数组，字符串

一 C函数 函数是一组一起执行一个任务的语句。每个 C 程序都至少有一个函数&#xff0c;即主函数 main() &#xff0c;所有简单的程序都可以定义其他额外的函数。 您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由您来决定的&#xff0c;但在逻辑上&#xff…...

编程日记 2025/6/4 11:51:22

《薄世宁医学通识50讲》以医学通识为主题，涵盖了医学的多个方面，包括医学哲学、疾病认知、治疗过程、医患关系、公共卫生等

《薄世宁医学通识50讲》是一门由薄世宁医生主讲的医学通识课程&#xff0c;该课程旨在通过深入浅出的方式&#xff0c;向广大听众普及医学知识&#xff0c;提升公众对医学的认知和理解。 晓北斗推荐-薄世宁医学通识 以下是对该课程的详细介绍&#xff1a; 一、课程概述 《薄世…...

编程日记 2025/5/30 22:48:18

Golang囊地鼠gopher

开发知识点-golang 介绍红队专题-Golang工具Fscan简介主要功能ubuntu 安装windows 安装常用命令：项目框架源文件common目录Plugins目录Webscan目录入口点插件扫描类型爆破插件common.ScantypeWebtitle函数webpoc扫描POC 执行CEL-GO 实践CEL指纹识别免杀源码特征参考链接红队专…...

编程日记 2025/6/4 5:13:13

关于如何正确在测试用例中mock静态方法的问题

文章目录 情况一&#xff1a;希望在测试用例中直接执行静态方法的逻辑情况二&#xff1a;不希望在测试用例中执行静态方法的逻辑插桩方法坑1: 报错SubclassByteBuddyMockMaker原因与解决方案坑2&#xff1a;报错 the existing static mock registration must be deregistered原…...

编程日记 2025/5/31 22:21:19

深度学习0-前置知识

一、背景 AI最大&#xff0c;它的目的是通过让机器模仿人类进而超越人类&#xff1b; ML次之&#xff0c;它是AI的一个分支&#xff0c;是让机器模仿人类的一种方法。开发人员用大量数据和算法“训练”机器&#xff0c;让机器自行学会如何执行任务&#xff0c;它的成功取决于…...

编程日记 2025/6/1 15:28:19

web网页前后端交互方式

参考该文&#xff0c; 一、前端通过表单<form>向后端发送数据 前端是通过html中的<form>表单&#xff0c;设置method属性定义发送表单数据的方式是get还是post。 如使用get方式&#xff0c;则提交的数据会在url中显示&#xff1b;如使用post方式&#xff0c;提交…...

编程日记 2025/6/1 23:30:27

电商大数据的几种获取渠道分享！

在当今数字化时代&#xff0c;电商大数据已成为企业决策和运营的重要基础。如何高效地获取、分析和利用这些数据&#xff0c;对于提升电商企业的竞争力至关重要。本文将详细介绍几种电商大数据的获取渠道&#xff0c;帮助电商从业者更好地掌握数据资源&#xff0c;提升业务洞察…...

编程日记 2025/5/28 0:21:53

【图像配准】方法总结

图像配准(Image registration)就是将不同时间、不同传感器&#xff08;成像设备&#xff09;或不同条件下&#xff08;天候、照度、摄像位置和角度等&#xff09;获取的两幅或多幅图像进行匹配、叠加的过程&#xff0c;就是找到1幅图像像素到另1幅图像像素间的空间映射关系它已…...

编程日记 2025/5/31 2:38:35

SSM 超市管理系统

&#x1f942;(❁◡❁)您的点赞&#x1f44d;➕评论&#x1f4dd;➕收藏⭐是作者创作的最大动力&#x1f91e; &#x1f496;&#x1f4d5;&#x1f389;&#x1f525; 支持我&#xff1a;点赞&#x1f44d;收藏⭐️留言&#x1f4dd;欢迎留言讨论 &#x1f525;&#x1f525;&…...

编程日记 2025/5/28 19:42:08

【Yonghong 企业日常问题04】永洪BI可视化工具Linux部署全攻略(部署详解版)

文章目录 一、准备工作二、服务器环境配置2.1 安装JDK2.2 安装字体 三、产品安装四、相关资料 一、准备工作 在进行部署之前需要有以下几项工作准备&#xff1a; 1.产品安装包 2.对应版本的License 3.对应版本的JDK(推荐JDK11&#xff0c;产品v8版本以上需要JDK11以上版本) 4.…...

编程日记 2025/6/3 16:02:24

ubuntu下gdb调试ROS

参考&#xff1a; 使用VsCode进行ROS程序调试_ros vscode 调试-CSDN博客 https://blog.csdn.net/weixin_45031801/article/details/134399664?spm1001.2014.3001.5506 一、调试准备 1.1 CMakeLists改动 注释文件中的 set(CMAKE_BUILD_TYPE "Release") #构建类…...

编程日记 2025/6/3 13:00:07

scala中正则表达式的使用

正则表达式&#xff1a; 基本概念 在 Scala 中&#xff0c;正则表达式是用于处理文本模式匹配的强大工具。它通过java.util.regex.Pattern和java.util.regex.Matcher这两个 Java 类来实现&#xff08;因为 Scala 运行在 Java 虚拟机上&#xff0c;可以无缝使用 Java 类库&…...

编程日记 2025/6/3 6:31:30

语音识别失败 chrome下获取浏览器录音功能，因为安全性问题，需要在localhost或127.0.0.1或https下才能获取权限

环境&#xff1a; Win10专业版 谷歌浏览器 版本 131.0.6778.140&#xff08;正式版本&#xff09; &#xff08;64 位&#xff09; 问题描述&#xff1a; 局域网web语音识别出现识别失败 chrome控制台出现下获取浏览器录音功能&#xff0c;因为安全性问题&#xff0c;需要在…...

编程日记 2025/6/3 20:40:23

前端本地数据存储方式有哪些

发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【宝藏入口】。 在前端开发中&#xff0c;本地数据存储是实现客户端数据持久化的关键技术。以下是几种常见的前端本地数据存储方式&#xff1a; …...

编程日记 2025/5/31 10:34:04

python总说的cd是什么

以下适用于windows环境 cd就是change directory的缩写&#xff0c;即改变目录。 讲cd命令之前&#xff0c;先来看看提示符是什么意思。现在的提示符是c:\> c:说明现在的工作盘是c盘&#xff0c;\告诉我们当前的工作目录是根目录。 >的作用是把工作目录和我们要输入的…...

编程日记 2025/5/31 8:33:52

Mybatis加密解密查询操作（sql前），where要传入加密后的字段时遇到的问题

项目场景&#xff1a; 提示&#xff1a;这里简述项目相关背景&#xff1a; 例如&#xff1a;Mybatis加密解密查询操作&#xff08;sql前&#xff09;&#xff0c;where要传入加密后的字段时遇到的问题 问题描述 提示&#xff1a;这里描述项目中遇到的问题&#xff1a; 例如…...

编程日记 2025/6/3 20:26:40

Netdevops入门基础学习03

1、数据类型 在Python中解释器会自动识别数据类型&#xff0c;但是在C语言中需要手动指定&#xff08;故Python简单易学&#xff09; 字符串&#xff1a; str&#xff08;string&#xff09; 在Python中加了引号的都是字符串整数&#xff1a; int (integer)浮点数&#xff1a; …...

编程日记 2025/5/29 16:41:47

什么是自然语言处理

01.什么是自然语言处理 自然语言处理（Natural Language Processing，简称NLP）是一门跨学科领域，它结合了计算机科学、人工智能、语言学、心理学等多个学科的知识，旨在使计算机能够理解、解释、处理和生成人类语言。自然语言处理的目标是缩小人类语言和计算机之间的差距，使…...

编程日记 2025/6/2 18:56:28

网络安全怎么学习

当我们谈论网络安全时&#xff0c;我们正在讨论的是保护我们的在线空间&#xff0c;这是我们所有人的共享责任。网络安全涉及保护我们的信息&#xff0c;防止被未经授权的人访问、披露、破坏或修改。 一、网络安全的基本概念 网络安全是一种保护&#xff1a;它涉及保护我们的设…...

编程日记 2025/5/29 1:37:33

网络多层的协议详述

网络层 1&#xff09;地址管理&#xff1a;制定一系列的规则&#xff0c;通过地址&#xff0c;在网络上描述出一个设备的位置 2&#xff09;路由选择&#xff1a;网络环境比较复杂&#xff0c;从一个节点到另一个节点&#xff0c;存在很多条不同的路径&#xff0c;需要规划出…...

编程日记 2025/5/29 2:23:27

【C#】方法参数的修饰符ref 与 out

在 C# 中&#xff0c;ref 和 out 是方法参数的修饰符&#xff0c;用于将参数 按引用传递&#xff0c;而不是按值传递。这允许方法修改调用者传递的变量的值。尽管它们的行为类似&#xff0c;但有重要的区别和适用场景。 1. ref 的含义与使用 含义 引用传递&#xff1a; 参数通…...

编程日记 2025/6/2 13:54:26

hpe服务器更新阵列卡firmware

背景 操作系统&#xff1a;RHEL7.8 hpe服务器经常出现硬盘断开&#xff0c;阵列卡重启问题&#xff0c;导致系统hang住。只能手动硬重启。 I/O error&#xff0c;dev sda smartpqi 0000:5c:00:0: resettiong scsi 1:1:0:1 smartpqi 0000:5c:00:0: reset of scsi 1:1:0:1:…...

编程日记 2025/6/4 6:17:58

arcgisPro相接多个面要素转出为完整独立线要素

1、使用【面转线】工具&#xff0c;并取消勾选“识别和存储面邻域信息”&#xff0c;如下&#xff1a; 2、得到的线要素&#xff0c;如下&#xff1a;...

编程日记 2025/5/26 7:30:09

【机器学习】【集成学习——决策树、随机森林】从零起步：掌握决策树、随机森林与GBDT的机器学习之旅

这里写目录标题 一、引言机器学习中集成学习的重要性 二、决策树 (Decision Tree)2.1 基本概念2.2 组成元素2.3 工作原理分裂准则 2.4 决策树的构建过程2.5 决策树的优缺点&#xff08;1&#xff09;决策树的优点&#xff08;2&#xff09;决策树的缺点&#xff08;3&#xff0…...

编程日记 2025/6/4 5:27:34

YOLOv8目标检测——详细记录使用ONNX Runtime进行推理部署C++/Python实现

概述 在之前博客中有介绍YOLOv8从环境安装到训练的完整过程&#xff0c;本节主要介绍ONNX Runtime的原理以及使用其进行推理加速&#xff0c;使用Python、C两种编程语言来实现。 https://blog.csdn.net/MariLN/article/details/143924548?spm1001.2014.3001.5501 1. ONNX Ru…...

编程日记 2025/6/3 18:05:29

联合物种分布模型（JSDM）与Hmsc包：群落生态学数据分析与预测技术

联合物种分布模型&#xff08;Joint Species Distribution Modelling&#xff0c;JSDM&#xff09;在生态学领域&#xff0c;特别是群落生态学中发展最为迅速&#xff0c;它在分析和解读群落生态数据的革命性和独特视角使其受到广大国内外学者的关注。在学界不同研究团队研发出…...

编程日记 2025/5/30 15:19:00

蓝桥杯——竞赛省赛国赛题分享

目录 一.[蓝桥杯 2013 省 AB] 错误票据 代码如下&#xff1a; 二.[蓝桥杯 2024 省 Java B] 报数游戏 代码如下&#xff1a; 讲解&#xff1a; 三.[蓝桥杯 2014 国 C] 拼接平方数 代码如下&#xff1a; 四.三步问题&#xff08;递归&#xff0c;上台阶&#xff09; 代码…...

编程日记 2025/6/4 6:31:41