当前位置：首页 > news >正文

Redis hyperloglog学习

news 来源：原创 2025/8/12 5:09:52

背景知识

【伯努利试验】：

【伯努利试验】是一个概率论中的概念，指在相同的条件下重复进行n次独立的试验，每次试验只有两种可能的结果，且这两种结果发生的概率是固定的
抛硬币作为伯努利试验：在抛硬币时，我们可以将正面出现视为“成功”，反面出现视为“失败”。如果硬币是公平的，那么每次抛掷正面或反面出现的概率都是1/2，这符合伯努利试验的定义。
n(一般实验次数) = 2^K K第K次抛出正面

【调和平均值算法】

平均值 = (数据1 + 数据2 + … + 数据n) / n 普通平均值算法对极端值敏感，例如我和马云资产平均一下500亿，因此引入调和平均值
调和平均值 = n / (1/数据1 + 1/数据2 + … + 1/数据n) 这种平均值算法减少了极端值的影响

什么是hyperLoglog？

介绍：
hyperLoglog是Redis中的一种数据结构，用于进行基数估计（cardinality estimation）。基数估计是指在一个数据流或数据集中，估算不重复元素的数量。hyperLoglog通过一种概率算法，能够在使用较少内存的情况下，高效地估算出数据集的基数。特点：
内存效率高：与传统的集合数据结构（如Redis的set）相比，hyperLoglog能够使用极少的内存空间来估算基数。这对于处理大规模数据流或数据集非常有用。 大小仅需12kb，误差率在0.2%左右
概率算法：hyperLoglog使用一种概率算法来估算基数，这意味着估算结果不是绝对准确的，但误差通常在一个可接受的范围内。这种算法的时间复杂度较低，使得估算过程非常高效。
适用于数据流：由于hyperLoglog的内存效率高且支持增量更新，它非常适合用于处理数据流场景，如网站访问量统计、用户行为分析等。使用场景：
大规模数据集的基数估计：当需要估算一个大规模数据集中不重复元素的数量时，hyperLoglog是一个很好的选择。
数据流处理：在处理实时数据流时，hyperLoglog可以高效地估算出数据流中不重复元素的数量。
去重统计：在需要对数据进行去重统计时，hyperLoglog可以提供一个快速且内存高效的解决方案。优点&缺点：
优点： 大小仅需12kb，误差率在0.2%左右
缺点：估算结果不是绝对准确的，但误差通常在一个可接受的范围内。

实现原理概述

hyperloglog实现原理： 根据实验值反推实验次数，将用户id 转成64位hash值，其中14位低位值用于分桶，分桶个数2的14次方个，高50位用于计算第一个1出现位置的索引值(0-50的一个值)，因此使用6位存储足够， hyperlog内存12k计算：2∧14×6位/8比特/1024=12k
由于实验现象存在误差和偶然现象因此采用分组实验（这里叫分桶），分组结果求平均次数得出最终值，但是传统平均算法会有大值影响，典型案例我和马云工资平均50亿，为了避免这个问题才用了调和平均算法使得结果更加精准1. 字符元素转成64位二进制数，读取方向从地位往高位读
|----------------------高位50位---------------------|----低位14位----|
|10000000000000000000000000000000000000000000000001|10000000000001|2. 低位14位用于分桶，因此桶的数量就是2^14=16384个  高位50位用于计算第一个1出现位置的索引值
hyperloglog底层的存储就是[000000][000000][000000].....16384个,[000000]6位存储0-50的索引值，总共6*16384=98304位/8比特/1024=12k3. 求和
n = 偏差因子*桶数*桶内元数数量 （由于概率统计存在偏差，内部会使用偏差因子纠正偏差），纠正后 100w数量偏差在0.2%左右

Redis hyperloglog学习

背景知识【伯努利试验】： 【伯努利试验】是一个概率论中的概念，指在相同的条件下重复进行n次独立的试验，每次试验只有两种可能的结果，且这两种结果发生的概率是固定的抛硬币作为伯努利试验：在抛硬币时，我…...

编程日记 2025/8/12 5:09:52

鸿蒙开发：什么是ArkTs？

前言本文基于Api13。一句话解读：ArkTs（方舟编程语言）是目前HarmonyOs应用开发的主力语言。用官方的话解读，它是一种为构建高性能应用而设计的编程语言；看到以Ts结尾，想必大家应该很容易想到TypeScript&a…...

编程日记 2025/8/10 12:27:24

ArcGIS Pro中加载在线地图的详细指南

在现代制图领域，ArcGIS Pro已成为专业人士的重要工具。它不仅功能强大，而且操作简便，为用户提供了丰富的地图数据资源和灵活的地图加载方式。其中，加载在线地图是ArcGIS Pro的一大特色功能，能够帮助用户快速获取全球范…...

编程日记 2025/8/7 15:48:23

《C++ Primer》学习笔记（四）

第四部分：高级主题 1.tuple 是类似pair的模板。每个pair 的成员类型都不相同，但每个 pair 都恰好有两个成员。每个确定的tuple 类型的成员数目是固定的，但一个 tuple 可以有任意数量的成员。tuple支持的操作如下图： 只有两个 tup…...

编程日记 2025/8/12 4:59:31

CVPR2025自动驾驶端到端前沿论文汇总

自动驾驶文章目录自动驾驶前言自动驾驶的轨迹预测论文端到端自动驾驶论文前言汇总CVPR2025自动驾驶前沿论文自动驾驶的轨迹预测论文 Leveraging SD Map to Augment HD Map-based Trajectory PredictionModeSeq: Taming Sparse Multimodal Motion Prediction with Seque…...

编程日记 2025/8/7 21:13:09

使用 jQuery 实现子窗口获取父窗口的值，或者父窗口获取子窗口的值时

HTML 父子窗口通信指南一、基础概念在Web开发中，父子窗口通信是一个常见的需求。这通常发生在以下场景： 主页面（父窗口）打开新窗口（子窗口）弹出窗口需要与主页面交互多窗口之间需要数据传递二、jQue…...

编程日记 2025/8/12 5:03:54

AndroidStudio下载安装，环境部署以及常见问题解决教程（亲测）

AndroidStudio下载安装，环境部署以及常见问题解决！！！ 文章目录前言一、Android Studio 下载与安装 1.1 系统要求 1.2 下载 Android Studio 1.3 安装 Android Studio Windows 系统 1.4 初始配置二、环境部署 2.1 安装 …...

编程日记 2025/8/12 5:01:56

ruoyi-vue部署2

3.Node.js 3.1.什么是Node.js 在 Node.js 之前，JavaScript 只能运行在浏览器中，作为网页脚本使用，为网页添加一些特效，或者和服务器进行通信。有了 Node.js 以后，JavaScript 就可以脱离浏览器，像其它编程…...

编程日记 2025/8/8 18:05:30

Flutter项目升级Xcode 16.2之后编译问题

最近好久没升级Xcode了，升级了一下最新的16.2之后。发现Flutter项目在iOS设备上运行不起来了。报错： 查了许多网友也遇到了，其中一个解决方案：https://stackoverflow.com/questions/79118572/xcode-16-and-ios-18-project-not-com…...

编程日记 2025/8/11 12:03:12

Mermaid 子图 + 拖拽缩放：让流程图支持无限细节展示

在技术文档、项目管理和可视化分析中，流程图是传递复杂逻辑的核心工具。传统流程图往往静态且难以适应细节展示，而 Mermaid 与 svg-pan-zoom 的结合，则为这一痛点提供了完美解决方案。本文将深入解析如何通过 Mermaid 的子图（subg…...

编程日记 2025/8/11 11:11:08

前沿科技一览未来发展趋势

生物技术能帮环境。比如用它处理污染物。科学家发现一些细菌能吃掉油污。这些细菌能被用来清理漏油事故。比如1989年埃克森瓦尔迪兹号漏油事件中人们就用类似方法减少污染。还有些植物能吸收土壤里的重金属。种植这种植物能让受污染的土地变干净。这种方法在矿区周围特别有用…...

编程日记 2025/8/8 23:23:19

Linux---sqlite3数据库

一、数据库分类 1. 按数据关系分类类型特点代表产品关系型数据库- 使用 SQL（结构化查询语言）<br>- 数据以行列形式存储，支持事务和复杂查询MySQL、Oracle、SQLite非关系型数据库- 无固定表结构（如键值对、文档、图&#…...

编程日记 2025/8/8 11:04:39

侯捷 C++ 课程学习笔记：进阶语法之lambda表达式（二）

侯捷 C 课程学习笔记：进阶语法之lambda表达式（二） 一、捕获范围界定 1. 局部变量与函数参数非静态局部变量：Lambda 所在作用域内定义的局部变量（如函数内部的 int x）会被完整复制其当前值。捕获后外部变…...

编程日记 2025/7/14 2:51:08

python爬虫Scrapy(6)之增量式

增量式爬虫应用场景分类通用爬虫聚焦爬虫功能爬虫分布式爬虫增量式： 用来监测网站数据更新的情况（爬取网站最新更新出来的数据）。只是一种程序设计的思路，使用什么技术都是可以实现的。核心： 去重。使用一个记录表来…...

编程日记 2025/8/11 3:46:12

oracle删除表中重复数据

需求： 删除wfd_procs_nodes_rwk表中，huser_id、dnode_id、rwk_name字段值相同的记录，如果有多条，只保留一条。 SQL： DELETE FROM wfd_procs_nodes_rwk t WHERE t.rowid > (SELECT MIN(t1.rowid)FROM wfd_procs_n…...

编程日记 2025/7/24 1:07:00

动作捕捉手套如何让虚拟现实人机交互 “触手可及”？

在虚拟与现实逐渐交融的当下，动作捕捉技术正以前所未有的速度革新着多个领域。动作捕捉技术，简称“动捕”，已经从早期的影视特效制作，逐步拓展到游戏开发、虚拟现实、机器人控制等多个领域。而mHandPrO数据手套作为这一领域的…...

编程日记 2025/8/11 2:39:32

【大模型基础_毛玉仁】2.3 基于 Encoder-only 架构的大语言模型

更多内容：XiaoJ的知识星球目录 2.3 基于Encoder-only 架构的大语言模型2.3.1 Encoder-only 架构2.3.2 BERT 语言模型1）BERT 模型结构2）BERT 预训练方式3）BERT 下游任务 2.3.3 BERT 衍生语言模型1）RoBERTa 语言模型2&a…...

编程日记 2025/8/7 8:58:52

C# ManualResetEvent‌的高级用法

一、ManualResetEvent 的核心作用‌ ManualResetEvent 是 C# 中用于 ‌线程同步‌ 的类（位于 System.Threading 命名空间），通过信号机制控制线程的等待与执行。其核心功能包括： 阻塞线程‌：调用 WaitOne() 的线程会等…...

编程日记 2025/8/1 20:35:07

Language Models are Few-Shot Learners，GPT-3详细讲解

GPT的训练范式：预训练Fine-Tuning GPT2的训练范式：预训练Prompt predict （zero-shot learning） GPT3的训练范式：预训练Prompt predict （few-shot learning） GPT2的性能太差，新意高&…...

编程日记 2025/8/12 5:09:51

js 给元素添加点击事件的方法

在 JavaScript 里，为元素添加点击事件有多种方法，下面为你介绍三种常见的方式。 1. 使用内联事件处理程序你可以在 HTML 标签里直接使用 onclick 属性添加点击事件。示例如下： <!DOCTYPE html> <html lang"en"><…...

编程日记 2025/8/10 12:15:34

一、安装JDK，版本jdk1.8 1、下载压缩包到/jdk目录下解压 cd /jdk tar -zxvf jdk-8u241-linux-64.tar.gz 2、配置环境变量在profile文件中末尾新增信息如下所示 vim /etc/profile export JAVA_HOME/usr/local/java/jdk/jdk1.8.0_221 export PATH$PATH:$JAVA_HOM…...

编程日记 2025/8/7 15:14:56

联想台式电脑启动项没有U盘

开机按F12，进入启动设备菜单，发现这里没有识别到插在主机的U盘？ 解决方法 1、选上图的Enter Setup或者开机按F2，进入BIOS设置选择Startup -> Primary Boot Sequence 2、选中“Excludeed from boot order”中U盘所在的一行 …...

编程日记 2025/8/6 16:09:23

单片机开发资源分析的实战——以STM32F103C8T6为例子的单片机资源分析

目录第一点：为什么叫STM32F103C8T6 从资源手册拿到我们的对STM32F103C8T6的资源描述第二件事情，关心我们的GPIO引脚输出第三件事情：去找对应外设的说明部分前言本文章隶属于项目： Charliechen114514/BetterATK: This is…...

编程日记 2025/8/8 20:38:09

Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http: request canceled while

英俊潇洒很有才,美丽端庄又大方的人已经点赞收藏＋关注了文章目录 1.ubuntu解决方案2.Windows的解决办法（有威劈恩好搞）3.其他报错json格式错误下载的镜像有问题最后 1.ubuntu解决方案报错如图：timeout Error response from da…...

编程日记 2025/8/7 12:43:19

yolo模型学习笔记——1——物体检测评估指标

1.置信度表示模型预测的边界框中存在目标物体的概率以及反应预测框和真实框的定位质量 2.阈值 (1)定义决定一个预测框是否被视为为正类的关键参数，通过调整不同的阈值，获得不同的精度和召回率。yolo模型会为每个预测框生成一个置信度分数&#xff0c…...

编程日记 2025/8/9 10:28:04

Elasticsearch 滚动索引（Rollover Index）详解

文章目录 1、滚动索引的作用2、滚动索引的用法2.1 核心概念2.2 实现步骤 3、适用场景4、与其他技术的结合使用5、案例：日志数据的滚动索引5.1 场景描述5.2 实现步骤 6、示例：结合索引生命周期管理（ILM）6.1 场景描述6.2 实现步骤 7…...

编程日记 2025/8/7 12:40:53

保持docker内容器一直运行

首先：确保Docker服务配置为开机自启，这样当虚拟机启动时，Docker也会启动，并按照设定的重启策略自动启动相关容器。 sudo systemctl enable docker 创建容器时： 当你使用docker run命令启动容器时，可以添…...

编程日记 2025/8/5 23:03:39

ChatBI 的技术演进与实践挑战：衡石科技如何通过 DeepSeek 实现商业落地

随着人工智能技术的快速发展，ChatBI（基于自然语言交互的商业智能）逐渐成为企业数据分析领域的热门话题。作为 BI（商业智能）领域的新形态，ChatBI 通过自然语言处理（NLP）技术&#xff…...

编程日记 2025/8/8 16:52:32

python-leetcode 55.子集

题目： 给定一个数组nums,数组中的元素互不相同，返回该数组所有可能子集（幂集） 解集不能包含重复的子集，可以按任意顺序返回解集方法一：迭代法实现子集枚举记原序列中元素的总数为 n，原序列…...

编程日记 2025/8/8 23:55:50

在LORA训练中，LORA模型的矩阵的行列是多少

在LORA训练中，LORA模型的矩阵的行列是多少: W n e w = W + α r B A W_{new}=W + \frac{\alpha}{r}BA...

编程日记 2025/8/9 12:47:39

冒泡排序：古老算法中的智慧启示

在计算机科学浩瀚的星空中，排序算法犹如璀璨的星辰，而冒泡排序恰似其中最朴实无华的一颗。这个诞生于计算机发展初期的经典算法，以其简单直观的逻辑原理，成为每个程序员启蒙阶段必经的试炼场。当我们凝视这个看似笨拙的排序方法时…...

编程日记 2025/8/11 6:32:55

基于ssm的电子病历系统(全套)

编程日记 2025/8/10 12:41:57

V2X验证

1. 标准和规范验证欧洲对 DSRC 和 V2X 系统有一系列的标准和规范，主要由 ETSI (European Telecommunications Standards Institute) 和 IEEE 等组织制定。验证通常包括以下标准和规范： ETSI EN 302 571：这是DSRC在欧洲的主要标准，规定了DSRC系统的技术要求和操作条件。ET…...

编程日记 2025/8/10 20:10:02

SpringBoot美发门店管理系统开发与设计

在幽络源，我们致力于为开发者提供优质的技术资源和项目源码。今天，我们为大家分享一款基于SpringBoot开发的美发门店管理系统。该系统功能全面，操作便捷，适合中小型美发门店的管理需求。以下是系统的详细介绍。系统功能模块 1.…...

编程日记 2025/8/7 21:32:57

Linux内核实时机制28 - RT调度器11 - RT 组调度

Linux内核实时机制28 - RT调度器11 - RT 组调度相关数据结构内核中通过static int sched_rt_runtime_exceeded(struct rt_rq *rt_rq)函数来判断实时任务运行时间是否超出带宽限制，判断这个运行队列rt_rq的运行时间是否超过了额定的运行时间。而“运行时间”和“额定时间”都…...

编程日记 2025/7/13 5:49:15

R语言——变量

参考资料：学习R 1、类 R中所有变量都有一个类，表明此变量属于什么类型。例如，大部分的数字是numeric类，逻辑值是logical类。其实，因为R没有标量类型（scalar type），所以更严格地我说…...

编程日记 2025/8/6 23:51:25

Appium使用文档

Appium旨在支持许多不同平台（移动端、网页端、桌面端等）的UI自动化。不仅如此，它还旨在支持用不同语言（JS、Java、Python等）编写的自动化代码。 Appium移动端自动化要求如下： 安装Appium安装UiAutomator2…...

编程日记 2025/8/10 1:11:55

Houdini :《哪吒2》神话与科技碰撞的创新之旅

《哪吒2》（即《哪吒之魔童闹海》）截止至今日，荣登全球票房榜第五。根据猫眼专业版数据，截至2025年3月15日，《哪吒2》全球累计票房（含预售及海外）超过150.19亿元，超越《星球大战&…...

编程日记 2025/8/4 14:46:46

单台openEuler24.03 LTS下的开源大数据环境搭建

目录概述准备虚拟机基本设置关闭及禁用防火墙修改主机名静态ip 映射主机名创建普通用户 SSH免密登录目录准备安装Java 下载Java 解压设置环境变量安装Hadoop 下载hadoop 解压设置环境变量查看版本配置hadoop 配置hadoop_env.sh 配置core-s…...

编程日记 2025/8/7 11:07:33

HarmonyOS开发，深拷贝、浅拷贝的封装和调用

在 HarmonyOS 开发中，实现深拷贝和浅拷贝可以通过封装工具类来完成。下面分别介绍浅拷贝和深拷贝的实现方式，并将它们封装成一个工具类。浅拷贝和深拷贝的区别浅拷贝：创建一个新对象，新对象的属性引用原始对象的属性。也就是说…...

编程日记 2025/8/4 13:01:52

C 环境设置指南

C 环境设置指南引言 C语言作为一种历史悠久且功能强大的编程语言，在软件开发和系统编程领域占有举足轻重的地位。C语言环境设置是进行C语言编程的第一步，也是确保编程顺利进行的关键。本文将详细介绍C语言环境的设置过程，包括系统要求、开发工具的选择、环境变量的配置等…...

编程日记 2025/8/8 4:33:59

2018年全国职业院校技能大赛高职组-计算机网络应用竞赛竞赛样题E卷

目录总体规划模块二：设备基础信息配置模块三：网络搭建与网络冗余备份方案部署模块四：移动互联网搭建与网优模块五：出口安全防护与远程接入总体规划医院在进行网络部分信息化建设方案设计过程中，需要保证医院、血液中心通过社保网进行互连互通，同时满足献血中心与医…...

编程日记 2025/8/9 1:18:55

大华HTTP协议在智联视频超融合平台中的接入方法

一. 大华HTTP协议介绍大华HTTP协议是大华股份（Dahua Technology）为其安防监控设备开发的一套基于HTTP/HTTPS的通信协议，主要用于设备与客户端（如PC、手机、服务器）之间的数据交互。该协议支持设备管理、视频流获取、…...

编程日记 2025/8/5 10:58:29

Dify Docker 私有化部署遇到的问题

Dify 版本为1.01，本地使用 docker desktop，版本为4.38.0 (181591)，以下是Dify部署及使用过程中遇到的问题，后续持续更新... db无法启动，一直提示：Permissions should be urwx (0700) or urwx,grx (0750).具…...

编程日记 2025/8/8 1:09:20

Python学习第十九天

Django-分页后端分页 Django提供了Paginator类来实现后端分页。Paginator类可以将一个查询集（QuerySet）分成多个页面，每个页面包含指定数量的对象。 from django.shortcuts import render, redirect, get_object_or_404 from .models impo…...

编程日记 2025/8/11 3:46:20

大数据技术链路详解

随着大数据技术的不断发展，各种新兴技术层出不穷，今天我们就来详细拆解一条完整的大数据链路，看看每个环节都有哪些最新技术参与，以及它们如何发挥作用。一、数据采集层在大数据处理的第一步，数据采集至关重要。现代…...

编程日记 2025/8/5 18:43:39

vue computed 计算属性简述

Vue 的 ‌计算属性（Computed Properties）‌ 是 Vue 实例中一种特殊的属性，用于‌声明式地定义依赖其他数据动态计算得出的值‌。它的核心优势在于能够自动追踪依赖关系，并缓存计算结果，避免重复计算，提升性…...

编程日记 2025/8/5 18:36:57

365天之第P10周：Pytorch实现车牌识别

365天之第P10周：Pytorch实现车牌识别 Pytorch实现车牌识别 365天之第P10周：Pytorch实现车牌识别一、导入数据1.获取类别名2. 数据可视化3. 标签数字化4. 加载数据文件5. 划分数据二、自建模型三、训练模型1. 优化器与损失函数2. 模型训练四、结果分析…...

编程日记 2025/8/6 17:43:57

【Docker】-Docker Compose+Dockerfile最佳实践

最佳实践在实际生产环境中，Docker Compose Dockerfile 的最佳实践通常包括以下几部分： 使用 Dockerfile 构建微服务镜像使用 docker-compose.yml 管理多个微服务使用 volumes 进行数据持久化使用 networks 进行服务间通信使用 depends_on 确保依赖服…...

编程日记 2025/8/2 19:38:48

TSB - AD 解读 — 迈向可靠、透明的 TSAD 任务

目录一文章动机二 TSAD 领域内的两类缺陷三数据集的构建四实验结果及结论项目宣传链接：TSB-AD 代码链接： TheDatumOrg/TSB-AD: TSB-AD: Towards A Reliable Time-Series Anomaly Detection Benchmark 原作者解读：NeurIPS 2…...

编程日记 2025/8/4 9:20:48

背景知识

什么是hyperLoglog？

实现原理概述

相关文章：