当前位置： 首页 > news >正文

Java开发中对List＜Map＜String, Object＞＞集合去重并按大小拆分子列表

news 来源：原创 2025/5/14 15:38:47

Java开发中对List< Map< String, Object > >集合去重并按大小拆分子列表

  • 一、使用场景
  • 二、实现步骤
  • 三、相关知识
  • 四、代码示例

一、使用场景

在处理大量List<Map<String, Object>>集合的数据时，为确保数据的唯一性，需要先根据Map的某个唯一标识进行去重，然后将去重后的数据切分成较小的子列表进行分组处理。

二、实现步骤

  1. 去重：通过将列表中的数据转换为Map，利用Map的键唯一性，去除重复的元素。同时，通过保留第一个出现的元素，可以确保数据的顺序。
  2. 切分：将去重后的列表按照指定大小进行切分，方便进行批量处理或分布式处理。

三、相关知识

  1. Java 8 Stream API：提供了一种函数式编程风格的处理集合数据的方式，可以进行过滤、映射、排序、聚合等操作，大大提高了代码的可读性和简洁性。

  2. Collectors工具类：提供了各种收集器，用于对 Stream 中的元素进行收集和汇总操作，如toMap、toList等。

  3. hutool 工具类：使用工具类中的ListUtil.split(list, size)方法，将列表切分为指定大小的子列表。

四、代码示例

public static void main(String[] args) {List<Map<String, Object>> list = new ArrayList<>();list.add(Map.of("id", 1, "date", "2024-01-01"));list.add(Map.of("id", 2, "date", "2024-01-02"));list.add(Map.of("id", 3, "date", "2024-01-03"));list.add(Map.of("id", 3, "date", "2024-01-04"));list.add(Map.of("id", 4, "date", "2024-01-05"));list.add(Map.of("id", 3, "date", "2024-01-06"));list.add(Map.of("id", 5, "date", "2024-01-07"));List<List<Map<String, Object>>> split = getLists(list);System.out.println(split);
}private static List<List<Map<String, Object>>> getLists(List<Map<String, Object>> list) {// 去重List<Map<String, Object>> resultList = new ArrayList<>(list.stream().collect(Collectors.toMap(map -> map.get("id"), // key 为 idmap -> map, // value 为整个 Map(existing, replacement) -> existing, // 如果有重复的 id，保留第一个出现的LinkedHashMap::new // 保持顺序)).values());// 切分为 100 条一组return ListUtil.split(resultList, 100);
}

相关文章：

Java开发中对List＜Map＜String, Object＞＞集合去重并按大小拆分子列表

Java开发中对List< Map< String, Object > >集合去重并按大小拆分子列表 一、使用场景二、实现步骤三、相关知识四、代码示例 一、使用场景 在处理大量List<Map<String, Object>>集合的数据时&#xff0c;为确保数据的唯一性&#xff0c;需要先根据Ma…...

编程日记 2025/5/14 15:38:47

vue3项目搭建-6-axios 基础配置

axios 基础配置 安装 axios npm install axios 创建 axios 实例&#xff0c;配置基地址&#xff0c;配置拦截器,目录&#xff1a;utils/http.js 基地址&#xff1a;在每次访问时&#xff0c;自动作为相对路径的根 // axios 基础封装 import axios from "axios";…...

编程日记 2025/5/15 3:57:01

git 学习笔记

目录 一、git 前期准备 1、托管平台的账号注册&#xff08;以gitee码云为demo&#xff09; 2、本地个人电脑配置 &#xff08;1&#xff09;配置用户属性 &#xff08;2&#xff09;配置SSH密钥 二、git 工作流程图 三、git 提交命令 &#xff08;1&#xff09;git ini…...

编程日记 2025/5/11 21:19:16

Y20030019 基于java+jsp+mysql的微信小程序校园二手交易平台的设计与实现 源代码 文档

旅游度假区微信小程序 1.摘要2. 系统开发的目的和意义3.系统功能4.界面展示5.源码获取 1.摘要 随着移动互联网的发展&#xff0c;微信小程序已经成为人们生活中不可或缺的一部分。微信小程序的优点在于其快速、轻量、易用&#xff0c;用户无需下载即可使用&#xff0c;节省了用…...

编程日记 2025/5/14 0:08:26

Cookie跨域

跨域&#xff1a;跨域名&#xff08;IP&#xff09; 跨域的目的是共享Cookie。 session操作http协议&#xff0c;每次既要request&#xff0c;也要response&#xff0c;cookie在创建的时候会产生一个字符串然后随着response返回。 全网站的各个页面都会带着登陆的时候的cookie …...

编程日记 2025/5/14 17:15:04

Mybatis：CRUD数据操作之删除一行数据

Mybatis基础环境准备请看&#xff1a;Mybatis基础环境准备 本篇讲解Mybati数据CRUD数据操作之单条删除数据 当用户点击了该按钮&#xff0c;就会将改行数据删除掉。那我们就需要思考&#xff0c;这种删除是根据什么进行删除呢&#xff1f;是通过主键id删除&#xff0c;因为id是…...

编程日记 2025/5/12 2:13:42

【机器学习】CatBoost 模型实践：回归与分类的全流程解析

一. 引言 本篇博客首发于掘金 https://juejin.cn/post/7441027173430018067。 PS&#xff1a;转载自己的文章也算原创吧。 在机器学习领域&#xff0c;CatBoost 是一款强大的梯度提升框架&#xff0c;特别适合处理带有类别特征的数据。本篇博客以脱敏后的保险数据集为例&#x…...

编程日记 2025/5/10 4:25:35

MySQL中如何减少回表

在MySQL中&#xff0c;回表是指在使用非聚集索引进行查询时&#xff0c;如果需要获取的数据不在索引页中&#xff0c;就需要根据索引页中的指针返回到数据表中查找实际数据行的过程。这个过程会增加额外的磁盘I/O操作&#xff0c;降低查询性能&#xff0c;特别是在查询大量数据…...

编程日记 2025/5/14 15:53:33

10. 函数

一、什么是函数 函数也是对象&#xff0c;对象是内存中专门用来存储数据的一块区域。函数可以用来保存一些可执行代码的&#xff0c;并且可以在需要时&#xff0c;对这些语句进行多次调用。 二、创建函数 创建函数也称为定义函数。我们可以使用 def 关键字来定义函数&#xff…...

编程日记 2025/5/10 23:53:53

计算机网络：数据链路层（二）

网课资源&#xff1a; 湖科大教书匠 1、网络适配器和MAC地址 习题1 1 以下哪个地址是广播MAC地址 A. 00-00-00-00-00-00 B. AB-CD-EF-11-22-33 C. FF-FF-FF-FF-FF-FF D. 29-29-29-29-29-29 2 以下哪个地址是多播MAC地址 A. 00-00-00-00-00-00 B. A9-8B-7C-6D-5E-4F C. FF-FF-…...

编程日记 2025/5/10 1:19:58

一万台服务器用saltstack还是ansible?

一万台服务器用saltstack还是ansible? 选择使用 SaltStack 还是 Ansible 来管理一万台服务器&#xff0c;取决于几个关键因素&#xff0c;如性能、扩展性、易用性、配置管理需求和团队的熟悉度。以下是两者的对比分析&#xff0c;帮助你做出决策&#xff1a; SaltStack&…...

编程日记 2025/5/6 7:39:34

设计模式学习之——观察者模式

观察者模式是一种行为型设计模式&#xff0c;它用于在对象之间建立一对多的依赖关系。 一、定义与角色 定义&#xff1a; 观察者模式定义了一种一对多的依赖关系&#xff0c;让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时&#xff0c;会通知所有观察…...

编程日记 2025/5/5 23:40:08

服务器实现ssh证书登录

1.生成公钥和私钥 ssh-keygen -t rsa 提示默认生成位置为/root/.ssh/id_rsa ,直接回车。(也可以自己修改) 提示输入证书的密码&#xff0c;可以留空&#xff0c;建议输入&#xff0c;如果输入了&#xff0c;则需要再次确认&#xff0c;记住这个证书密码&#xff08;证书再加…...

编程日记 2025/5/12 14:08:23

python基础知识精讲

Python基础知识精讲 Python是一种广泛使用的高级编程语言&#xff0c;以其清晰的语法和代码可读性而闻名。它支持多种编程范式&#xff0c;包括面向对象、命令式、函数式和过程式编程。以下是Python基础知识的详细讲解。 1. Python简介 Python由Guido van Rossum创建&#x…...

编程日记 2025/5/11 3:48:58

分页查询日期格式不对

方式一:在属性上加入注解&#xff0c;对日期进行格式化 方式二:在 WebMvcConfiguration 中扩展Spring MVC的消息转换器&#xff0c;统一对日期类型进行格式化处理 /*** 统一转换处理扩展spring mvc* 后端返回前端的进行统一转化处理* param converters*/Overrideprotected voi…...

编程日记 2025/5/15 0:13:03

Windsurf可以上传图片开发UI了

背景 曾经羡慕Cursor的“画图”开发功能&#xff0c;这不Windsurf安排上了。 Upload Images to Cascade Cascade now supports uploading images on premium models Ask Cascade to build or tweak UI from on image upload New keybindings Keybindings to navigate betwe…...

编程日记 2025/5/12 14:47:15

工作坊报名｜使用 TEN 与 Azure，探索你的多模态交互新场景

GPT-4o Realtime API 发布&#xff0c;语音 AI 技术正在进入一场新的爆发。语音AI技术的实时语音和视觉互动能力将为我们带来更多全新创意和应用场景。 实时音频交互&#xff1a; 允许应用程序实时接收并响应语音和文本输入。自然语音生成&#xff1a; 减少 AI 技术生成的语音…...

编程日记 2025/5/14 10:57:33

Java 虚拟机：承载 Java 生态的神奇魔盒

在软件开发的世界里&#xff0c;Java 虚拟机&#xff08;JVM&#xff09;就像一位智慧的管家&#xff0c;默默守护着 Java 生态系统的运行。它不仅让 Java 实现了"一次编写&#xff0c;到处运行"的梦想&#xff0c;更是成为了多种编程语言的运行平台。让我们一起走进…...

编程日记 2025/5/8 8:10:20

Linux VLAN 实现原理技术笔记

一、引言 VLAN&#xff08;虚拟局域网&#xff09;在整车网络架构中起着至关重要的作用&#xff0c;它能够在物理网络基础设施上创建逻辑隔离的网络区域&#xff0c;提高车内网络的安全性、灵活性和性能。Linux 内核通过一系列复杂的机制实现了 VLAN 功能&#xff0c;本技术笔记…...

编程日记 2025/5/15 3:21:30

【Git】：分支管理

目录 理解分支 创建分支 切换分支 合并分支 删除分支 合并冲突 分支管理策略 快进合并 正常合并 bug 分支 总结 理解分支 在版本控制系统中&#xff0c;分支是一条独立的开发线路。它允许开发者从一个主要的代码基线&#xff08;例如master分支&#xff09;分离出来…...

编程日记 2025/5/12 8:02:29

Java中的运算符“instanceof“详解

在Java中&#xff0c;instanceof运算符用于检查一个对象是否是某个特定类的实例&#xff0c;或者是否实现了某个特定接口。它返回一个布尔值&#xff08;true或false&#xff09;&#xff0c;用于在运行时进行类型检查。这在处理多态性时尤其有用&#xff0c;可以帮助我们确定对…...

编程日记 2025/5/12 17:54:03

Profinet转Modbus TCP西门子SINAMICS G120变频器与施耐德M580通讯案例

一. 案例背景 在复杂的工业自动化场景中&#xff0c;企业常常会采用不同品牌的设备来构建生产系统。西门子SINAMICS G120变频器以其高性能、高精度的速度和转矩控制功能&#xff0c;在电机驱动领域应用广泛。施耐德M580可编程逻辑控制器则以强大的逻辑控制和数据处理能力著称&a…...

编程日记 2025/5/14 4:36:46

机器学习实战笔记39-43树模型基础

目前最常用的是CART树&#xff1a; 评价标准&#xff1a;每次划分后子节点的纯度&#xff08;即是否标签都为0/1&#xff09;&#xff0c;分为信息熵、基尼系数&#xff08;越小则纯度越高&#xff09;和分类误差 找划分节点的方法&#xff1a;CART树无需区分连续和离散变量&am…...

编程日记 2025/5/11 12:36:22

`uni.setClipboardData` 是 uni-app 提供的一个 API 设置系统剪贴板的内容

uni.setClipboardData是uni-app提供的一个API&#xff0c;用于设置系统剪贴板的内容。 使用说明&#xff1a; 使用此API可以将指定的文本内容复制到系统剪贴板&#xff0c;使用户能够在其他应用或页面中粘贴这些内容。 uni.setClipboardData({data: , // 需要复制的内容 suc…...

编程日记 2025/5/14 6:58:36

Android opengl 绘制矩形，宽高相同，不能显示为正方形，是怎么回事

在Android上使用OpenGL绘制矩形&#xff08;或尝试显示为正方形&#xff09;时&#xff0c;如果结果显示为不是正方形&#xff0c;可能有几个原因。以下是一些常见的因素及解决方法&#xff1a; 视口&#xff08;Viewport&#xff09;设置不当&#xff1a; OpenGL的视口定义了…...

编程日记 2025/5/15 3:47:16

网络安全开源组件

本文只是针对开源项目进行收集&#xff0c;如果后期在工作中碰到其他开源项目将进行更新。欢迎大家在评论区留言&#xff0c;您在工作碰到的开源项目。 祝您工作顺利&#xff0c;鹏程万里&#xff01; 一、FW&#xff08;防火墙&#xff09; 1.1 pfSense pfSense项目是一个免费…...

编程日记 2025/5/14 23:43:33

【C++初阶】第5课—模版初阶

文章目录 1. 函数模版1.1 函数模版格式1.2 函数模版原理1.3 函数模版的实例化1.4 模版参数的匹配原则 2. 类模版 1. 函数模版 在讲函数模版之前先看一个例子 为了实现泛型编程&#xff0c;C提出了函数模版的概念函数模版与类型无关&#xff0c;在使用时被参数化&#xff0c;根据…...

编程日记 2025/5/11 9:09:09

【力扣热题100】[Java版] 刷题笔记-3. 无重复字符的最长子串

题目:3. 无重复字符的最长子串 给定一个字符串 s &#xff0c;请你找出其中不含有重复字符的 最长子串 的长度。 解题思路 根据题目&#xff0c;只需要返回无重复字符串的最长子串的长度&#xff0c;所以我们不需要知道知道字符串内容是什么&#xff0c;在整个字符串 s 中&…...

编程日记 2025/5/13 7:12:56

无人机数据处理系统:原理与核心系统

一、数据处理系统的运行原理 数据获取&#xff1a;无人机在飞行过程中&#xff0c;通过搭载的传感器&#xff08;如相机、激光雷达等&#xff09;采集到各种类型的数据&#xff0c;例如图像、点云等。这些数据是后续处理和分析的基础。 数据传输&#xff1a;采集到的数据会通…...

编程日记 2025/5/9 23:13:46

Hadoop分布式文件系统(二)

目录 1. 引言1. Hadoop文件操作命令2. 部分常用的Hadoop FS Shell命令2.1 ls列出文件2.2 mkdir创建目录2.3 put上传文件2.4 cat查看文件2.5 get复制文件2.6 rm删除文件 3. Hadoop系统管理命令4. HDFS Java API 示例参考 1. 引言 大多数HDFS Shell命令的行为和对应的Unix Shell命…...

编程日记 2025/5/11 12:21:02

PortSwigger 原型污染

一、什么是原型污染 原型污染是一种 JavaScript 漏洞&#xff0c;它使攻击者能够向全局对象原型添加任意属性&#xff0c;然后这些属性可能被用户定义的对象继承。 二、JavaScript 原型和继承基础 1、原型 JavaScript 中的每个对象都链接到某种类型的另一个对象&#xff0c;称…...

编程日记 2025/5/14 2:28:47

雪花算法详解：分布式系统中高效唯一的ID生成方案

文章目录 原理与结构工作流程优势局限性应对高并发的方法适用场景 雪花算法&#xff08;Snowflake Algorithm&#xff09;是由Twitter开发的一种分布式全局唯一ID生成方案&#xff0c;旨在解决在分布式系统中快速、无冲突地生成唯一标识符的问题。它通过巧妙的设计&#xff0c;…...

编程日记 2025/5/14 7:25:37

[Redis#7] set | 命令 | 集合 | 用户画像 | UV

目录 1. 特点 2. 常用命令 2.1 普通命令 2.2 集合间操作 2.3. 命令小结 3.内部编码 4. 应用场景 1. 构造用户画像 2. 计算用户之间的共同好友 3. 统计 UV 1. 特点 集合类型也是保存多个字符串类型的元素的&#xff0c;和 list 类型不同的是&#xff1a; 无序性&…...

编程日记 2025/5/14 12:34:41

中介者模式 (Mediator Pattern)

文章目录 中介者模式 (Mediator Pattern)原理优点缺点示例代码场景描述1. 定义中介者接口2. 实现具体中介者3. 定义同事类接口4. 实现具体同事类5. 客户端代码输出结果 UML 类图使用场景小结 中介者模式 (Mediator Pattern) 中介者模式是一种 行为型设计模式&#xff0c;用来降…...

编程日记 2025/5/11 15:52:48

PVE 软路由单网口——VLAN 实践

从VLAN交换机出发&#xff0c;到PVE的Linux Bridge 、Linux VLAN&#xff0c;再到iKuai等软路由软件的设置&#xff0c;尽可能的了解VLAN设置细节&#xff0c;避免踩坑。 本文使用的快速切换CIDR的脚本 PVE 调试之“一键设置网络连接的以太网的CIDR“——“.PS1 脚本” 默认…...

编程日记 2025/5/11 13:38:46

搭建一个基于Web的文档管理系统，用于存储、共享和协作编辑文档

搭建一个基于Web的文档管理系统&#xff0c;用于存储、共享和协作编辑文档 本项目采用以下架构&#xff1a; NFS服务器: 负责存储文档资料。Web服务器: 负责提供文档访问和编辑功能。SELinux: 负责权限控制&#xff0c;确保文档安全。Git服务器: 负责存储文档版本历史&#x…...

编程日记 2025/5/12 5:08:27

【QT】控件8

1.QDial 通过调节旋钮位置来控制窗口的不透明度&#xff1a; void Widget::on_dial_valueChanged(int value) {qDebug()<<value;this->setWindowOpacity((double)value/100); }效果演示&#xff1a; 2.Date/Time Edit 计算两个日期的差值 ui界面设计 计算按钮按下…...

编程日记 2025/5/14 8:24:46

asyncio.to_thread 详解及示例代码

asyncio.to_thread 详解及示例代码 1. asyncio.to_thread() 简介函数签名返回值 2. 示例代码示例 1: 执行阻塞的 I/O 操作示例 2: 执行阻塞的 CPU 密集型操作 3. 注意事项4. 总结 在异步编程中&#xff0c;asyncio 是 Python 中用于编写异步代码的标准库。然而&#xff0c;有时…...

编程日记 2025/5/14 2:20:26

MYSQL字段变更

修改字段长度 ALTER TABLE tqt_sp_prod.t_receipt_order_head MODIFY COLUMN CUS_CONTRACT_CD VARCHAR(50) COMMENT 客户合同编号;添加varchar类型字段 AFTER 此处指在loc_cd字段后面 ALTER TABLE m_product ADD COLUMN FIXED_ASSET_NUM VARCHAR(100) DEFAULT NULL COMME…...

编程日记 2025/5/5 10:42:13

【通俗理解】步长和学习率在神经网络中是一回事吗？

【通俗理解】步长和学习率在神经网络中是一回事吗&#xff1f; 【核心结论】 步长&#xff08;Step Size&#xff09;和学习率&#xff08;Learning Rate, LR&#xff09;在神经网络中并不是同一个概念&#xff0c;但它们都关乎模型训练过程中的参数更新。 【通俗解释&#x…...

编程日记 2025/3/26 4:35:04

力扣-位运算-8【算法学习day.48】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向和记录学习过程&#xff08;例如想要掌握基础用法&#xff0c;该刷哪些题&#xff1f;&#xff09;我的解析也不会做的非常详细&#xff0c;只会提供思路和一些关键点&#xff0c;力扣上的大佬们的题解质量是非…...

编程日记 2025/5/12 8:02:01

C++ 字符串中数字识别

【问题描述】 输入一个字符串&#xff0c;含有数字和非数字字符&#xff0c;如“sumabc234;while(abc700)tab{ass346;bssabc267;}”&#xff0c;将其中连续的数字作为一个整数&#xff0c;依次存放到一个数组nums中。例如&#xff0c;234放在nums[0]&#xff0c;700放在nums[1…...

编程日记 2025/5/12 8:49:26

计算机毕业设计Python+卷积神经网络股票预测系统 股票推荐系统 股票可视化 股票数据分析 量化交易系统 股票爬虫 股票K线图 大数据毕业设计 AI

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…...

编程日记 2025/5/11 23:38:57

jvm-49-linux 服务器 cpu 使用率升高应该如何排查分析？

拓展阅读 JVM FULL GC 生产问题 I-多线程通用实现 JVM FULL GC 生产问题 II-如何定位内存泄露&#xff1f; 线程通用实现 JVM FULL GC 生产问题 III-多线程执行队列的封装实现&#xff0c;进一步抽象 jvisualvm java 性能分析工具 jvm-44-jvm 内存性能分析工具 Eclipse Me…...

编程日记 2025/5/11 22:04:33

FPGA存在的意义：为什么adc连续采样需要fpga来做，而不会直接用iic来实现

FPGA存在的意义&#xff1a;为什么adc连续采样需要fpga来做&#xff0c;而不会直接用iic来实现 原因ADS111x连续采样实现连续采样功能说明iic读取adc的数据速率 VS adc连续采样的速率adc连续采样的速率iic读取adc的数据速率结论分析 FPGA读取adc数据问题一&#xff1a;读取adc数…...

编程日记 2025/5/13 10:03:36

Web开发基础学习——HTML, CSS, JavaScript 的区别和联系

Web开发基础学习系列文章目录 第一章 基础知识学习之HTML, CSS, JavaScript 的区别和联系 文章目录 Web开发基础学习系列文章目录前言一、定义说白了&#xff0c;就是HTML负责网页的内容&#xff0c;CSS负责网页的格式&#xff0c;JS负责网页的交互。 二、 功能三、联系四、示…...

编程日记 2025/5/10 0:53:13

通义灵码走进北京大学创新课堂丨阿里云云原生 10 月产品月报

云原生月度动态 云原生是企业数字创新的最短路径。 《阿里云云原生每月动态》&#xff0c;从趋势热点、产品新功能、服务客户、开源与开发者动态等方面&#xff0c;为企业提供数字化的路径与指南。 趋势热点 &#x1f947; 通义灵码走进北京大学创新课堂&#xff0c;与 400…...

编程日记 2025/5/6 23:44:43

Facebook Messenger背后的技术架构：即时通讯的实现之道

Facebook Messenger&#xff0c;作为全球最受欢迎的即时通讯应用之一&#xff0c;每天承载着数十亿的消息交换。其背后支撑这一流畅通讯体验的技术架构&#xff0c;融合了大量先进的技术和创新的解决方案。本文将从技术角度&#xff0c;深入探讨Facebook Messenger如何实现即时…...

编程日记 2025/5/15 4:10:54

前端css实例

前端css实例 一、带条纹的表格 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>条纹样式的表格<…...

编程日记 2025/5/10 4:26:58

电阻改善信号完整性

1.为什么电路端接电阻能改善信号完整性 由于电信号在PCB上传输&#xff0c;因此在PCB设计中可以把PCB走线认为是信号的通道&#xff0c;当该通道的 物理结构&#xff08;线宽&#xff0c;线到参考面的距离等&#xff09;发生变化&#xff0c;特别是有一些突变时&#xff0c;都会…...

编程日记 2025/5/14 16:17:41