当前位置： 首页 > news >正文

为什么hadoop不用Java的序列化？

news 来源：原创 2025/7/15 5:00:22

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。所以，Hadoop自己开发了一套序列化机制（Writable）。

Hadoop序列化特点：

（1）紧凑 ：高效使用存储空间。

（2）快速：读写数据的额外开销小。

（3）互操作：支持多语言的交互。

常用的Java的数据类型与Hadoop的序列化的类型对比。

相关文章：

为什么hadoop不用Java的序列化？

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。所以&#xf…...

编程日记 2025/7/15 5:00:22

《类和对象(下)》

引言： 书接上回，如果说类和对象（上）是入门阶段，类和对象（中）是中间阶段，那么这次的类和对象（下）就可以当做类和对象的补充及收尾。 一：再探构造…...

编程日记 2025/7/15 4:54:34

基于STM32、HAL库的TLV320AIC3101IRHBR音频接口芯片驱动程序设计

一、简介： TLV320AIC3101IRHBR 是 Texas Instruments 推出的高性能、低功耗音频编解码器，专为便携式和电池供电设备设计。它集成了立体声 ADC、DAC、麦克风前置放大器、耳机放大器和数字信号处理功能，支持 I2S/PCM 音频接口和 I2C 控制接口，非常适合与 STM32 微控制器配合…...

编程日记 2025/7/14 10:46:45

EDR与XDR如何选择适合您的网络安全解决方案

1. 什么是EDR？ 端点检测与响应（EDR） 专注于保护端点设备（如电脑、服务器、移动设备）。通过在端点安装代理软件，EDR实时监控设备活动，检测威胁并快速响应。 EDR核心功能 实时监控：…...

编程日记 2025/7/14 17:45:24

Vue2 elementUI 二次封装命令式表单弹框组件

需求&#xff1a;封装一个表单弹框组件&#xff0c;弹框和表单是两个组件&#xff0c;表单以插槽的形式动态传入弹框组件中。 使用的方式如下&#xff1a; 直接上代码&#xff1a; MyDialog.vue 弹框组件 <template><el-dialog:titletitle:visible.sync"dialo…...

编程日记 2025/6/29 4:35:54

jenkins流水线常规配置教程!

Jenkins流水线是在工作中实现CI/CD常用的工具。以下是一些我在工作和学习中总结出来常用的一些流水线配置&#xff1a;变量需要加双引号括起来 "${main}" 一 引用无账号的凭据 使用变量方式引用&#xff0c;这种方式只适合只由密码&#xff0c;没有用户名的凭证。例…...

编程日记 2025/6/29 4:03:49

设计模式系列（02）：设计原则（一）：SRP、OCP、LSP

本文为设计模式系列第2篇，聚焦面向对象设计的三大核心原则：单一职责、开放封闭、里氏替换，系统梳理定义、实际业务场景、优缺点、最佳实践与常见误区，适合系统学习与团队协作。 目录 1. 引言2. 单一职责原则（SRP）3. 开放封闭原则（OCP）4. 里氏替换原则（LSP）5. 常见误区…...

编程日记 2025/6/29 1:35:04

【日常】AI 工作流

AI 工作流 名称使用场景产品形态其他ChatGPT网页LLMGemini可以生成一份深度研究的文档并保存到Google Docs网页LLM白嫖了一年会员Kimi日常网页LLMDeepSeek深度思考网页LLMGrok3Deep Research 深度搜索网页LLMQwen3网页LLM元宝可免费使用DS的深度思考&#xff08;满血DS R1版&a…...

编程日记 2025/7/14 20:09:49

问题及解决02-处理后的图像在坐标轴外显示

一、问题 在使用matlab的appdesigner工具来设计界面&#xff0c;可以通过点击处理按钮来处理图像&#xff0c;并将处理后的图像显示在坐标轴上&#xff0c;但是图像超出了指定的坐标轴&#xff0c;即处理后的图像在坐标轴外显示。 问题图如下图所示。 原来的坐标轴如下图所…...

编程日记 2025/6/29 3:16:36

Spark基础介绍

Spark是一种基于内存的快速、通用、可拓展的大数据分析计算引擎。 起源阶段 Spark 最初是在 2009 年由加州大学伯克利分校的 AMP 实验室开发。当时&#xff0c;Hadoop 在大数据处理领域占据主导地位&#xff0c;但 MapReduce 在某些复杂计算场景下&#xff0c;如迭代计算和交互…...

编程日记 2025/6/29 2:02:05

Oracles数据库通过存储过程调用飞书接口推送群组消息

在Oracle数据库中，可以通过存储过程调用外部接口来实现推送消息的功能。以下是一个示例，展示如何通过存储过程调用飞书接口推送群组消息。 创建存储过程 首先，创建一个存储过程，用于调用飞书接口。该存储过程使用UTL_HTTP包来发送HTTP请求。 CREATE OR REPLACE PROCEDUR…...

编程日记 2025/7/12 15:29:56

ubuntu22.04编译PX4无人机仿真实践

克隆PX4源码，并且更新子模块 git clone https://github.com/PX4/PX4-Autopilot.git --recursive git submodule update --init --recursive # 强制同步所有子模块 接着安装相关依赖： bash ./PX4-Autopilot/Tools/setup/ubuntu.sh 运行以下命令进行编译： cd ~/PX4-Autop…...

编程日记 2025/6/29 2:33:58

MySQL基础入门：MySQL简介与环境搭建

引言 在数字化转型浪潮中&#xff0c;MySQL作为数据存储的"基石引擎"&#xff0c;支撑着从电商交易到金融风控的各类核心业务。其高并发处理能力、灵活的架构设计及跨平台兼容性&#xff0c;使其成为开发者技术栈中的"常青树"。本章节将通过历史溯源、技术…...

编程日记 2025/7/14 14:51:53

无人机避障——（运动规划部分）深蓝学院动力学kinodynamic A* 3D算法理论解读（附C++代码）

开源代码链接&#xff1a;GitHub - Perishell/motion-planning 效果展示&#xff1a; ROS 节点展示全局规划和轨迹生成部分&#xff1a; Kinodynamic A*代码主体&#xff1a; int KinoAstar::search(Eigen::Vector3d start_pt, Eigen::Vector3d start_vel,Eigen::Vector3d en…...

编程日记 2025/7/14 16:27:50

电脑声音小怎么调大 查看声音调整方法

电脑是我们工作学习经常需要用到的工具&#xff0c;同时电脑也可以播放音乐、视频、游戏等&#xff0c;享受声音的效果。但是&#xff0c;有些电脑的声音很小&#xff0c;即使把音量调到最大&#xff0c;也听不清楚&#xff0c;这让我们很苦恼。那么&#xff0c;电脑声音小怎么…...

编程日记 2025/6/29 4:58:48

无人机信号监测系统技术解析

一、模块技术要点 1. 天线阵列与信号接收模块 多频段自适应切换&#xff1a;采用天线阵列模块&#xff0c;根据复杂地形和不同频段自动切换合适的天线&#xff0c;提升信号接收灵敏度。 双天线测向技术&#xff1a;通过双天线的RSSI&#xff08;信号接收强度&#xff09;差值…...

编程日记 2025/6/29 1:34:44

Excel的详细使用指南

### **一、Excel基础操作** #### **1. 界面与基本概念** - **工作簿&#xff08;Workbook&#xff09;**&#xff1a;一个Excel文件&#xff08;扩展名.xlsx&#xff09;。 - **工作表&#xff08;Worksheet&#xff09;**&#xff1a;工作簿中的单个表格&#xff08;默认名…...

编程日记 2025/6/29 2:32:59

基于SSM实现的健身房系统功能实现十六

一、前言介绍&#xff1a; 1.1 项目摘要 随着社会的快速发展和人们健康意识的不断提升&#xff0c;健身行业也在迅速扩展。越来越多的人加入到健身行列&#xff0c;健身房的数量也在不断增加。这种趋势使得健身房的管理变得越来越复杂&#xff0c;传统的手工或部分自动化的管…...

编程日记 2025/6/29 1:34:43

序列化和反序列化（hadoop）

1.先将上一个博客的Student复制粘贴后面加上H 在StudentH中敲下面代码 package com.example.sei; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; //学生类&#xff0c;姓名&#xff0c;年龄 //支…...

编程日记 2025/6/29 4:06:03

大模型MCP_MCP从流式SSE到流式HTTP_1.8.0支持流式HTTP交互_介绍_从应用到最优--人工智能工作笔记0245

从最开始的大模型时代,到现在MCP,大模型技术,人工智能技术迭代真的非常快 之前的大模型更像一个大脑,能帮大家出点子,然后告诉你思路,你去解决问题,但是 一直不能自己解决问题,后来出来了通用的manus智能体,声称可以解决很多问题.直接操作 一个自带的电脑,但是也有局限性,还…...

编程日记 2025/6/29 1:35:09

docker大镜像优化实战

在 Docker 镜像优化方面&#xff0c;有许多实战技巧可以显著减小镜像体积、提高构建效率和运行时性能。以下是一些实用的优化策略和具体操作方法&#xff1a; 1. 选择合适的基础镜像 策略 使用 Alpine 版本&#xff1a;Alpine 镜像通常只有 5-10MB&#xff0c;比 Ubuntu/Deb…...

编程日记 2025/6/29 1:35:44

【25软考网工】第六章（5）应用层安全协议

博客主页&#xff1a;christine-rr-CSDN博客 ​​专栏主页&#xff1a;软考中级网络工程师笔记 ​​​ 大家好&#xff0c;我是christine-rr !目前《软考中级网络工程师》专栏已经更新三十篇文章了&#xff0c;每篇笔记都包含详细的知识点&#xff0c;希望能帮助到你&#xff…...

编程日记 2025/7/7 10:44:37

RevIN（Reversible Instance Normalization）及其在时间序列中的应用

详细介绍 RevIN&#xff08;Reversible Instance Normalization&#xff09;及其在时间序列中的应用 1. RevIN 的定义与背景 RevIN&#xff08;可逆实例归一化&#xff09;是一种专门为时间序列预测设计的归一化方法&#xff0c;旨在处理非平稳数据&#xff08;non-stationar…...

编程日记 2025/6/29 1:34:46

JSON 和 cJSON 库入门教程

第一部分&#xff1a;了解 JSON (JavaScript Object Notation) 什么是 JSON&#xff1f; JSON 是一种轻量级的数据交换格式。它易于人阅读和编写&#xff0c;同时也易于机器解析和生成。 JSON 基于 JavaScript 编程语言的一个子集&#xff0c;但它是一种独立于语言的文本格式…...

编程日记 2025/6/29 5:03:26

Unity 2D 行走动画示例工程手动构建教程-AI变成配额前端UI-完美游戏开发流程

&#x1f3ae; Unity 2D 行走动画示例工程手动构建教程 ✅ 1. 新建 Unity 项目 打开 Unity Hub&#xff1a; 创建一个新项目&#xff0c;模板选择&#xff1a;2D Core项目名&#xff1a;WalkAnimationDemo ✅ 2. 创建文件夹结构 在 Assets/ 目录下新建以下文件夹&#xff1a…...

编程日记 2025/6/29 1:34:52

[Java][Leetcode middle] 45. 跳跃游戏 II

这题没做出来&#xff0c;看的答案解析 可以理解为希望采用最少得跳槽次数跳到最高级别的公司。 下标i为公司本身的职级&#xff0c;每个公司可以提供本身等级nums[i]的职级提升。 每次从这些选择中选择自己能够达到最大职级的公司跳槽。 public int jump(int[] nums) {if(nu…...

编程日记 2025/6/29 4:02:56

leetcode 3335. 字符串转换后的长度 I

给你一个字符串 s 和一个整数 t&#xff0c;表示要执行的 转换 次数。每次 转换 需要根据以下规则替换字符串 s 中的每个字符&#xff1a; 如果字符是 z&#xff0c;则将其替换为字符串 "ab"。否则&#xff0c;将其替换为字母表中的下一个字符。例如&#xff0c;a 替…...

编程日记 2025/7/9 5:17:38

Leetcode 3542. Minimum Operations to Convert All Elements to Zero

Leetcode 3542. Minimum Operations to Convert All Elements to Zero 1. 解题思路2. 代码实现 题目链接&#xff1a;3542. Minimum Operations to Convert All Elements to Zero 1. 解题思路 这一题的处理方法其实还是挺好想明白的&#xff0c;其实就是从小到大依次处理各个…...

编程日记 2025/6/29 3:34:14

如何使用C51的Timer0实现定时功能

在C51单片机中&#xff0c;使用定时器0&#xff08;Timer0&#xff09;实现定时功能需要以下步骤&#xff1a; 1. 定时器基础知识 时钟源&#xff1a;C51的定时器时钟来源于晶振&#xff08;如12MHz&#xff09;。机器周期&#xff1a;1个机器周期 12个时钟周期&#xff08;1…...

编程日记 2025/6/29 1:34:49

Day1 时间复杂度

一 概念 在 C 中&#xff0c;时间复杂度是衡量算法运行时间随输入规模增长的趋势的关键指标&#xff0c;用于评估算法的效率。它通过 大 O 表示法&#xff08;Big O Notation&#xff09; 描述&#xff0c;关注的是输入规模 n 趋近于无穷大时&#xff0c;算法时间增长的主导因…...

编程日记 2025/6/29 3:26:40

PostgreSQL 配置设置函数

PostgreSQL 配置设置函数 PostgreSQL 提供了一组配置设置函数&#xff08;Configuration Settings Functions&#xff09;&#xff0c;用于查询和修改数据库服务器的运行时配置参数。这些函数为数据库管理员提供了动态管理数据库配置的能力&#xff0c;无需重启数据库服务。 …...

编程日记 2025/7/14 11:47:17

美学心得（第二百七十六集） 罗国正

美学心得&#xff08;第二百七十六集&#xff09; 罗国正 &#xff08;2025年4月&#xff09; 3275、人类将迎来真、善、美快速发展的时期&#xff0c;人‐机合一的天人合一&#xff08;可简称为“天人机合一”&#xff09;的境界已渐露头角&#xff0c;在优秀的人群中迅猛地…...

编程日记 2025/6/29 1:35:35

描述性统计工具 - AxureMost 落葵网

描述性统计工具是用于汇总和分析数据&#xff0c;以更好地了解数据特征的工具1。以下是一些常见的描述性统计工具简介&#xff1a; 描述性统计工具 Excel 基本统计函数&#xff1a;提供了丰富的函数用于计算描述性统计量。例如&#xff0c;AVERAGE 函数用于计算平均值&#xf…...

编程日记 2025/6/29 1:39:57

mybatis中${}和#{}的区别

先测试&#xff0c;再说结论 userService.selectStudentByClssIds(10000, "wzh or 11");List<StudentEntity> selectStudentByClssIds(Param("stuId") int stuId, Param("field") String field);<select id"selectStudentByClssI…...

编程日记 2025/6/29 1:35:43

【OpenCV】网络模型推理的简单流程分析（readNetFromONNX、setInput和forward等）

目录 1.模型读取&#xff08;readNetFromONNX()&#xff09;1.1 初始化解析函数&#xff08;parseOperatorSet()&#xff09;1.2 提取张量&#xff08;getGraphTensors()&#xff09;1.3 节点处理&#xff08;handleNode()&#xff09; 2.数据准备&#xff08;blobFromImage() …...

编程日记 2025/7/6 13:44:40

代码随想录算法训练营第三十九天

LeetCode题目: 115. 不同的子序列583. 两个字符串的删除操作72. 编辑距离 其他: 今日总结 往期打卡 115. 不同的子序列 跳转: 115. 不同的子序列 学习: 代码随想录公开讲解 问题: 给你两个字符串 s 和 t &#xff0c;统计并返回在 s 的 子序列 中 t 出现的个数。 测试用例保…...

编程日记 2025/6/29 1:55:17

InternVL3: 利用AI处理文本、图像、视频、OCR和数据分析

InternVL3推动了视觉-语言理解、推理和感知的边界。 在其前身InternVL 2.5的基础上，这个新版本引入了工具使用、GUI代理操作、3D视觉和工业图像分析方面的突破性能力。 让我们来分析一下是什么让InternVL3成为游戏规则的改变者 — 以及今天你如何开始尝试使用它。 InternVL…...

编程日记 2025/6/29 1:34:54

力扣刷题Day 48：盛最多水的容器（283）

1.题目描述 2.思路 学习了Krahets佬的双指针思路&#xff0c;初始化两个边界作为容器边界&#xff0c;然后逐个向数组内遍历&#xff0c;直到左右两指针相遇。 3.代码&#xff08;Python3&#xff09; class Solution:def maxArea(self, height: List[int]) -> int:left,…...

编程日记 2025/6/29 1:34:48

基于单应性矩阵变换的图像拼接融合

单应性矩阵变换 单应性矩阵是一个 3x3 的可逆矩阵&#xff0c;它描述了两个平面之间的投影变换关系。在图像领域&#xff0c;单应性矩阵可以将一幅图像中的点映射到另一幅图像中的对应点&#xff0c;前提是这两幅图像是从不同视角拍摄的同一平面场景。 常见的应用场景&#x…...

编程日记 2025/6/29 1:34:50

《驱动开发硬核特训 · 专题篇》：深入理解 I2C 子系统

关键词&#xff1a;i2c_adapter、i2c_client、i2c_driver、i2c-core、platform_driver、设备树匹配、驱动模型 本文目标&#xff1a;通过实际代码一步步讲清楚 I2C 子系统的结构与运行机制&#xff0c;让你不再混淆 platform_driver 与 i2c_driver 的职责。 &#x1f9e9; 一、…...

编程日记 2025/6/29 1:54:52

Spark缓存-cache

一、RDD持久化 1.什么时候该使用持久化&#xff08;缓存&#xff09; 2. RDD cache & persist 缓存 3. RDD CheckPoint 检查点 4. cache & persist & checkpoint 的特点和区别 特点 区别 二、cache & persist 的持久化级别及策略选择 Spark的几种持久化…...

编程日记 2025/6/29 1:43:00

tails os系统详解

一、起源与发展背景 1. 项目初衷与历史 创立时间&#xff1a;Tails 项目始于 2004 年&#xff0c;最初名为 “Anonymous Live CD”&#xff0c;2009 年正式更名为 “Tails”&#xff08;The Amnesic Incognito Live System&#xff0c;“健忘的匿名实时系统”&#xff09;。核…...

编程日记 2025/6/29 4:13:46

[洛谷刷题9]

P2376 [USACO09OCT] Allowance G&#xff08;贪心&#xff09; https://www.luogu.com.cn/problem/P2376 题目描述 作为创造产奶纪录的回报&#xff0c;Farmer John 决定开始每个星期给Bessie 一点零花钱。 FJ 有一些硬币&#xff0c;一共有 N ( 1 ≤ N ≤ 20 ) N (1 \le …...

编程日记 2025/7/12 11:22:25

数据挖掘入门-二手车交易价格预测

一、二手车交易价格预测 1-1 项目背景 随着二手车市场的快速发展&#xff0c;二手车交易价格的预测成为了一个热门研究领域。精准的价格预测不仅能帮助买卖双方做出更明智的决策&#xff0c;还能促进市场的透明度和公平性。对于买家来说&#xff0c;了解合理的市场价格可以避免…...

编程日记 2025/6/29 1:35:05

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】金融风控分析案例-10.4 模型部署与定期评估

&#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 &#x1f449; 点击关注不迷路 文章大纲 10.4 模型部署与定期评估10.4.1 模型部署架构设计1.1 模型存储方案1.2 实时预测接口 10.4.2 定期评估体系构建2.1 评估指标体系2.2 自动化评估流程2.3 模型衰退预警 10.4.3 …...

编程日记 2025/6/29 3:30:37

构建可信数据空间需要突破技术、规则和生态三大关键

构建可信数据空间需要突破技术、规则和生态三大关键&#xff1a;技术上要解决"可用不可见"的隐私计算难题&#xff0c;规则上要建立动态确权和跨境流动的治理框架&#xff0c;生态上要形成多方协同的标准体系。他强调&#xff0c;只有实现技术可控、规则可信、生态协…...

编程日记 2025/6/29 1:34:55

阳光学院【2020下】计算机网络原理-A卷-试卷-期末考试试卷

一、单选题&#xff08;共25分&#xff0c;每空1分&#xff09; 1.ICMP协议工作在TCP/IP参考模型的 ( ) A.主机-网络 B.网络互联层 C.传输层 D.应用层 2.下列关于交换技术的说法中&#xff0c;错误的是 ( ) A.电路交换适用于突发式通信 B.报文交换不能满足实时通信 C.报文…...

编程日记 2025/6/29 1:40:37

python: union()函数用法

在 Python 中&#xff0c;union() 是集合&#xff08;set&#xff09;类型的内置方法&#xff0c;用于返回两个或多个集合的并集&#xff08;即所有元素的合集&#xff0c;自动去重&#xff09;。以下是它的用法详解&#xff1a; 1. 基本语法 python 复制 下载 set.union(*…...

编程日记 2025/6/29 1:35:28

docker部署WeDataSphere开源大数据平台

GitHub&#xff1a;https://github.com/WeBankFinTech/WeDataSphere **WDS容器化版本是由Docker构建的一个能够让用户在半小时内完成所有组件安装部署并使用的镜像包。**无需再去部署Hadoop等基础组件&#xff0c;也不需要部署WDS的各功能组件&#xff0c;即可让您快速体验 WD…...

编程日记 2025/6/29 4:24:02

【计算机视觉】OpenCV项目实战：基于face_recognition库的实时人脸识别系统深度解析

基于face_recognition库的实时人脸识别系统深度解析 1. 项目概述2. 技术原理与算法设计2.1 人脸检测模块2.2 特征编码2.3 相似度计算 3. 实战部署指南3.1 环境配置3.2 数据准备3.3 实时识别流程 4. 常见问题与解决方案4.1 dlib安装失败4.2 人脸检测性能差4.3 误识别率高 5. 关键…...

编程日记 2025/6/29 1:44:39