当前位置：首页 > news >正文

Hadoop的序列化和反序列化

news 来源：原创 2025/9/19 19:23:17

//1
package com.example.sei;import org.apache.hadoop.io.Writable;import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;//学生类，姓名，年龄
//支持hadoop的序列化
//1.要实现Writable接口
//2.补充一个空参构造
public class StudentH implements Writable {String name;int age;//空参构造public StudentH() {}public StudentH(String name, int age) {this.name = name;this.age = age;}//write:在序列化的时候，调用，把对象写到文件@Overridepublic void write(DataOutput dataOutput) throws IOException {//dataOutput.writeUTF(字段);dataOutput.writeUTF(name);dataOutput.writeInt(age);}//readFields:反序列化的时候，调用，从文件中读出内容，还原这个对象//字段顺序要与write中的顺序一致@Overridepublic void readFields(DataInput dataInput) throws IOException {//字段=dataInput.read();name=dataInput.readUTF();age=dataInput.readInt();}
}

//2

package com.example.sei;import java.io.*;public class TestStudentH {public static void main(String[] args) throws IOException, ClassNotFoundException {//实例化student对象
//        StudentH student = new StudentH("张三", 18);
//        System.out.println(student.name+ " " + student.age);
//
//
//
//        //hadoop序列化：把对象保存到第一个文件中
//        DataOutputStream dos = new DataOutputStream(new FileOutputStream("student_hadoop.ser"));
//        student.write(dos);//hadoop反序列化：从第一个文件中读取对象DataInputStream dis = new DataInputStream(new FileInputStream("student_hadoop.ser"));StudentH student1 = new StudentH();student1.readFields(dis);System.out.println(student1.name+ " " + student1.age);}
}

Hadoop的序列化和反序列化

//1 package com.example.sei;import org.apache.hadoop.io.Writable;import java.io.DataInput; import java.io.DataOutput; import java.io.IOException;//学生类，姓名，年龄 //支持hadoop的序列化 //1.要实现Writable接口 //2.补充一个空参构造 publi…...

编程日记 2025/9/19 19:23:17

Altera Cyclone EP1C20F400C8N FPGA 阿尔特拉介绍

在可编程逻辑器件领域，Altera 的 Cyclone 系列 FPGA 以其低成本、低功耗和灵活的 I/O 支持而著称。EP1C20F400C8N 作为 Cyclone I 家族中规模最大的成员之一，提供约 20 060 个逻辑单元，面向通信、工业控制、视频处理等多种嵌入式应用场景。…...

编程日记 2025/9/19 15:14:38

VTK随笔十四：QT与VTK的交互示例（平移）

VTK（Visualization Toolkit）是一个开源的软件系统，用于三维计算机图形学、图像处理和可视化。它提供了丰富的工具和类来处理三维数据和交互。在 VTK 中，拾取操作通常通过 vtkCellPicker 或 vtkPointPicker 等类来实现。本文将展示…...

编程日记 2025/9/17 16:39:01

用户注册（阿里云手机验证码）

阿里云开通三网106短信 ①、在阿里云市场搜索“短信”，开通三网短信，并可以查看其中的请求示例（java PHP^） 并在个人中心的管理控制台中查到，获取其中的AppKey AppCode ②、接口开发 service-user模块中依赖spr…...

编程日记 2025/9/16 0:55:31

【BFT帝国】20250409更新PBFT总结

2411 2411 2411 Zhang G R, Pan F, Mao Y H, et al. Reaching Consensus in the Byzantine Empire: A Comprehensive Review of BFT Consensus Algorithms[J]. ACM COMPUTING SURVEYS, 2024,56(5).出版时间: MAY 2024 索引时间（可被引用）: 240412 被引:…...

编程日记 2025/9/19 9:21:21

学习海康VisionMaster之边缘交点

一：进一步学习了今天学习下VisionMaster中的边缘交点，这个还是拟合直线的衍生应用，可以同时测量两条直线并且输出交点或者判定是否有交点二：开始学习 1：什么是边缘交点？ 按照传统的算法，必须…...

编程日记 2025/9/9 3:40:14

公司级项目-AD9914扫频源（三）评估板与上位机的初步调试

硬件平台搭建1-评估板与上位机第一阶段，先使用评估板配套的上位机软件进行控制，学习一下各种功能的实现方式和寄存器配置方式。硬件连接需要的设备仪器包括：多路直流稳压电源、信号发生器、示波器、电脑。按照图中的方式进行连接&am…...

编程日记 2025/9/19 12:39:38

技术优化实战解析：Stream重构与STAR法则应用指南

目录一、真实案例背景：老代码的"历史厚重感" 二、屎山代码解剖课：这些写法到底烂在哪？ 三、Stream流式重构：给老代码做个大保健 2.1 重构后代码实现 2.2 核心API技术拆解 2.3 进阶优化技巧三、STAR法则技术文档…...

编程日记 2025/9/16 20:07:35

基于Qt的串口通信工具

程序介绍该程序是一个基于Qt的串口通信工具，专用于ESP8266 WiFi模块的AT指令配置与调试。主要功能包括： 1. 核心功能串口通信：支持串口开关、参数配置（波特率、数据位、停止位、校验位）及数据收发。 AT指令操作&a…...

编程日记 2025/9/14 20:47:37

Xilinx FPGA XCZU5EV‑2FBVB900I Zynq UltraScale+™ MPSoC EV 系列

XCZU5EV‑1FBVB900I XCZU5EV‑2FBVB900E XCZU5EV‑1FBVB900I 是 Xilinx Zynq UltraScale™ MPSoC EV 系列中功能最为丰富的器件之一，采用 16 nm FinFET 工艺，封装为 31 mm  31 mm、900‑ball FCBGA（FBVB900）。该系列在传统的…...

编程日记 2025/9/19 17:23:13

如何更改OCP与metadb集群的连接方式 —— OceanBase运维管理

背景许多用户都会借助OCP平台来进行OceanBase集群的运维与监控，且因为考虑单节点的OCP部署，在遇故障时可能会短时间出现无法管控 OceanBase集群，多数用户倾向于采用多节点方式来部署OCP，即 OCP的 metadb集群也是三节点的集群部署…...

编程日记 2025/9/19 13:42:24

Databricks: Why did your cluster disappear?

You may found that you created a cluster many days ago, and you didnt delete it, but it is disapear. Why did this happen? Who deleted the cluster? Actually, 30 days after a compute is terminated, it is permanently deleted automaticlly. If your workspac…...

编程日记 2025/9/11 12:47:26

深入解析Java内存与缓存：从原理到实践优化

一、Java内存管理：JVM的核心机制 1. JVM内存模型全景图 ┌───────────────────────────────┐ │ JVM Memory │ ├─────────────┬─────────────────┤ │ Thread │ 共享…...

编程日记 2025/9/18 16:37:14

macos下 ragflow二次开发环境搭建

参考官网链接 https://ragflow.io/docs/dev/launch_ragflow_from_source虚拟环境 git clone https://github.com/infiniflow/ragflow.git cd ragflow/ # if not pipx, please install it at first pip3 install pipxpipx install uv uv sync --python 3.10 --all-extras 安装 …...

编程日记 2025/9/16 7:52:08

从 Excel 到你的表格应用：条件格式功能的嵌入实践指南

一、引言在日常工作中，面对海量数据时，如何快速识别关键信息、发现数据趋势或异常值，是每个数据分析师面临的挑战。Excel的条件格式功能通过自动化的视觉标记，帮助用户轻松应对这一难题。本文将详细介绍条件格式的应用场景&am…...

编程日记 2025/9/17 15:32:01

安徽京准：NTP网络时钟服务器功能及同步模式的介绍

安徽京准：NTP网络时钟服务器功能及同步模式的介绍安徽京准：NTP网络时钟服务器功能及同步模式的介绍 1、NTP网络时钟服务器概念： NTP时钟服务器，表面意思是时间计量工具的服务设备，其在现代工业中是用于对客户端设备…...

编程日记 2025/9/17 21:50:17

基于ueditor编辑器的功能开发之百度编辑器自带的查找和替换功能无法对目标文字进行滚动定位修复

在查找百度编辑器的查找和替换功能，发现当页面文字过多，用户在检索文字点击上一个下一个的时候，滚动条不跟随滚动了分析了ueditor关于searchpalce方法的处理时，他会在目标文字的前面插入一个span标签用户获取当前需要高亮的文字节…...

编程日记 2025/9/19 0:46:24

MYSQL——SQL语句到底怎么执行

查询语句执行流程 MySQL 查询语句执行流程查询缓存（Query Cache） MySQL内部自带了一个缓存模块，默认是关闭的。主要是因为MySQL自带的缓存应用场景有限。它要求SQL语句必须一摸一样表里面的任何一条数据发生变化时，该表所有缓…...

编程日记 2025/9/18 21:51:20

[蓝桥杯 2022 省 B] 李白打酒加强版

题目链接： 思路： ①定义dp数组，f[i][j][k]，表示经过 i 店， 遇到 j 花， 还有 k 酒。如果酒的数量超过了花的数量，那么一定喝不完。因此，k 不能超过 M。 ②从店推过来，f[…...

编程日记 2025/9/17 23:02:48

计算机视觉——图像金字塔与目标图像边缘检测原理与实践

一、两个图像块之间的相似性或距离度量 1.1 平方差和（SSD） 平方差和（SSD） 是一种常用的图像相似性度量方法。它通过计算两个图像在每个对应位置的像素值差的平方和来衡量两个图像之间的整体差异。如果两个图像在每个位置的像素值…...

编程日记 2025/9/18 7:00:30

复现QGIS-MCP教程

由于Claude国内下载不了尝试使用Cursor 下载安装Cursor Cursor - The AI Code Editor 本示例安装的是0.46版本 UV安装简介安装安装成功配置环境变量验证下载代码 git clone gitgithub.com:jjsantos01/qgis_mcp.git QGIS插件安装文件拷贝您需要将 qgis_mcp_plu…...

编程日记 2025/9/17 22:23:53

人工智能图像识别Spark Core

Spark Core 一.spark运行架构 1.运行架构 Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作…...

编程日记 2025/9/18 0:33:22

决策树+泰坦尼克号生存案例

决策树简介学习目标 1.理解决策树算法的基本思想 2.知道构建决策树的步骤【理解】决策树例子决策树算法是一种监督学习算法，英文是Decision tree。决策树思想的来源非常朴素，试想每个人的大脑都有类似于if-else这样的逻辑判断，这其中…...

编程日记 2025/9/11 10:43:35

怎么查看苹果手机和ipad的设备信息和ios udid

你知道吗？我们每天使用的iPhone和iPad，其实隐藏着大量详细的硬件与系统信息。除了常见的系统版本和序列号外，甚至连电池序列号、摄像头序列号、销售地区、芯片型号等信息，也都可以轻松查到！ 如果你是开发者、维修工程…...

编程日记 2025/9/10 20:37:26

智能驱动教育变革：人工智能在高中教育中的实践路径与创新策略

一、引言随着信息技术的飞速发展，人工智能（Artificial Intelligence, AI）已成为推动社会进步的重要力量。在教育领域，人工智能的应用正逐渐改变着传统的教学模式和方法，为教育现代化注入了新的活力。高中教育作为教育…...

编程日记 2025/9/17 23:54:15

TCP 和 UDP 可以使用同一个端口吗？

TCP 和 UDP 可以使用同一个端口吗？ 前言在深入探讨 TCP 和 UDP 是否可以使用同一个端口之前，我们首先需要理解网络通信的基本原理。网络通信是一个复杂的过程，涉及到多个层次的协议和机制。在 OSI 模型中，传输层是负责端到端数…...

编程日记 2025/9/15 17:46:14

MySQL事务管理

MySQL事务管理事务的概念事务由一条或多条SQL语句组成，这些语句在逻辑上存在相关性，共同完成一个任务，事务主要用于处理操作量大，复杂度高的数据。比如转账就涉及多条SQL语句，包括查询余额（select&…...

编程日记 2025/9/16 12:37:36

通过 SSH 方式访问 GitHub 仓库

我们来一步一步讲解如何让 Git 通过 SSH 方式访问 GitHub 仓库，包括从零开始的详细步骤，适用于大多数系统（Linux、macOS、Windows Git Bash）。注意最好只用 Git bash 比较好！他能够直接在 Windows 系统上面使用一些 L…...

编程日记 2025/9/18 20:24:12

数据库学习

DDL（数据定义语言）、DML（数据操纵语言）、DQL（数据查询语言）和DCL（数据控制语言）。 DDL用于创建、删除和修改数据库对象，如表和数据库；DML涉及数据的增删改操…...

编程日记 2025/9/12 20:38:31

DeepSeek在安全领域的应用案例全景解析

DeepSeek作为人工智能领域的标杆技术，已在网络安全、公共安全、工业安全、军事防护等领域形成系统性应用。以下从六大核心场景展开分析，结合技术实现与行业标杆案例，呈现其多维度的安全赋能价值。一、网络安全防护体系创新威胁检测与响应闭环安胜"星盾"平台：通…...

编程日记 2025/9/16 10:46:05

AI驱动SEO关键词精准定位

内容概要在传统SEO实践中，关键词定位往往依赖人工经验与有限的数据样本，导致策略滞后性与覆盖盲区并存。随着AI技术的深度介入，这一过程正经历系统性重构：从搜索意图的智能识别到关键词的自动化挖掘，算法模型通过分析…...

编程日记 2025/9/15 21:12:55

邮件营销：如何巧妙平衡发送频率与客户体验

在邮件营销领域，发送频率和客户体验就像跷跷板的两端，需要精心平衡。如果邮件发得太多，客户可能会觉得烦，甚至取消订阅，对品牌产生不好的印象；但如果发得太少，客户又容易把你忘了，错…...

编程日记 2025/9/19 4:23:20

Acrel-1000DP分布式光伏监控系统在嘉兴亨泰新能源有限公司2996.37KWP分布式光伏项目中的应用

摘要：分布式光伏发电系统其核心特点是发电设备靠近用电负荷中心，通常安装在屋顶、建筑立面或闲置空地上，截至2025年，分布式光伏发电系统在全球和中国范围内取得了显著发展，成为能源转型和可持续发展的重要推动力量。国…...

编程日记 2025/9/18 19:55:23

vue3中左右布局两个个组件使用vuedraggable实现左向右拖动，右组件列表可上下拖动

需求：左侧是个菜单组件，有对应的表单类型。右侧是渲染组件，点击左侧菜单或者拖动即可渲染出对应的组件项目中采用vuedraggable实现拖拽功能。具体实现是使用elementplus的组件，然后根据tagName的类型去渲染不同的组件。首先…...

编程日记 2025/9/18 19:05:51

gevent 高并发、 RabbitMQ 消息队列、Celery 分布式的案例和说明

1. gevent 高并发请求示例 gevent：基于协程的Python库，通过异步非阻塞模式实现高并发请求。例如，同时抓取100个网页时，无需等待每个请求完成，提升效率。 import gevent from gevent import monkey monkey.patch_…...

编程日记 2025/9/18 12:27:45

直线模组在电子行业具体的应用

在工业自动化高速发展的今天，直线模组作为重要的传动和控制元件，凭借其高效、精准、稳定的特性。在众多行业中得到了广泛应用，尤其是在电子行业中，通过提供精确的运动控制和定位，帮助提高电子制造过程的效率、质量和自…...

编程日记 2025/9/18 4:44:36

Ubuntu 24.04启用root账户

1.启用ubuntu中的root账号 ubuntu默认是禁用了root账号的,需要手动开始root权限 # 设置root账号密码 sudo passwd root # 用以下命令启用 root 账户： sudo usermod -aG sudo rootsu - root 然后输入你之前设置的 root 密码。一旦你成功登录为 root 用户&#x…...

编程日记 2025/9/17 3:03:14

【ES系列】Elasticsearch简介：为什么需要它？（基础篇）

🔥 本文将详细介绍Elasticsearch的前世今生，以及为什么它在当今的技术栈中如此重要。本文是ES起飞之路系列的基础篇第一章，适合想要了解ES的读者。文章目录一、什么是Elasticsearch？1. ES的定义2. ES的核心特性2.1 分布式存储2.2 实时搜索2.3 高可用性2.4 RESTful API3.…...

编程日记 2025/9/17 23:18:25

SvelteKit 最新中文文档教程（19）—— 最佳实践之身份认证

前言 Svelte，一个语法简洁、入门容易，面向未来的前端框架。从 Svelte 诞生之初，就备受开发者的喜爱，根据统计，从 2019 年到 2024 年，连续 6 年一直是开发者最感兴趣的前端框架 No.1： Svelte …...

编程日记 2025/9/19 15:12:55

Droris（强制）删除某一个分区数据

Doris如果想删除某一个分区的数据，可以这么操作： DROP PARTITION [IF EXISTS] partition_name [FORCE]需要注意的是： 必须为使用分区的表保留至少一个分区。执行DROP PARTITION一段时间后，可以通过RECOVER语句恢复被删除的分区:…...

编程日记 2025/9/17 18:32:20

Meta 最新 AI 模型系列 ——Llama 4

Meta 发布了最新 AI 模型系列 ——Llama 4，这是其 Llama 家族的最新成员。在大模型竞技场（Arena），Llama 4 Maverick 的总排名第二，成为第四个突破 1400 分的大模型。其中开放模型排名第一，超越了 DeepSeek…...

编程日记 2025/9/17 16:23:01

软考系统架构设计师系列知识点 —— 设计模式之工厂模式

本文内容参考： 软考系统架构设计师系列知识点之设计模式（2）_系统架构设计师中考设计模式吗-CSDN博客 https://baike.baidu.com/item/%E5%B7%A5%E5%8E%82%E6%A8%A1%E5%BC%8F?fromModulelemma_search-box 设计模式-工厂方法模式&#xff0…...

编程日记 2025/9/19 5:11:43

Jetpack Compose 状态保存机制全面解析：让UI状态持久化

在Android开发中，Jetpack Compose 的状态管理是一个核心话题，而状态保存则是确保良好用户体验的关键。本文将深入探讨Compose中各种状态保存技术，帮助你在配置变更和进程重建时保持UI状态。一、基础保存：rememberSaveable reme…...

编程日记 2025/9/17 5:55:57

阿里云原生AI网关Higress：架构解析与应用实践

摘要随着云原生与AI技术的深度融合，API网关作为流量治理的核心组件，正面临新的挑战与机遇。阿里云开源的Higress网关，凭借其“三网合一”（流量网关、微服务网关、安全网关）的高集成能力，以及面向AI场景的…...

编程日记 2025/9/15 7:04:22

如何在数据仓库中集成数据共享服务？

目录 1. Snowflake 数据共享服务：云端的最佳实践 2. 数据共享服务的重要性 3. 麦聪 QuickAPI：企业本地的理想选择 4. 云端与本地的互补总结数据共享服务是现代数据仓库的核心功能，能够提升协作效率、降低成本并释放数据潜力。以 Sno…...

编程日记 2025/9/18 18:55:12

spark RDD相关概念和运行架构

核心概念 - RDD定义：弹性分布式数据集，是Spark中基础数据处理抽象，具弹性、不可变、可分区及并行计算特性。弹性存储的弹性：内存与磁盘的自动切换； 容错的弹性：数据丢失可以自动恢复； 计算…...

编程日记 2025/9/15 17:02:29

2025.04.09【Sankey】| 生信数据流可视化精讲

文章目录引言Sankey图简介R语言中的Sankey图实现安装和加载networkD3包创建Sankey图的数据结构创建Sankey图绘制Sankey图结论引言在生物信息学领域，数据可视化是理解和分析复杂数据集的关键工具之一。今天，我们将深入探讨一种特别适用于展示数据流动…...

编程日记 2025/9/17 8:59:32

《系统分析师-案例实践篇-16-22章总结》

案例实践篇...

编程日记 2025/9/17 5:47:50

spark core

Executor的核心功能运行任务：Executor负责运行组成Spark应用的任务，并将结果返回给驱动器进程。缓存管理：Executor通过自身的块管理器为用户程序中要求缓存的RDD提供内存或存储。 Master和Worker的角色 Master：负责资源调度和分…...

编程日记 2025/9/19 1:56:36

crawl4ai的实践（爬虫）

1.准备环境 !pip install -U crawl4ai !pip install nest_asynciocrawl4ai-setup 验证是否安装成功 # Check crawl4ai version import crawl4ai print(crawl4ai.__version__.__version__) 验证是否可以爬 crawl4ai-doctor 2.简单示例 import asyncio from playwright.as…...

编程日记 2025/9/19 14:20:54

相关文章：