当前位置：首页 > news >正文

Hadoop的序列化

news 来源：原创 2025/9/20 12:53:51

（一）什么是序列化与反序列化

序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。

反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。

（二）为什么要序列化

一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。通过序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。

（三）Java自带的序列化

下面我们来看一个例子：通过代码来定义一个类，并创建它的一个对象，把这个对象保存到文件中（序列化），然后再写代码读取这个文件并还原回来。

java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时，使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时，使用ObjectInputStream的readObjec方法来还原这个类。

public class Student {public Student(String name,int age) {this.name = name;this.age = age;}String name;int age;
}

（四）为什么hadoop不用Java的序列化？

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。所以，Hadoop自己开发了一套序列化机制（Writable）。

Hadoop序列化特点：

（1）紧凑：高效使用存储空间。

（2）快速：读写数据的额外开销小。

（3）互操作：支持多语言的交互。

（五）hadoop的序列化

如果一个类支持hadoop的序列化，那么它应该要实现Writable接口，并提供一个空参构造器。

Writable接口需要我们去实现两个方法：write和readFields。

先来看write方法。序列化的时候，它会自动被调用，将一个内存中的对象，序列化成为一个字节序列。它的入参DataOutput是一个输出流。需要在这个方法中对需要序列化的属性依次进行序列化。如果序列化的属性不是Hadoop的序列化类型，就要调用相应的方法把它进行序列化。例如：out.writeUTF(name)，out.writeInt(age)。如果本身就是序列化的属性，就调用这个属性的write方法，写入输出流

学生类：Stduent类

public class Student implements Writable{public Student(String name,int age) {this.name = name;this.age = age;}public Student() { }public String name;public int age;@Overridepublic void write(DataOutput dataOutput) throws IOException {dataOutput.writeUTF(name);dataOutput.writeInt(age);}@Overridepublic void readFields(DataInput dataInput) throws IOException {name = dataInput.readUTF();age = dataInput.readInt();}}

测试类：TestStudent

package com.example.serial;import java.io.*;public class TestStudent {public static void main(String[] args) throws IOException, ClassNotFoundException {Student student = new Student("小花", 18);// hadoop序列化DataOutputStream dos = new DataOutputStream(new FileOutputStream("Student_hadoop.txt"));student.write(dos);// hadoop 反序列化DataInputStream dis = new DataInputStream(new FileInputStream("Student_hadoop.txt"));Student student1 = new Student();student1.readFields(dis);System.out.println(student1.name+ " "+student1.age);}
}

相关文章：