(一)什么是序列化与反序列化
序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。
反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。
(二)为什么要序列化
一般来说,“活的”对象只生存在内存里,关机断电就没有了。而且“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 通过序列化可以存储“活的”对象,可以将“活的”对象发送到远程计算机。
来一个生活中的例子:你如何把你的脑中的梦境告诉他人?
(三)Java自带的序列化
下面我们来看一个例子:通过代码来定义一个类,并创建它的一个对象,把这个对象保存到文件中(序列化),然后再写代码读取这个文件并还原回来。
java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时,使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时,使用ObjectInputStream的readObjec方法来还原这个类。
下面是一段示例代码。
先写一个类。
public class Student {
public Student(String name,int age) {
this.name = name;
this.age = age;
}
String name;
int age;
}
在java中,对应的序列化和反序列化的方法是:
public class Student implements Serializable {
// 省略其他...
}
Student student = new Student("xiaohua", 10);
// java序列化
ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream("student_java"));
oos.writeObject(student);
oos.close();
反序列化。通过文件输入流读入文件,并使用ObjectInputStream来进一步实例化对象,然后调用readObject来生成对象。对应的代码如下
// 反序列化:将字节序列转换为内存中的对象
// 1. 创建一个ObjectInputStream对象,构造方法中传入一个InputStream对象
ObjectInputStream studentJava = new ObjectInputStream(new FileInputStream("student_java"));
// 2. 使用ObjectInputStream对象中的readObject方法,读取文件中的对象
Student student1 = (Student) studentJava.readObject();
System.out.println(student1.name + " " + student1.age);
// 3. 关闭ObjectInputStream对象
studentJava.close();
(四)为什么hadoop不用Java的序列化?
Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),不便于在网络中高效传输。所以,Hadoop自己开发了一套序列化机制(Writable)。
Hadoop序列化特点:
(1)紧凑 :高效使用存储空间。
(2)快速:读写数据的额外开销小。
(3)互操作:支持多语言的交互。
常用的Java的数据类型与Hadoop的序列化的类型对比。
(五)hadoop的序列化
如果一个类支持hadoop的序列化,那么它应该要实现Writable接口,并提供一个空参构造器。
Writable接口需要我们去实现两个方法:write和readFields。
先来看write方法。序列化的时候,它会自动被调用,将一个内存中的对象,序列化成为一个字节序列。它的入参DataOutput是一个输出流。需要在这个方法中对需要序列化的属性依次进行序列化。如果序列化的属性不是Hadoop的序列化类型,就要调用相应的方法把它进行序列化。例如:out.writeUTF(name),out.writeInt(age)。如果本身就是序列化的属性,就调用这个属性的write方法,写入输出流variable.write(out)
格式
@Override
public void write(DataOutput out) throws IOException {
out.write(字段1);
out.write(字段2);
out.write(字段3);
}
readFields方法。反序列化时调用的方法,将一个字节序列,转成内存中的对象。 需要在这个方法中从字节序列读取数据,并依次给属性赋值。
注意,反序列化时给属性赋值的顺序要和序列化时一致。
@Override
public void readFields(DataInput in) throws IOException {
字段1= in.readLong();
字段2 = in.readLong();
字段3 = in.readLong();
}
(六)测试代码清单
学生类:Stduent类
public class Student implements Writable{
public Student(String name,int age) {
this.name = name;
this.age = age;
}
public Student() { }
public String name;
public int age;
@Override
public void write(DataOutput dataOutput) throws IOException {
dataOutput.writeUTF(name);
dataOutput.writeInt(age);
}
@Override
public void readFields(DataInput dataInput) throws IOException {
name = dataInput.readUTF();
age = dataInput.readInt();
}
}
测试类:TestStudent
package com.example.serial;
import java.io.*;
public class TestStudent {
public static void main(String[] args) throws IOException, ClassNotFoundException {
Student student = new Student("小花", 18);
// hadoop序列化
DataOutputStream dos = new DataOutputStream(new FileOutputStream("Student_hadoop.txt"));
student.write(dos);
// hadoop 反序列化
DataInputStream dis = new DataInputStream(new FileInputStream("Student_hadoop.txt"));
Student student1 = new Student();
student1.readFields(dis);
System.out.println(student1.name+ " "+student1.age);
}
}