序列化模块

什么是序列化与反序列化

序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。 

反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。

为什么要序列化

一般来说,“活的”对象只生存在内存里,关机断电就没有了。而且“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 通过序列化可以存储“活的”对象,可以将“活的”对象发送到远程计算机。

来一个生活中的例子:你如何把你的脑中的梦境告诉他人?

Java自带的序列化

下面我们来看一个例子:通过代码来定义一个类,并创建它的一个对象,把这个对象保存到文件中(序列化),然后再写代码读取这个文件并还原回来。

java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时,使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时,使用ObjectInputStream的readObjec方法来还原这个类。

下面是一段示例代码。

先写一个类。

public class Student {

    public Student(String name,int age) {

        this.name = name;

        this.age = age;

    }

    String name;

    int age;

}

在java中,对应的序列化和反序列化的方法是:

  1. 让这个类实现 Serializable 接口,也就是在代码中补充implements Serializable。

public class Student implements Serializable {

    // 省略其他...

}

  1. 序列化。新建文件输出流对象,并写入要实例化的实例。

   Student student = new Student("xiaohua", 10);

   // java序列化

   ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream("student_java"));

   oos.writeObject(student);

   oos.close();

反序列化。通过文件输入流读入文件,并使用ObjectInputStream来进一步实例化对象,然后调用readObject来生成对象。对应的代码如下

   // 反序列化:将字节序列转换为内存中的对象

   // 1. 创建一个ObjectInputStream对象,构造方法中传入一个InputStream对象

   ObjectInputStream studentJava = new ObjectInputStream(new FileInputStream("student_java"));

   // 2. 使用ObjectInputStream对象中的readObject方法,读取文件中的对象

   Student student1 = (Student) studentJava.readObject();

   System.out.println(student1.name + " " + student1.age);

   // 3. 关闭ObjectInputStream对象

   studentJava.close();

(四)为什么hadoop不用Java的序列化

Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),不便于在网络中高效传输。所以,Hadoop自己开发了一套序列化机制(Writable)。

Hadoop序列化特点:

1)紧凑 :高效使用存储空间。

2)快速:读写数据的额外开销小。

(3)互操作:支持多语言的交互

常用的Java的数据类型与Hadoop的序列化的类型对比。

hadoop的序列化

如果一个类支持hadoop的序列化,那么它应该要实现Writable接口,并提供一个空参构造器。

Writable接口需要我们去实现两个方法:write和readFields。

先来看write方法。序列化的时候,它会自动被调用,将一个内存中的对象,序列化成为一个字节序列。它的入参DataOutput是一个输出流。需要在这个方法中对需要序列化的属性依次进行序列化。如果序列化的属性不是Hadoop的序列化类型,就要调用相应的方法把它进行序列化。例如:out.writeUTF(name),out.writeInt(age)。如果本身就是序列化的属性,就调用这个属性的write方法,写入输出流variable.write(out)

格式

@Override

public void write(DataOutput out) throws IOException {

out.write(字段1);

out.write(字段2);

out.write(字段3);

}

readFields方法。反序列化时调用的方法,将一个字节序列,转成内存中的对象。 需要在这个方法中从字节序列读取数据,并依次给属性赋值。

注意,反序列化时给属性赋值的顺序要和序列化时一致。

@Override

public void readFields(DataInput in) throws IOException {

字段1= in.readLong();

字段2 = in.readLong();

字段3 = in.readLong();

}

(六)测试代码清单

学生类:Stduent类

public class Student implements Writable{
 public Student(String name,int age) {

        this.name = name;

        this.age = age;

    }

    public Student() { }

    public String name;

    public int age;

    @Override

    public void write(DataOutput dataOutput) throws IOException {

        dataOutput.writeUTF(name);

        dataOutput.writeInt(age);

    }

    @Override

    public void readFields(DataInput dataInput) throws IOException {

        name = dataInput.readUTF();

        age = dataInput.readInt();

    }

}

测试类:TestStudent

package com.example.serial;

import java.io.*;

public class TestStudent {

    public static void main(String[] args) throws IOException, ClassNotFoundException {

        Student student = new Student("小花", 18);

        // hadoop序列化

        DataOutputStream dos = new DataOutputStream(new FileOutputStream("Student_hadoop.txt"));

        student.write(dos);

        // hadoop 反序列化

        DataInputStream dis = new DataInputStream(new FileInputStream("Student_hadoop.txt"));

        Student student1 = new Student();

        student1.readFields(dis);

        System.out.println(student1.name+ " "+student1.age);

    }

}

你可能感兴趣的:(python,php,开发语言)