【Node系列】Buffer详解

文章目录

  • 一、Buffer详解
  • 二、Buffer 与字符编码
  • 三、创建 Buffer 类
  • 四、写入缓冲区
  • 五、从缓冲区读取数据
  • 六、Buffer方法
  • 七、热门文章推荐

一、Buffer详解

JavaScript 语言自身只有字符串数据类型,没有二进制数据类型。

但在处理像TCP流或文件流时,必须使用到二进制数据。因此在 Node.js中,定义了一个 Buffer 类,该类用来创建一个专门存放二进制数据的缓存区。

Node.js中的Buffer是一个全局对象,属于固有(built-in)类型的全局变量,不需要使用require函数导入。它允许直接操作原始内存,主要用于处理二进制数据流。Buffer实例对象的结构和整数数组很像,但Buffer的大小是固定的且在V8堆外分配物理内存。

每个Buffer实例对应底层的固定长度的内存分配,大小在被创建时确定,且无法改变,但实例对象的内容可以像操作数组一样修改。此外,Buffer实例的元素为16进制的两位数,即0~255的数值(16的二次方),可以像数组一样操作Buffer实例。

Buffer将性能相关的部分使用C++实现,非性能相关的部分使用JavaScript实现。使用Buffer的主要原因是基于性能方面的考虑,特别是在进行I/O操作和网络数据传输时,预先把静态内容(字符串、图片等)转换为Buffer对象,可以减少CPU的重复使用、节省服务器资源并大幅提升性能。

二、Buffer 与字符编码

Node.js的Buffer实例一般用于表示编码字符的序列,例如UTF-8、UCS2、Base64或十六进制编码的数据。通过使用显式的字符编码,可以在Buffer实例与普通的JavaScript字符串之间进行相互转换。

在处理文本数据时,通常需要将字符串转换为二进制数据进行处理,或者将二进制数据转换为字符串进行展示,这就涉及到字符编码的问题。Node.js目前支持的字符编码包括ASCII、UTF-8、Base64、二进制和自定义编码等。

Buffer实例可以通过Buffer.from()方法创建,接受两个参数:数据和编码方式。如果没有指定编码方式,则默认使用UTF-8编码。

例如,可以使用以下代码创建一个Buffer实例并指定编码方式:

const buf = Buffer.from('Hello, world!', 'utf8');
console.log(buf.toString('base64'));

还可以使用Buffer.alloc()方法创建一个指定大小的未初始化的Buffer实例。

需要注意的是,由于Buffer实例是在V8堆外分配内存,因此在使用完Buffer实例后应该手动将其释放,避免内存泄漏。可以通过调用Buffer.alloc()Buffer.from()方法来创建一个新的Buffer实例来释放内存。

Node.js 目前支持的字符编码

字符编码 描述
ascii 仅支持 7 位 ASCII 数据。如果设置去掉高位的话,这种编码是非常快的
utf8 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8
utf16le 2 或 4 个字节,小字节序编码的 Unicode 字符。支持代理对(U+10000 至 U+10FFFF)。
ucs2 utf16le 的别名。
base64 Base64 编码。
latin1 一种把 Buffer 编码成一字节编码的字符串的方式。
binary latin1 的别名。
hex 将每个字节编码为两个十六进制字符。

三、创建 Buffer 类

在Node.js中,Buffer类是核心模块的一部分,无需手动创建。但你可以使用它来创建Buffer实例并处理二进制数据。下面是一个简单的示例:

// 引入Buffer模块
const { Buffer } = require('buffer');

// 创建一个Buffer实例
let buf = Buffer.from('Hello, world!', 'utf8');

// 输出Buffer实例的内容
console.log(buf.toString('utf8')); // 输出: "Hello, world!"

// 将Buffer实例转换为十六进制字符串
console.log(buf.toString('hex')); // 输出: "48656c6c6f2c20776f726c6421"

在上面的代码中,我们首先引入了Node.js的Buffer模块。然后,我们使用Buffer.from()方法创建了一个Buffer实例,该方法接受两个参数:要转换的数据和字符编码。在这个例子中,我们将字符串’Hello, world!'转换为UTF-8编码的Buffer实例。

然后,我们使用buf.toString()方法将Buffer实例的内容转换为字符串。这个方法接受一个参数,表示字符编码。在这个例子中,我们将Buffer实例的内容转换为UTF-8编码的字符串。

最后,我们使用buf.toString('hex')方法将Buffer实例的内容转换为十六进制字符串。这个方法将Buffer实例中的每个字节都转换为两个十六进制字符,并将结果作为字符串返回。

Buffer 提供了以下 API 来创建 Buffer 类

  • Buffer.alloc(size[, fill[, encoding]]): 返回一个指定大小的 Buffer 实例,如果没有设置 fill,则默认填满 0
  • Buffer.allocUnsafe(size): 返回一个指定大小的 Buffer 实例,但是它不会被初始化,所以它可能包含敏感的数据
  • Buffer.allocUnsafeSlow(size)
  • Buffer.from(array): 返回一个被 array 的值初始化的新的 Buffer 实例(传入的 array 的元素只能是数字,不然就会自动被 0 覆盖)
  • Buffer.from(arrayBuffer[, byteOffset[, length]]): 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
  • Buffer.from(buffer): 复制传入的 Buffer 实例的数据,并返回一个新的 Buffer 实例
  • Buffer.from(string[, encoding]): 返回一个被 string 的值初始化的新的 Buffer 实例

四、写入缓冲区

在Node.js中,你可以使用Buffer类的write()方法将数据写入缓冲区。下面是一个简单的示例:

// 引入Buffer模块
const { Buffer } = require('buffer');

// 创建一个Buffer实例
let buf = Buffer.alloc(10);

// 将数据写入Buffer实例
buf.write('Hello, world!', 'utf8');

// 输出Buffer实例的内容
console.log(buf.toString('utf8')); // 输出: "Hello, world!"

在上面的代码中,我们首先使用Buffer.alloc()方法创建了一个大小为10的未初始化的Buffer实例。然后,我们使用buf.write()方法将字符串’Hello, world!'写入Buffer实例。这个方法接受两个参数:要写入的数据和字符编码。在这个例子中,我们将字符串’Hello, world!'转换为UTF-8编码并写入Buffer实例。

最后,我们使用buf.toString()方法将Buffer实例的内容转换为字符串。这个方法接受一个参数,表示字符编码。在这个例子中,我们将Buffer实例的内容转换为UTF-8编码的字符串并输出。

语法

buf.write(string[, offset[, length]][, encoding])
参数 描述
string 写入缓冲区的字符串。
offset 缓冲区开始写入的索引值,默认为 0 。
length 写入的字节数,默认为 buffer.length
encoding 使用的编码。默认为 ‘utf8’ 。

五、从缓冲区读取数据

在Node.js中,你可以使用Buffer类的toString()方法从缓冲区读取数据。如果你想将Buffer实例的内容转换为字符串,可以使用toString()方法。这个方法接受一个参数,表示字符编码。如果你不指定字符编码,则默认使用UTF-8编码。

以下是一个示例:

// 引入Buffer模块
const { Buffer } = require('buffer');

// 创建一个Buffer实例
let buf = Buffer.from('Hello, world!', 'utf8');

// 从Buffer实例读取数据
let str = buf.toString('utf8');

console.log(str); // 输出: "Hello, world!"

在上面的代码中,我们首先使用Buffer.from()方法创建了一个Buffer实例,并将字符串’Hello, world!'转换为UTF-8编码的Buffer实例。然后,我们使用buf.toString()方法将Buffer实例的内容转换为字符串。这个方法接受一个参数,表示字符编码。在这个例子中,我们将Buffer实例的内容转换为UTF-8编码的字符串并输出。

语法

buf.toString([encoding[, start[, end]]])
参数 描述
encoding 使用的编码。默认为 ‘utf8’ 。
start 指定开始读取的索引位置,默认为 0。
end 结束位置,默认为缓冲区的末尾。

六、Buffer方法

  1. new Buffer(size)分配一个新的 size 大小单位为8位字节的 buffer。 注意, size 必须小于 kMaxLength,否则,将会抛出异常 RangeError。废弃的: 使用 Buffer.alloc() 代替(或 Buffer.allocUnsafe())。
  2. new Buffer(buffer)拷贝参数 buffer 的数据到 Buffer 实例。废弃的: 使用 Buffer.from(buffer) 代替。
  3. new Buffer(str[, encoding])分配一个新的 buffer ,其中包含着传入的 str 字符串。 encoding 编码方式默认为 ‘utf8’。 废弃的: 使用 Buffer.from(string[, encoding]) 代替。
  4. buf.length返回这个 buffer 的 bytes 数。注意这未必是 buffer 里面内容的大小。length 是 buffer 对象所分配的内存数,它不会随着这个 buffer 对象内容的改变而改变。
  5. buf.write(string[, offset[, length]][, encoding])根据参数 offset 偏移量和指定的 encoding 编码方式,将参数 string 数据写入buffer。 offset 偏移量默认值是 0, encoding 编码方式默认是 utf8。 length 长度是将要写入的字符串的 bytes 大小。 返回 number 类型,表示写入了多少 8 位字节流。如果 buffer 没有足够的空间来放整个 string,它将只会只写入部分字符串。 length 默认是 buffer.length - offset。 这个方法不会出现写入部分字符。
  6. buf.writeUIntLE(value, offset, byteLength[, noAssert])将 value 写入到 buffer 里, 它由 offset 和 byteLength 决定,最高支持 48 位无符号整数,小端对齐,例如:
const buf = Buffer.allocUnsafe(6);

buf.writeUIntLE(0x1234567890ab, 0, 6);

// 输出: 
console.log(buf);
// noAssert 值为 true 时,不再验证 value 和 offset 的有效性。 默认是 false。
  1. buf.writeUIntBE(value, offset, byteLength[, noAssert])将 value 写入到 buffer 里, 它由 offset 和 byteLength 决定,最高支持 48 位无符号整数,大端对齐。noAssert 值为 true 时,不再验证 value 和 offset 的有效性。 默认是 false。
const buf = Buffer.allocUnsafe(6);

buf.writeUIntBE(0x1234567890ab, 0, 6);

// 输出: 
console.log(buf);
  1. buf.writeIntLE(value, offset, byteLength[, noAssert])将value 写入到 buffer 里, 它由offset 和 byteLength 决定,最高支持48位有符号整数,小端对齐。noAssert 值为 true 时,不再验证 value 和 offset 的有效性。 默认是 false。
  2. buf.writeIntBE(value, offset, byteLength[, noAssert])将value 写入到 buffer 里, 它由offset 和 byteLength 决定,最高支持48位有符号整数,大端对齐。noAssert 值为 true 时,不再验证 value 和 offset 的有效性。 默认是 false。
  3. buf.readUIntLE(offset, byteLength[, noAssert])支持读取 48 位以下的无符号数字,小端对齐。noAssert 值为 true 时, offset 不再验证是否超过 buffer 的长度,默认为 false。
  4. buf.readUIntBE(offset, byteLength[, noAssert])支持读取 48 位以下的无符号数字,大端对齐。noAssert 值为 true 时, offset 不再验证是否超过 buffer 的长度,默认为 false。
  5. buf.readIntLE(offset, byteLength[, noAssert])支持读取 48 位以下的有符号数字,小端对齐。noAssert 值为 true 时, offset 不再验证是否超过 buffer 的长度,默认为 false。
  6. buf.readIntBE(offset, byteLength[, noAssert])支持读取 48 位以下的有符号数字,大端对齐。noAssert 值为 true 时, offset 不再验证是否超过 buffer 的长度,默认为 false。
  7. buf.toString([encoding[, start[, end]]])根据 encoding 参数(默认是 ‘utf8’)返回一个解码过的 string 类型。还会根据传入的参数 start (默认是 0) 和 end (默认是 buffer.length)作为取值范围。
  8. buf.toJSON()将 Buffer 实例转换为 JSON 对象。
  9. buf[index]获取或设置指定的字节。返回值代表一个字节,所以返回值的合法范围是十六进制0x00到0xFF 或者十进制0至 255。
  10. buf.equals(otherBuffer)比较两个缓冲区是否相等,如果是返回 true,否则返回 false。
  11. buf.compare(otherBuffer)比较两个 Buffer 对象,返回一个数字,表示 buf 在 otherBuffer 之前,之后或相同。
  12. buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]])buffer 拷贝,源和目标可以相同。 targetStart 目标开始偏移和 sourceStart 源开始偏移默认都是 0。 sourceEnd 源结束位置偏移默认是源的长度 buffer.length 。
  13. buf.slice([start[, end]])剪切 Buffer 对象,根据 start(默认是 0 ) 和 end (默认是 buffer.length ) 偏移和裁剪了索引。 负的索引是从 buffer 尾部开始计算的。
  14. buf.readUInt8(offset[, noAssert])根据指定的偏移量,读取一个无符号 8 位整数。若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 如果这样 offset 可能会超出buffer 的末尾。默认是 false。
  15. buf.readUInt16LE(offset[, noAssert])根据指定的偏移量,使用特殊的 endian 字节序格式读取一个无符号 16 位整数。若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。
  16. buf.readUInt16BE(offset[, noAssert])根据指定的偏移量,使用特殊的 endian 字节序格式读取一个无符号 16 位整数,大端对齐。若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。
  17. buf.readUInt32LE(offset[, noAssert])根据指定的偏移量,使用指定的 endian 字节序格式读取一个无符号 32 位整数,小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。
  18. buf.readUInt32BE(offset[, noAssert])根据指定的偏移量,使用指定的 endian 字节序格式读取一个无符号 32 位整数,大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。
  19. buf.readInt8(offset[, noAssert])根据指定的偏移量,读取一个有符号 8 位整数。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。
  20. buf.readInt16LE(offset[, noAssert])根据指定的偏移量,使用特殊的 endian 格式读取一个 有符号 16 位整数,小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。
  21. buf.readInt16BE(offset[, noAssert])根据指定的偏移量,使用特殊的 endian 格式读取一个 有符号 16 位整数,大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出 buffer 的末尾。默认是 false。
  22. buf.readInt32LE(offset[, noAssert])根据指定的偏移量,使用指定的 endian 字节序格式读取一个有符号 32 位整数,小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。
  23. buf.readInt32BE(offset[, noAssert])根据指定的偏移量,使用指定的 endian 字节序格式读取一个有符号 32. `位整数,大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。
  24. buf.readFloatLE(offset[, noAssert])根据指定的偏移量,使用指定的 endian 字节序格式读取一个 32 位双浮点数,小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer的末尾。默认是 false。
  25. buf.readFloatBE(offset[, noAssert])根据指定的偏移量,使用指定的 endian 字节序格式读取一个 32 位双浮点数,大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer的末尾。默认是 false。
  26. buf.readDoubleLE(offset[, noAssert])根据指定的偏移量,使用指定的 endian字节序格式读取一个 64 位双精度数,小端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。
  27. buf.readDoubleBE(offset[, noAssert])根据指定的偏移量,使用指定的 endian字节序格式读取一个 64 位双精度数,大端对齐。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 offset 可能会超出buffer 的末尾。默认是 false。
  28. buf.writeUInt8(value, offset[, noAssert])根据传入的 offset 偏移量将 value 写入 buffer。注意:value 必须是一个合法的无符号 8 位整数。 若参数 noAssert 为 true 将不会验证 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则不要使用。默认是 false。
  29. buf.writeUInt16LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个合法的无符号 16 位整数,小端对齐。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  30. buf.writeUInt16BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个合法的无符号 16 位整数,大端对齐。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  31. buf.writeUInt32LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式(LITTLE-ENDIAN:小字节序)将 value 写入buffer。注意:value 必须是一个合法的无符号 32 位整数,小端对齐。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着value 可能过大,或者offset可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  32. buf.writeUInt32BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式(Big-Endian:大字节序)将 value 写入buffer。注意:value 必须是一个合法的有符号 32 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者offset可能会超出buffer的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  33. buf.writeInt8(value, offset[, noAssert])
  34. buf.writeInt16LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个合法的 signed 16 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false 。
  35. buf.writeInt16BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个合法的 signed 16 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false 。
  36. buf.writeInt32LE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个合法的 signed 32 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  37. buf.writeInt32BE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个合法的 signed 32 位整数。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  38. buf.writeFloatLE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer 。注意:当 value 不是一个 32 位浮点数类型的值时,结果将是不确定的。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  39. `buf.writeFloatBE(value, offset[, noAssert])
    根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer 。注意:当 value 不是一个 32 位浮点数类型的值时,结果将是不确定的。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value可能过大,或者 offset 可能会超出 buffer 的末尾从而造成 value 被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  40. buf.writeDoubleLE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个有效的 64 位double 类型的值。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  41. buf.writeDoubleBE(value, offset[, noAssert])根据传入的 offset 偏移量和指定的 endian 格式将 value 写入 buffer。注意:value 必须是一个有效的 64 位double 类型的值。 若参数 noAssert 为 true 将不会验证 value 和 offset 偏移量参数。 这意味着 value 可能过大,或者 offset 可能会超出 buffer 的末尾从而造成value被丢弃。 除非你对这个参数非常有把握,否则尽量不要使用。默认是 false。
  42. buf.fill(value[, offset][, end])使用指定的 value 来填充这个 buffer。如果没有指定 offset (默认是 0) 并且 end (默认是 buffer.length) ,将会填充整个buffer。

七、热门文章推荐

  1. node介绍
  2. npm详细安装教程
  3. 【Node系列】文件系统介绍及案例说明
  4. 【Node系列】创建第一个服务器应用
  5. 【Node系列】REPL详解
  6. 【Node系列】回调函数/事件循环
  7. 【Node系列】EventEmitter详解

你可能感兴趣的:(node,node,开发语言,前端,服务器)