Node.js Buffer使用详解

港都夜雨 發表於 2020-12-24 21:56:00

<h3>一，开篇分析</h3>
NodeJS的开发语言是JavaScript，JavaScript语言自身只有字符串数据类型，没有二进制数据类型。NodeJS有时会进行网络传输、文件操作、图片处理等操作，而这些操作都与二进制数据紧密相关。因此，NodeJS提供了一个与String对等的全局构造函数Buffer来提供对二进制数据的操作。在 Node.js中Buffer 类用来创建一个专门存放二进制数据的缓存区。除了可以读取文件等操作得到Buffer的实例外，还能够直接构造。
<h3>二、创建 Buffer 类</h3>
Buffer 提供了以下 API 来创建 Buffer 类：
<ul>
<li>Buffer.alloc(size[, fill[, encoding]])：返回一个指定大小的 Buffer 实例，如果没有设置 fill，则默认填满 0</li>
<li>Buffer.allocUnsafe(size)：返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据</li>
<li>Buffer.allocUnsafeSlow(size)</li>
<li>Buffer.from(array)：返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）</li>
<li>Buffer.from(arrayBuffer[, byteOffset[, length]])：返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。</li>
<li>Buffer.from(buffer)：复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例</li>
<li>Buffer.from(string[, encoding])：返回一个被 string 的值初始化的新的 Buffer 实例</li>
</ul>
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_wrapper_has cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="9">
<pre class="has cke_widget_element" data-cke-widget-data="{&quot;code&quot;:&quot;// 创建一个长度为 10、且用 0 填充的 Buffer。\nconst buf1 = Buffer.alloc(10);\n\n// 创建一个长度为 10、且用 0x1 填充的 Buffer。 \nconst buf2 = Buffer.alloc(10, 1);\n\n// 创建一个长度为 10、且未初始化的 Buffer。\n// 这个方法比调用 Buffer.alloc() 更快，\n// 但返回的 Buffer 实例可能包含旧数据，\n// 因此需要使用 fill() 或 write() 重写。\nconst buf3 = Buffer.allocUnsafe(10);\n\n// 创建一个包含的 Buffer。\nconst buf4 = Buffer.from();\n\n// 创建一个包含 UTF-8 字节的 Buffer。\nconst buf5 = Buffer.from('tést');\n\n// 创建一个包含 Latin-1 字节的 Buffer。\nconst buf6 = Buffer.from('tést', 'latin1');&quot;,&quot;classes&quot;:{&quot;has&quot;:1}}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="hljs">// 创建一个长度为 10、且用 0 填充的 Buffer。
const buf1 = Buffer.alloc(10);

// 创建一个长度为 10、且用 0x1 填充的 Buffer。
const buf2 = Buffer.alloc(10, 1);

// 创建一个长度为 10、且未初始化的 Buffer。
// 这个方法比调用 Buffer.alloc() 更快，
// 但返回的 Buffer 实例可能包含旧数据，
// 因此需要使用 fill() 或 write() 重写。
const buf3 = Buffer.allocUnsafe(10);

// 创建一个包含的 Buffer。
const buf4 = Buffer.from();

// 创建一个包含 UTF-8 字节的 Buffer。
const buf5 = Buffer.from('tést');

// 创建一个包含 Latin-1 字节的 Buffer。
const buf6 = Buffer.from('tést', 'latin1');</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
<h3>三、写入缓冲区</h3>
语法
写入 Node 缓冲区的语法如下所示：
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_wrapper_has cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="8">
<pre class="has cke_widget_element" data-cke-widget-data="{&quot;code&quot;:&quot;buf.write(string[, offset[, length]][, encoding])&quot;,&quot;classes&quot;:{&quot;has&quot;:1}}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="hljs">buf.write(string[, offset[, length]][, encoding])</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
参数
参数描述如下：
string - 写入缓冲区的字符串。
offset - 缓冲区开始写入的索引值，默认为 0 。
length - 写入的字节数，默认为 buffer.length
encoding - 使用的编码。默认为 'utf8' 。
根据 encoding 的字符编码写入 string 到 buf 中的 offset 位置。 length 参数是写入的字节数。如果 buf 没有足够的空间保存整个字符串，则只会写入 string 的一部分。只部分解码的字符不会被写入。
返回值
返回实际写入的大小。如果 buffer 空间不足，则只会写入部分字符串。
实例
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="7">
<pre class="cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;buf = Buffer.alloc(256);\n\nlen = buf.write(\&quot;www.runoob.com\&quot;);\n\nconsole.log(\&quot;写入字节数 : \&quot;+len);&quot;,&quot;classes&quot;:[]}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">buf = Buffer.alloc(256);

len = buf.write("www.runoob.com");

console.log("写入字节数 : "+len);</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
执行以上代码，输出结果为：
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_wrapper_has cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="6">
<pre class="has cke_widget_element" data-cke-widget-data="{&quot;code&quot;:&quot;$node main.js\n写入字节数 : 14&quot;,&quot;classes&quot;:{&quot;has&quot;:1}}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="hljs">$node main.js
写入字节数 : 14</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
<h3>四、从缓冲区读取数据</h3>
语法
读取 Node 缓冲区数据的语法如下所示：
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_wrapper_has cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="5">
<pre class="has cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;buf.toString(]])&quot;,&quot;classes&quot;:{&quot;has&quot;:1}}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">buf.toString(]])</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
参数
参数描述如下：
encoding - 使用的编码。默认为 'utf8' 。
start - 指定开始读取的索引位置，默认为 0。
end - 结束位置，默认为缓冲区的末尾。
返回值
解码缓冲区数据并使用指定的编码返回字符串。
实例
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="4">
<pre class="cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;buf = Buffer.alloc(26);\nfor (var i = 0 ; i &lt; 26 ; i++) {\nbuf = i + 97;\n}\n\nconsole.log( buf.toString('ascii')); // 输出: abcdefghijklmnopqrstuvwxyz\nconsole.log( buf.toString('ascii',0,5)); //使用 'ascii' 编码, 并输出: abcde\nconsole.log( buf.toString('utf8',0,5)); // 使用 'utf8' 编码, 并输出: abcde\nconsole.log( buf.toString(undefined,0,5)); // 使用默认的 'utf8' 编码, 并输出: abcde&quot;,&quot;classes&quot;:[]}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">buf = Buffer.alloc(26);
for (var i = 0 ; i < 26 ; i++) {
buf = i + 97;
}

console.log( buf.toString('ascii')); // 输出: abcdefghijklmnopqrstuvwxyz
console.log( buf.toString('ascii',0,5)); //使用 'ascii' 编码, 并输出: abcde
console.log( buf.toString('utf8',0,5)); // 使用 'utf8' 编码, 并输出: abcde
console.log( buf.toString(undefined,0,5)); // 使用默认的 'utf8' 编码, 并输出: abcde</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
执行以上代码，输出结果为：
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="3">
<pre class="cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;$ node main.js\nabcdefghijklmnopqrstuvwxyz\nabcde\nabcde\nabcde&quot;,&quot;classes&quot;:[]}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">$ node main.js
abcdefghijklmnopqrstuvwxyz
abcde
abcde
abcde</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
<h3>五、将 Buffer 转换为 JSON 对象</h3>
语法
将 Node Buffer 转换为 JSON 对象的函数语法格式如下：
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="2">
<pre class="cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;buf.toJSON()&quot;,&quot;classes&quot;:[]}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">buf.toJSON()</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
当字符串化一个 Buffer 实例时，JSON.stringify() 会隐式地调用该 toJSON()。
返回值
返回 JSON 对象。
实例
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="1">
<pre class="cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;const buf = Buffer.from();\nconst json = JSON.stringify(buf);\n\n// 输出: {\&quot;type\&quot;:\&quot;Buffer\&quot;,\&quot;data\&quot;:}\nconsole.log(json);\n\nconst copy = JSON.parse(json, (key, value) =&gt; {\n  return value &amp;&amp; value.type === 'Buffer' ?\n    Buffer.from(value.data) :\n    value;\n});\n\n// 输出: &lt;Buffer 01 02 03 04 05&gt;\nconsole.log(copy);&quot;,&quot;classes&quot;:[]}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">const buf = Buffer.from([0x1, 0x2, 0x3, 0x4, 0x5]);
const json = JSON.stringify(buf);

// 输出: {"type":"Buffer","data":}
console.log(json);

const copy = JSON.parse(json, (key, value) => {
  return value && value.type === 'Buffer' ?
    Buffer.from(value.data) :
    value;
});

// 输出: <Buffer 01 02 03 04 05>
console.log(copy);</code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
执行以上代码，输出结果为：
<div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget_selected" data-cke-widget-wrapper="1" data-cke-filter="off" data-cke-display-name="代码段" data-cke-widget-id="0">
<pre class="cke_widget_element" data-cke-widget-data="{&quot;lang&quot;:&quot;javascript&quot;,&quot;code&quot;:&quot;{\&quot;type\&quot;:\&quot;Buffer\&quot;,\&quot;data\&quot;:}\n&lt;Buffer 01 02 03 04 05&gt;&quot;,&quot;classes&quot;:[]}" data-cke-widget-upcasted="1" data-cke-widget-keep-attr="0" data-widget="codeSnippet"><code class="language-javascript hljs">{"type":"Buffer","data":[1,2,3,4,5]}
<Buffer 01 02 03 04 05></code></pre>
<img width="15" height="15" class="cke_reset cke_widget_drag_handler lazyload" title="点击并拖拽以移动" data-cke-widget-drag-handler="1" data-src="data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="></div>
<h3>六、聊聊Buffer</h3>
JavaScript对字符串处理十分友好，无论是宽字节还是单字节字符串，都被认为是一个字符串。Node中需要处理网络协议、操作数据库、处理图片、文件上传等，还需要处理大量二进制数据，自带的字符串远不能满足这些要求，因此Buffer应运而生。
Buffer结构
Buffer是一个典型的Javascript和C++结合的模块，性能相关部分用C++实现，非性能相关部分用javascript实现。
Node在进程启动时Buffer就已经加装进入内存，并将其放入全局对象，因此无需require
Buffer对象：类似于数组，其元素是16进制的两位数。
Buffer内存分配
Buffer对象的内存分配不是在V8的堆内存中，在Node的C++层面实现内存的申请。
为了高效的使用申请来得内存，Node中采用slab分配机制，slab是一种动态内存管理机制，应用各种*nix操作系统。slab有三种状态：
(1) full：完全分配状态
(2) partial：部分分配状态
(3) empty：没有被分配状态
<h3>七、总结</h3>
（1）JavaScript适合处理Unicode编码数据，但对二进制数据的处理并不友好。
（2）所以处理TCP流或文件系统时，对八位字节流的处理很有必要。
（3）Node有几个用于处理，创建和消耗八位字节流的方法。
（4）原始数据存放在一个Buffer实例中，一个Buffer类似一个整数数组，但是它的内存，分配在V8堆栈外。一个Buffer的大小是不能更改的。
（5）处理的编码类型有：ascii,utf8,utf16le,ucs2（utf16le的别名）,base64,binary,hex。
（6）Buffer为全局元素，直接new Buffer()就得到一个Buffer实例。 
来源：https://www.cnblogs.com/samve/p/14186594.html

頁: [1]

琼殿技术论坛's Archiver

Node.js Buffer使用详解