Node.js：深入浅出 http 与 stream

张丹伟 發表於 2019-12-18 10:24:00

<blockquote>
<p>原文首发：https://github.com/iNuanfeng/blog/issues/4</p>
<p>作者：暖风叔叔</p>
</blockquote>
<p></p>
<h2 id="前言">前言</h2>
<blockquote>
<p>stream（流）是Node.js提供的又一个仅在服务区端可用的模块，流是一种抽象的数据结构。Stream 是一个抽象接口，Node 中有很多对象实现了这个接口。例如，对http 服务器发起请求的request 对象就是一个 Stream，还有stdout（标准输出流）。</p>
</blockquote>
<p>通过本文，你会知道 stream 是什么，以及 strem 在 http 服务中发挥着什么作用。</p>
<p></p>
<h2 id="一stream流是什么">一、stream（流）是什么</h2>
<p></p>
<h3 id="11-举个栗子">1.1 举个栗子</h3>
<p>假设楼上有一桶水，想倒往楼下的水桶。直接往下倒，肯定会洒出来，那么在两个水桶间加一根管子（pipe），就可以让楼上的水，逐渐地流到楼下的水桶内：</p>
<p><img src="https://cdn.nlark.com/yuque/0/2019/png/85144/1576564097095-5f007d7d-5205-483c-be50-90b91ce19f21.png#align=left&display=inline&height=259&name=561794-20190506200834583-356545808.png&originHeight=702&originWidth=768&size=38339&status=done&style=none&width=283" alt="561794-20190506200834583-356545808.png" loading="lazy"></p>
<p></p>
<h3 id="12-为什么要使用-stream">1.2 为什么要使用 stream</h3>
<p>看了前面稍微了解 Node.js 的同学可能就要问了，流的作用不就是传递数据麽，也就是把一个地方数据拷贝到另一个地方，不用流也可以这样实现：</p>
<pre><code class="language-javascript">var water = fs.readFileSync('a.txt', {encoding: 'utf8'});
fs.writeFileSync('b.txt', water);
</code></pre>
<p>但这样做有个致命问题：</p>
<blockquote>
<p>处理数据量较大的文件时不能分块处理，导致速度慢，内存容易爆满。</p>
</blockquote>
<pre><code class="language-javascript">const rs = fs.createReadStream('a.mp4')
const ws = fs.createWriteStream('b.mp4')
rs.pipe(ws) // pipe自动调用了 data, end 等事件
</code></pre>
<p></p>
<h3 id="13-小结">1.3 小结</h3>
<p>其实 stream 不仅可以用来处理文件，它可以处理任何一种数据提供源。下面来看看 stream 在 http 服务中，扮演着什么样的角色。</p>
<p></p>
<h2 id="二深入-http-模块">二、深入 http 模块</h2>
<p>先来几个灵魂拷问：</p>
<ul>
<li>浏览器发起 http 请求，它属于流吗？</li>
<li>Node.js 的 Koa 框架，是基于流的吗？</li>
<li>接口转发时，能用流来处理吗？</li>
</ul>
<p>下面一步步来深入了解 Node.js 的 http 服务。</p>
<p></p>
<h3 id="21-nodejs-中的-http-模块">2.1 Nodejs 中的 http 模块</h3>
<blockquote>
<p>Node 可以不需要 Apache、Nginx、IIS，自身就可以搭建可靠的 http 服务。</p>
</blockquote>
<p>创建一个简单的 http 服务：</p>
<pre><code class="language-javascript">const http = require('http');

const server = http.createServer(function (req, res) {
res.writeHead(200, {
"Content-Type": "text/html;charset=UTF-8"
})
res.end("欢迎来到推啊！！！")
})

server.listen(3000, function () {
console.log('listening port 3000')
})
</code></pre>
<p></p>
<h3 id="22-httpcreateserver-发生了什么">2.2 http.createServer 发生了什么？</h3>
<blockquote>
<p>Node 是如何监听 http 请求的，内部的处理机制是什么。</p>
</blockquote>
<p>http.createServer() 方法返回的是 http 模块封装的一个基于事件的 http 服务器。<br>http.createServer() 封装了 http.Server()</p>
<pre><code class="language-javascript">const http = require('http');
const server = new http.Server();

server.on('request', function (req, res) {
res.writeHead(200, {
"Content-Type": "text/html;charset=UTF-8"
})
res.end("欢迎来到推啊！！！")
})

server.listen(3000, function () {
console.log('listening port 3000');
});
</code></pre>
<p>Koa 框架的本质是在 http 模块的上层，封装了自己的 ctx 对象，以及实现了洋葱模型的中间件体系。</p>
<p><img src="https://cdn.nlark.com/yuque/0/2019/png/85144/1576546344782-0498af6f-709e-406b-be1a-da2e2a7cdf5e.png#align=left&display=inline&height=142&name=image.png&originHeight=284&originWidth=1038&size=54257&status=done&style=none&width=519" alt="image.png" loading="lazy"></p>
<p></p>
<h3 id="23-进一步了解-http-模块">2.3 进一步了解 http 模块</h3>
<blockquote>
<p>Node.js 中的 HTTP 接口旨在支持传统上难以使用的协议的许多特性。特别是，大块的、可能块编码的消息。接口永远不会缓冲整个请求或响应，用户能够流式传输数据。<br>
为了支持所有可能的 HTTP 应用程序，Node.js 的 HTTP API 都非常底层。它仅进行流处理和消息解析。</p>
</blockquote>
<p>http.Server() 是基于事件的，主要事件有：</p>
<ul>
<li>request：最常用的事件，当客户端请求到来时，该事件被触发，提供req和res参数，表示请求和响应信息。</li>
<li>connection：当Tcp连接建立时，该事件被触发，提供一个socket参数，是 net.Socket 的实例。</li>
<li>close</li>
</ul>
<p>那么，http 模块是如何监听获取浏览器发来的请求呢？<br>这就需要进一步看看 Node.js 中，http 模块是如何实现的了。</p>
<p></p>
<h3 id="24-http-的下层net-模块">2.4 http 的下层：net 模块</h3>
<blockquote>
<p>http.Server 继承自: <net.Server><br>
net 模块用于创建基于流的 TCP 或 IPC 的服务器（net.createServer()）与客户端（net.createConnection()）</p>
</blockquote>
<p>创建 TCP 服务：</p>
<pre><code class="language-javascript">const net = require('net');
const server = net.createServer((c) => {
// 'connection' 监听器。
console.log('客户端已连接');
c.on('end', () => {
console.log('客户端已断开连接');
});
c.write('你好\r\n');
c.pipe(c);
});
server.on('error', (err) => {
throw err;
});
server.listen(8124, () => {
console.log('服务器已启动');
});
</code></pre>
<p>telnet 进行测试：</p>
<p><img src="https://cdn.nlark.com/yuque/0/2019/png/85144/1576548843500-34939cac-01d9-4b56-87fc-00b2c23b93bb.png#align=left&display=inline&height=150&name=image.png&originHeight=300&originWidth=1310&size=183930&status=done&style=none&width=655" alt="image.png" loading="lazy"></p>
<blockquote>
<p>需要注意的是，net 模块创建出来的是一个 TCP 服务，而它监听接受到的数据，是一个 stream（流）</p>
</blockquote>
<p>net 模块接收到的内容是没法直接打印的，需要通过 strema 的方式来处理。</p>
<p>下面代码接受并打印浏览器请求：</p>
<pre><code class="language-javascript">const net = require('net');
const fs = require('fs');

const server = net.createServer((c) => {
let stream = fs.createWriteStream('test.txt');
c.pipe(stream).on('finish', () => {
console.log('Done');
});
c.on('error', (err) => {
console.log(err);
});
})

server.listen('4000', () => {
console.log('服务器已启动');
});
</code></pre>
<p>在浏览器输入 localhost:4000 后，在服务端目录下生成 test.txt 文件：</p>
<pre><code class="language-javascript">GET / HTTP/1.1
Host: localhost:4000
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7,ko;q=0.6
Cookie: UM_distinctid=16e3ab5c769669-0aa68fde01b9b3-37647e05-13c680-16e3ab5c76a1ec; _9755xjdesxxd_=32; gdxidpyhxdE=6EK5fbKotSpp2Uiam1adlQW2uSUV%2FlvMMzX0Lo2iqcBIdSnV4Gf2CIYG2LZevagi2DhNAVlVmPjg4WyCs0EXamAO%2B3tQHgmnyrEj14hrmaV6Ev2MHAdWnIR9giTvXoIlRicy1MhUZ007j%5C%5C84xvU4PmLl0sEbHlkQ4Tvefuj9Ri%2B6D%2FZ%3A1574856606158; YD00636840014594%3AWM_NI=dKC1nbSYkvmP3bFoHMIDoTTp82bhdKlE9PKhaaJmK%2FO5hJLvRckcK9ONax49iBl7ML0AK8sRz90Qd%2Bexn2ABVSxcFOebaImloWcpuWVLQ8eRrrbgDEaIMdym983xRZqnV1c%3D; YD00636840014594%3AWM_NIKE=9ca17ae2e6ffcda170e2e6eeafd83a8aea9dd7ed5ca9b88ba3d44a828e8faaf23d8ab3ff9bec7c86b7a7d0b12af0fea7c3b92aa8958dd2ed6a9187a597f05cf1be8a90cb478b9ca1b5d77cfceeae89e741b09bf7b1ca64a3bf868eca258deba8abcf7e92bda584ca338d92af99b733ab9ea4d8d048f49f85d9f25abae700b2e721a7a8a2d3c44a968db884c545a7beafaaf068ad89ad91f85d96949fd9e85ab2aeae88c74fa3978385fc67fbe8fd99d152b3b29ad2e237e2a3; YD00636840014594%3AWM_TID=PZ3AtyPUGXFABQFEABZp7I3hmitUyn7z; CNZZDATA1278176396=591860064-1572943020-%7C1574943751; _yapi_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJ1aWQiOjI4LCJpYXQiOjE1NzY0NjQzMjIsImV4cCI6MTU3NzA2OTEyMn0.EEdBvJMRnnu2-_qli_Jqc2D6CtxocEzZjEz_hWv4qEk; _yapi_uid=28
</code></pre>
<p></p>
<h3 id="25-http-服务的完整链路">2.5 http 服务的完整链路</h3>
<blockquote>
<p>梳理一下 http 服务的整个调用链路：</p>
</blockquote>
<ol>
<li>Nodejs 创建 http 服务，内部其实是继承了 net.Server 模块。</li>
<li>net 模块内部实际上是使用了 TCP 和 Stream 模块，绑定 TCP 端口后，将数据以流的形式，通过 connection 事件回调给 http 模块。</li>
<li>http 模块接收到 stream 后，调用 httpParser 解析，回调给 request 事件。</li>
</ol>
<p><img src="https://cdn.nlark.com/yuque/0/2019/png/85144/1576553441525-5275c460-49b4-4ac4-87bc-996253933df6.png#align=left&display=inline&height=234&name=image.png&originHeight=468&originWidth=1120&size=180835&status=done&style=none&width=560" alt="image.png" loading="lazy"></p>
<ul>
<li>net 模块主要做的事情，就是启动 TCP 服务，将监听到的请求信息，通过 connection 回调给 http 模块。</li>
<li>http 模块主要做的就是在 connection 回调中解析报文数据，然后触发业务中的 request 回调，提供给开发者使用。</li>
</ul>
<p></p>
<h2 id="三应用中的-stream">三、应用中的 stream</h2>
<blockquote>
<p>在深入了解 http 模块内部的基本原理后，可以想想我们在应用场景中，可以利用 stream（流）做到哪些事情</p>
</blockquote>
<p>可以尝试自己实现一下平时接触到的一些应用，如：</p>
<ul>
<li>http-proxy-middleware转发中间件</li>
<li>大文件流式上传服务</li>
<li>视频流播放服务</li>
<li>......</li>
</ul><br><br>
来源：https://www.cnblogs.com/woodk/p/12055707.html

頁: [1]

琼殿技术论坛's Archiver

Node.js：深入浅出 http 与 stream