Node.js中的流

什么是流？

说到流，就涉及到一个*nix的概念：管道——在*nix中，流在Shell中被实现为可以通过 |(管道符) 进行桥接的数据，一个进程的输出（stdout）可被直接作为下一个进程的输入（stdin）。

在Node中，流（Stream）的概念与之类似，代表一种数据流可供桥接的能力。

pipe

pipe 流式编程的精髓在于 .pipe()方法。可供桥接的能力，在于数据流的两端（上游/下游或称为读/写流）以一个 .pipe(）方法进行桥接。

伪代码的表现形式为：

//上游.pipe（下游)
Readable.pipe(Writable);

1 2	//上游.pipe（下游) Readable.pipe(Writable);

流的分类

这里并不打算讨论所谓的Node v0.4 之前的“经典”流。那么，流分为这么几类（皆为抽象接口：

stream.Readable 可读流（需要实现_read方法，关注点在于对数据流读取的细节
stream.Writable 可写流（需要实现_write方法，关注点在于对数据流写入的细节
stream.Duplex 可读/写流（需要实现以上两接口，关注点为以上两接口的细节
stream.Transform 继承自Duplex（需要实现_transform方法，关注点在于对数据块的处理

简单来说：

.pipe() 的拥有者一定具备 Readable 流（并不局限于）能力，它拥有 ‘readable’/’data’/’end’/’close’/’error’ 一系列事件可供订阅，也提供 .read()/.pause()/.resume()等一系列方法供调用；
.pipe() 的参数一定具备Writable 流（并不局限于）能力，它拥有 ‘drain’/’pipe’/’unpipe’/’error’/’finish’ 事件可供访问，也提供 .write()/.end() 等一系列方法供调用

什么鬼

有没有一丝丝焦虑？别急，做为一个说人话的低级码工，我会把Stream掰开了和您扯一扯的。

Stream类，在 Node.js的源码里，是这么定义的：

var EE = require('events').EventEmitter;
var util = require('util');
util.inherits(Stream, EE);

function Stream() {
  EE.call(this);
}

var EE = require('events').EventEmitter;

var util = require('util');

util.inherits(Stream, EE);

function Stream() {

EE.call(this);

}

可以看出，本质上，Stream是一个EventEmitter，那意味着它具备事件驱动的功能（.emit/.on…）。众所周知，“Node.js 就是基于V8的事件驱动平台”，实现了事件驱动的流式编程，具备了和Node一样的异步回调的特征。

比如在 Readable 流中，有一个 readable 事件，在一个暂停的只读流中，只要有数据块准备好可读时，它就会被发送给订阅者（Readable 流有哪些呢？express中的 req，ftp或者mutli-form上传组件的req.part，系统中的标准输入 process.stdin等）。有了readable 事件，我们可以做个处理shell 命令输出的分析器之类的工具：

process.stdin.on('readable', function(){
   var buf = process.stdin.read();
   if(buf){
      var data = buf.toString();
      // parsing data ...                                                 
   }
});

process.stdin.on('readable', function(){

var buf = process.stdin.read();

if(buf){

var data = buf.toString();

// parsing data ...

}

});

这样调用：

head -10 some.txt | node parser.js

1	head -10 some.txt \| node parser.js

对于 Readable 流，我们还可以订阅它的 data 和 end 事件，以获取数据块并在流枯竭时获得通知，如经典socket示例中那样：

req.on('connect', function(res, socket, head) {
    socket.on('data', function(chunk) {
      console.log(chunk.toString());
    });
    socket.on('end', function() {
      proxy.close();
    });
  });

req.on('connect', function(res, socket, head) {

socket.on('data', function(chunk) {

console.log(chunk.toString());

});

socket.on('end', function() {

proxy.close();

});

Readable流状态的切换

需要注意的是，Readable 流有两种状态：flowing mode（激流）和 pause mode（暂停）。前者根本停不下来，谁被pipe上了就马上不停的给；后者会暂停，直到下游显式的调用 Stream.read() 请求才读取数据块。Readable 流初始化时是 pause mode的。

这两种状态可以互为切换的，其中，

有以下任一行为，pause 转 flowing：

对 Readable 流添加一个data事件订阅
对 Readable 调用 .resume() 显式开启flowing
调用 Readable 流的 .pipe(writable) ，桥接到一个 Writable 流上

有以下任一行为，flowing 转回 pause：

Readable 流还没有 pipe 到任何流上，可调 .pause() 暂停
Readable 流已经 pipe 到了流上，需 remove 掉所有 data 事件订阅，并且调用 .unpipe()方法逐一解除与下游流的关系

妙用

结合流的异步特性，我可以写出这样的应用：直接将用户A 的输出桥接到用户B 的页面上输出：

router.post('/post', function(req, res) {
    var destination = req.headers['destination']; //发给谁
    cache[destionation] = req;
    //是的，并不返回，所以最好是个ajax请求
});

router.post('/post', function(req, res) {

var destination = req.headers['destination']; //发给谁

cache[destionation] = req;

//是的，并不返回，所以最好是个ajax请求

});

用户B请求的时候：

router.get('/inbox', function(req, res){
    var user = req.headers['user'];
    cache.find(user, function(err, previousReq){ //找到之前存的req
       var form = new multiparty.Form();
       form.parse(previousReq);  // 有文件给我
       form.on('part', function (part) {
            part.pipe(res); //流式大法好:)

            part.on('error', function (err) {
                console.log(err);
                messaging.setRequestDone(uniqueID);
                return res.end(err);
            });
        });
    });
});

router.get('/inbox', function(req, res){

var user = req.headers['user'];

cache.find(user, function(err, previousReq){ //找到之前存的req

var form = new multiparty.Form();

form.parse(previousReq); // 有文件给我

form.on('part', function (part) {

part.pipe(res); //流式大法好:)

part.on('error', function (err) {

console.log(err);

messaging.setRequestDone(uniqueID);

return res.end(err);

});

参考

how to write node programs with streams: stream-handbook

打赏作者

您的支持将激励我继续创作！

去打赏

Mo Ye

A Conservative

Published

March 29, 2015

Mo Ye in JavaScript | March 29, 2015