将TCP中无边界的数据流解析为有边界的数据包
发布于 4 年前 作者 lvgithub 2636 次浏览 来自 分享

背景

TCP是字节流(流式协议, 无边界), 它本身不知道边界, 也不存在边界,TCP 有两个特点:

  • TCP会缓存小的数据包, 攒够了之后再一起发出去;
  • 受网络等因素影响, 也会将大的数据段拆分发送。

因此即使我们一个个数据发送,接收端是无法按照数据块接收的,只会持续接到无边界的,随机大小的数据块,也就是我们所说的字节流。

因此业务中我们需要把字节流切开成一个个的消息来处理,我们设计了一套方案将无边界的数据流解析为有边界的数据包。喜欢的话 star,想订阅点 watch~

原理

对要发送的数据进行协议编码,把一份数据data分为 header +body两个结构,header 默认固定长度(2 byte),header的内容描述的是 body 数据的长度。由于header定长,因此可以通过解析header,动态解析 body 的内容。

默认 header 我们使用 2 Byte 的存储空间,即Int16最大表示的 body 长度为 32767,也就是16Mimage-20200704170816148.png

如上图,我们看先取出数据流的前两位,读取到内容 0x00, 0x02转化为整数的长度是 2,再读取出body第3、4位 0x61, 0x62。下面是一个简单的demo:

// example/tcpSample.js
'use strict';
const net = require('net');
const { Stick, MaxBodyLen } = require('../index');
const stick = new Stick(1024);

// 设置最大传输body大小为 32K,即 header用两个 Byte,最大表示的值为 32767
stick.setMaxBodyLen(MaxBodyLen['32K']);

// server端
const server = net.createServer(socket => {
  
    // socket 接收到的 片段 put 到 stick 中处理
    socket.on('data', data => {
        stick.putData(data);
    });
  
    // stick 会解析好一个个数据包,按照接收的顺序输出
    stick.onBody(body => {
        console.log('body:', body.toString());
    });

    server.close();
});
server.listen(8080);

// client 端
const client = net.createConnection({ port: 8080, host: 'localhost' }, () => {
  
    // 客户端通过 stick 打包内容
    const data = stick.makeData(JSON.stringify({ userName: 'liuwei' }));
  
    // 然后把打包对的内容通过 TCP 发送给 服务端
    client.write(data);
  
    client.destroy();
});

Output:

$ node example/sample.js
body: {"userName":"liuwei"}

More Example

多语言

目前数据打包方式只提供了 Node.Js 包,stick.makeData()但现实场景中可能很多时间,客户端是其他语言编写的比如C语言运行在单片机上,这时候大家可以基原理图自行打包,规则所示:

data = header(body.length) + body

源码

https://github.com/lvgithub/stick

1 回复

TCP会缓存小的数据包, 攒够了之后再一起发出去;

这句话感觉不严谨,应该是 TCP 会利用缓区来处理发送数据(流)。而不是缓,也不是数据

回到顶部