深入理解C语言中的复杂数据序列化与反序列化 - 文章 - 开发者社区

在底层系统开发、嵌入式设备通信或跨平台数据交换中，我们常常面临一个核心问题：如何将内存中的复杂数据结构安全、高效地转化为可传输或可持久化的字节流？这正是序列化与反序列化（Serialization&Deserialization）的关键所在。

🧑 博主简介：现任阿里巴巴嵌入式技术专家，15年工作经验，深耕嵌入式+人工智能领域，精通嵌入式领域开发、技术管理、简历招聘面试。CSDN优质创作者，提供产品测评、学习辅导、简历面试辅导、毕设辅导、项目开发、C/C++/Java/Python/Linux/AI等方面的服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：gylzbk）

💬 博主粉丝群介绍：① 群内初中生、高中生、本科生、研究生、博士生遍布，可互相学习，交流困惑。② 热榜top10的常客也在群里，也有数不清的万粉大佬，可以交流写作技巧，上榜经验，涨粉秘籍。③ 群内也有职场精英，大厂大佬，可交流技术、面试、找工作的经验。④ 进群免费赠送写作秘籍一份，助你由写作小白晋升为创作大佬。⑤ 进群赠送CSDN评论防封脚本，送真活跃粉丝，助你提升文章热度。有兴趣的加文末联系方式，备注自己的CSDN昵称，拉你进群，互相学习共同进步。

C语言虽然没有像高级语言那样提供内建的序列化机制，但它强大的内存控制能力为我们手动实现复杂的数据序列化提供了广阔空间。本文将从原理、策略、安全性、性能优化等多个维度深入讲解在 C 语言中如何实现复杂数据结构的序列化与反序列化。

一、为什么需要序列化与反序列化？

数据持久化：将结构体存储到文件或数据库中。
跨进程通信：如IPC、网络协议数据传输。
平台移植：字节序（Endian）和对齐方式可能不同。
远程过程调用（RPC）：如 gRPC、Thrift 的底层需要数据打包。

在这些场景中，无法直接用 memcpy() 或 fwrite() 操作结构体，需要有意识地对数据结构做抽象和规范。

二、结构体内存布局与序列化基础

1. 内存对齐与填充

结构体在内存中的布局可能因为编译器的对齐规则插入 padding 字节，导致 sizeof(struct) 并不等于所有字段的字节数总和。

#pragma pack(push, 1)
typedef struct {
    char a;      // 1 byte
    int b;       // 4 bytes (紧随 char，可能会有3个填充字节)
} PackedStruct;
#pragma pack(pop)

2. 字节序问题

x86 等平台使用 小端序（Little Endian）
网络协议一般采用 大端序（Big Endian）

转换函数：htonl, htons, ntohl, ntohs

示例：

uint32_t net_id = htonl(local_id);

三、基础序列化方法及其局限性

最基础的序列化方法就是“按字段写入”或“内存块复制”：

void serialize_basic(const MyStruct *data, uint8_t *buf) {
    memcpy(buf, data, sizeof(MyStruct));
}

问题：

结构体内含指针，memcpy 复制的是地址，非目标内容
字节序无法统一
对齐造成冗余字节
不支持链表、树等复杂结构

四、高级结构的序列化策略

1. 变长数组

typedef struct {
    uint32_t count;
    float *scores;  // 动态长度
} ScoreList;

序列化流程：

写入 count
连续写入 count * sizeof(float) 的数据

反序列化时，先读 count，再分配内存并填充数据。

2. 链表结构

typedef struct Node {
    int data;
    struct Node *next;
} Node;

策略：遍历链表，将所有节点转成线性数组，然后序列化。

反序列化则是按顺序重建链表结构。

3. 联合体 + 类型标签（Tagged Union）

typedef enum { TYPE_INT, TYPE_FLOAT } VariantType;
typedef struct {
    VariantType type;
    union {
        int i;
        float f;
    } data;
} Variant;

序列化：先写入 type，再根据类型写对应字段。

4. 嵌套结构体

递归地对每一层结构体字段调用其对应的序列化函数。

五、协议设计与序列化框架

1. TLV 格式（Type-Length-Value）

+------+--------+-------------+
| Type | Length | Value       |
+------+--------+-------------+
|  1B  |  2B    | Length bytes|

优点：

灵活，字段顺序可变
可选字段跳过处理
兼容性好（新增字段旧版本可忽略）

2. 自定义二进制协议 vs 文本协议

二进制协议：高效，但不易调试
JSON/BSON/MessagePack：调试友好但效率低

3. 零拷贝序列化

适用于性能敏感场景：

用 mmap 映射内存文件
共享内存中构建结构体并直接发送

六、安全性与健壮性

序列化过程中常见的安全风险：

缓冲区溢出：未检查长度写入
非法内存访问：反序列化时数据不足或格式异常
拒绝服务攻击：攻击者伪造字段如长度为负或极大
内存泄漏：反序列化时未正确管理动态内存

建议做法：

所有读取都应校验 buffer 边界
使用版本字段或魔数识别协议合法性
引入 checksum/hash 校验防止数据破损

七、性能优化技巧

优化项	说明
结构体重排	优化字段顺序减少 padding
内存预分配	减少 malloc/free 次数
压缩字节流	LZ4、ZSTD 等轻量压缩提升传输效率
SIMD 指令集	利用 AVX/SSE 加速批量序列化
Zero-copy 映射	避免数据复制，直接映射到传输区域

八、通用序列化框架（可参考）

虽然本文强调手工实现，但在实际项目中也可使用如下 C 语言序列化框架：

protobuf-c：Google Protocol Buffers 的 C 实现
FlatBuffers：支持零拷贝读取，适合游戏/嵌入式
capnproto：强调序列化速度和零拷贝
cmp：轻量 MessagePack C 实现

结语

在 C 语言环境中实现序列化与反序列化，是一项结合了内存布局、数据协议、安全策略与性能优化的复杂工程。它不像高级语言那样“自动”，却拥有更高的自由度与性能潜力。

深入理解结构体的内存模型、处理变长结构、合理设计协议格式、重视安全校验、掌握性能技巧，能帮助我们构建出稳定、兼容、高效的序列化系统，服务于嵌入式、网络通信、跨平台数据交互等各类应用场景。