过去几年大家都笼罩在裁员的阴影了，一年更比一年难，各行各业都是类似的问题。实时音视频在疫情期间大放异彩，随着去年年底疫情管控的放开，以及以前教育行业的整顿，实时音视频一下走完了它短暂的黄金时代。
本人实时音视频从业十年，本文简单介绍实时音视频领域的一些知识，总结23年行业遇到的问题和出现的机遇，展望24年可能的趋势。
1、什么是实时音视频？
典型实时音视频场景
实时音视频和传统直播有什么区别呢？直播是单向的，就像我们看电视，而实时音视频一般是双向的，就像我们的电话一样，我们用到比较多的直播连麦，就像是之前的电视购物一样，是电视和电话的集合。下面是这种连麦场景的一个典型架构：
实时音视频用到的另一个场景是视频会议，下面是一个视频会议的典型架构：
相比直播连麦，多了会控管理，但实质还是rtc + rtmp。
webrtc介绍
rtmp最开始是adobe的一个私有协议，后面成了直播的主流协议。webrtc作为rtc的一个通用实现，是目前最主流的实时音视频协议。 WebRTC经历了一下三个主要发展阶段：
- 探索阶段（2011-2014）：对于浏览器厂商来说，是一个该不该兼容使用它的阶段；
- 增长期（2015-2019）：对于浏览器厂商来说，是一个怎么用的阶段；
- 差异化期（2020年后）：除了浏览器厂商，zoom等视频会议客户端等开始活起来，是一个如何完善的阶段。
2、23年实时音视频行业现状
23年各大厂的主旋律都是“降本增效”，实时音视频做了成本项中的大头，成了降本的主要目标，一些边缘产品，白板，播放器等都逐步从paas厂家切到自研，一些直播场景从rtc切换会rtmp，这些成了技术降本的主要手段。
另一方面，从阿里到滴滴的大厂故障给其他公司带来了警示，单一供应商带来的安全隐患太大，所以业务方又开始多云建设，可以依赖多个供应商，但其实蛋糕并没有增大，只是分的人多了。对Paas厂商来说，各个行业业务规模的缩水造成了自身业务规模的下降。
看完paas厂商，再看看供应商开源情况：
在2021年，浏览器中的视频背景模糊和背景替换开始成为主流；2022年，专有编解码器和噪声抑制等功能，开始在WebRTC应用程序和技术方案中建立起坚实的基础。这方面典型的代表性商业用例就是Dolby Voice专有编解码器，以及Twilio与Krisp在噪声抑制方面的合作协议。
下面是一个zoom股价和chrome中的webrtc使用量曲线叠加：
WebRTC的使用量从22年还保持在疫情前的3到4倍。但可以整个2022年内WebRTC用量开始持续减少，而且这种下降趋势持续到了2023年。最终WebRTC的使用量稳定在2020年初的3倍左右。
在看看目前Webrtc开源现状：
- Kurento仍然没缓过来，仍在持续下滑；
- Janus表现不错，跟一年前一样；
- Jitsi 在组会议功能中仍扮演重要角色，是在线会议的主要选择；
- mediasoup发展不错，创始人和主要开发人员都曾在Around工作，随后通过收购一同加入了Miro；
- Pion 的受众和实际使用量都在增长，是发展最好的开源项目。
3、24年实时音视频行业发展
23年随着大模型和生成式AI的成熟，一些实时音视频和AI相结合的产品开始出来尝试，数字人等成了各个厂商提供差异化能力的突破点，但是成熟的业务模式大家都没有探索出来，对于大多数的直播间，真人的动情演绎都不足以吸引到足够多的观众，何况机器人。但我们不能全部否认数字人的价值，在一些特殊场景，它可能确实是更适合。
所以在24年，实时音视频领域，旧的业务模式还会持续缩水，大家都在探索与AI的结合，但是具体能带来哪些价值，需要我们耐心等待，落后的paas厂商会逐步被兼并或者倒闭。
在webrtc能力建设上，主要会围绕可观测性下功夫，libWebrtc会精简调整，并进一步优化性能完善协作。
4、总结
本文简单介绍了实时音视频技术和主要架构，总结了23年实时音视频商业和开源两个方向发展，并基于现状预测了24年试试音视频领域的发展和趋势。