基于WebRtc的拉流方法及相关设备与流程

本发明涉及数据传输，更具体地，涉及一种基于webrtc的拉流方法、一种基于webrtc的拉流装置、一种电子设备以及一种存储介质。

背景技术：

1、目前，webrtc开源框架中实现了一套完整的从音视频推流到拉流的完整方案。licode则是基于webrtc的sfu/mcu实现，是具有音视频流订阅和分发能力的一套系统。而现有的基于webrtc的拉流方案是完全以延时优先的一套策略，从音视频数据包接收到组帧、解码、渲染都以延时优先。而完全以延时优先的策略，在下行网络拉流过程中可能会出现丢包、乱序、网络抖动的情况，因此，基于webrtc中现有拉流方案很容易出现渲染卡顿的情况。

2、因此，亟需一种新的技术方案以解决上述技术问题。

技术实现思路

1、在
技术实现要素：
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

2、第一方面，本发明提出一种基于webrtc的拉流方法，包括：

3、在接收到数据包的情况下，利用包排序模块对数据包进行缓存、排序，以获得完整音视频帧；

4、利用帧排序模块针对每个完整音视频帧填充对应的参考帧，以获得带参考帧的完整音视频帧；

5、利用帧连续判断模块判断任一完整音视频帧是否连续，以在完整音视频帧连续并且该完整音视频帧的所有参考帧均解码的情况下，对完整音视频帧进行解码，进而获得解码后的音视频帧。

6、可选地，方法还包括：针对数据包进行编码，以根据所编码的数据大小将数据包封装为rtp格式；

7、利用包排序模块对数据包进行缓存、排序，以获得完整音视频帧，包括：根据封包格式和/或帧大小，将数据包拆分为一个或多个rtp数据包；将一个或多个rtp数据包按照序列号递增的顺序发送至服务器；根据序列号对rtp数据包进行标识，以获得开始帧和结束帧；基于开始帧和结束帧，从服务器拉流收取rtp数据包；针对rtp数据包进行桶排序，以获得完整视频帧。

8、可选地，针对rtp数据包进行桶排序，包括：

9、将rtp数据包插入包排序模块，以根据rtp数据包的序列号与当前包排序模块的容量进行哈希，以将rtp数据包插入对应的位置，若rtp数据包插入的位置已经存在数据包，则将当前包排序模块的容量进行扩张，其中，包排序模块的最大容量为4096。

10、可选地，在扩张当前包排序模块的容量的同时，方法还包括：

11、判断所插入的rtp数据包的序列号与当前最新的rtp数据包的序列号减去当前包排序模块的容量的数值之间的大小，对于所插入的rtp数据包的序列号小于数值的情况，丢弃所插入的rtp数据包。

12、可选地，利用帧排序模块针对每个完整音视频帧填充对应的参考帧，以获得带参考帧的完整音视频帧，包括：

13、对于帧排序模块收到任一帧的情况，确定任一帧所属的gop表，并将任一帧的参考帧设置为gop表内的任一帧的上一帧。

14、可选地，方法还包括：利用帧排序模块维护最近的至少三个gop表。

15、可选地，方法还包括：计算下行网络的往返时延，并根据往返时延，对数据包进行重传。

16、可选地，方法还包括：根据往返时延，增加可控延时，并根据不同的往返时延动态调整可控延时。

17、第二方面，还提出了一种基于webrtc的拉流装置，包括：

18、数据包排序模块，用于在接收到数据包的情况下，利用包排序模块对数据包进行缓存、排序，以获得完整音视频帧；

19、参考帧填充模块，用于利用帧排序模块针对每个完整音视频帧填充对应的参考帧，以获得带参考帧的完整音视频帧；

20、解码模块，用于利用帧连续判断模块判断任一完整音视频帧是否连续，以在完整音视频帧连续并且该完整音视频帧的所有参考帧均解码的情况下，对完整音视频帧进行解码，进而获得解码后的音视频帧。

21、第三方面，还提出了一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行如上所述基于webrtc的拉流方法。

22、第四方面，还提出了一种存储介质，在所述存储介质上存储了程序指令，程序指令在运行时用于执行如上所述基于webrtc的拉流方法。

23、根据上述技术方案，首先对数据包进行包排序，以获得完整音视频帧，接着针对完整音视频帧的每一帧填充参考帧，以对其进行帧排序，之后在所有参考帧全部收到并且所有参考帧均已解码的情况下，对可解码的、连续的音视频帧进行解码操作，最终获得解码后的音视频帧。由此，可以保证帧的连续性和完整性，进而可以有效避免出现拉流卡顿现象，实现了卡顿优化的同时，避免出现数据丢帧等问题。

24、本发明的基于webrtc的拉流方法，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

技术特征：

1.一种基于webrtc的拉流方法，其特征在于，包括：

2.如权利要求1所述的基于webrtc的拉流方法，其特征在于，所述方法还包括：

3.如权利要求2所述的基于webrtc的拉流方法，其特征在于，所述针对所述rtp数据包进行桶排序，包括：

4.如权利要求3所述的基于webrtc的拉流方法，其特征在于，在扩张所述当前包排序模块的容量的同时，所述方法还包括：

5.如权利要求1至4任一项所述的基于webrtc的拉流方法，其特征在于，所述利用帧排序模块针对每个完整音视频帧填充对应的参考帧，以获得带参考帧的完整音视频帧，包括：

6.如权利要求4所述的基于webrtc的拉流方法，其特征在于，所述方法还包括：

7.如权利要求1至4任一项所述的基于webrtc的拉流方法，其特征在于，所述方法还包括：

8.如权利要求7所述的基于webrtc的拉流方法，其特征在于，所述方法还包括：

9.一种基于webrtc的拉流装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至8任一项所述基于webrtc的拉流方法。

11.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至8任一项所述基于webrtc的拉流方法。

技术总结
本发明提供一种基于WebRtc的拉流方法及相关设备。方法包括：在接收到数据包的情况下，利用包排序模块对数据包进行缓存、排序，以获得完整音视频帧；利用帧排序模块针对每个完整音视频帧填充对应的参考帧，以获得带参考帧的完整音视频帧；利用帧连续判断模块判断任一完整音视频帧是否连续，以在完整音视频帧连续并且该完整音视频帧的所有参考帧均解码的情况下，对完整音视频帧进行解码，进而获得解码后的音视频帧。由此，可以保证帧的连续性和完整性，进而可以有效避免出现拉流卡顿现象，实现了卡顿优化的同时，避免出现数据丢帧等问题。

技术研发人员：江培营
受保护的技术使用者：武汉斗鱼鱼乐网络科技有限公司
技术研发日：
技术公布日：2024/1/13