跳至主要內容

流媒体相关技术介绍

ZLMediaKit大约 10 分钟

1、流媒体简介

流媒体(streaming media)是指将一连串的媒体数据压缩后,经过网络分段发送数据,在网上即时传输影音以供观赏的一种技术与过程,此技术使得数据包得以像流水一样发送;如果不使用此技术,就必须在使用前下载整个媒体文件,这对于实时性要求比较高的场景而言,显然是不现实的,所以流媒体技术为此孕育而生。

传统的视频监控、IPTV,以及这几年兴起的视频直播、网络授课都属于流媒体的范畴,从广义上来讲,视频通话,视频会议也属于流媒体。

2、视频监控

2.1 传统解决方案的现状和挑战

视频监控是流媒体技术传统的应用场景,在政府、企业以及现在逐渐流行的个人消费市场有着广泛的应用。特别是近几年来,国内各大城市逐步推进平安城市项目进程,在安防、交通等领域,视频监控市场规模愈发壮大。而且随着室内家居摄像头、车载记录仪的普及,视频监控可以说在人们的生活中无处不在。

传统的视频监控解决方案主要建立在基于 LAN 的网络、服务器、录像机和摄像机的基础之上。这些高度复杂的解决方案具有很高的施工和维护成本, 因为传统基础设施价格高昂,并且需要时间来规划、实施和维护。传统的视频监控解决方案也不好扩容维护,对于用户而言,也不友好,操作使用局限在局域网中,已经难以适合新时代的发展。

2.2 发展趋势

由于一些互联网企业的入局,视频监控行业也在经历一系列的变局,譬如小米摄像头、360 水滴摄像头的流行,也鞭策着传统的视频监控行业相关企业的变革(譬如海康威视推出的萤石云平台),虽然目前这些变革多数还局限于个人消费市场,但从长远来看,视频监控上云,是未来发展的大趋势。

基于云的视频监控解决方案由于其高质量、可靠性、安全性、便捷性以及较低的部署和维护成本而越来越受到人们的青睐。

预计未来视频监控,将像目前流行的网络直播一样方便,用户安装好摄像头后,接入网络即可视频上云。使用者在浏览器或 APP 即可查看所有摄像头的实时监控以及历史录像,通过 APP 或绑定的手机号码,可以实时接收摄像头发送的事件通知(譬如入侵事件)。

2.3 技术难点

由于历史原因,传统的视频监控行业技术栈多采用私有协议 SDK、onvif/rtsp 等协议栈。这些协议目前对浏览器而言都不友好,在以前 IE 浏览器还流行的时期,可以通过 ocx 插件的方式来对接这些协议,但是随着 IE 的没落以及目前流行的 chrome、火狐浏览器对原生插件的愈加不友好,通过插件的方式来实现访问监控视频的方式将愈发困难。如果要在 chrome、火狐浏览器上访问监控视频,目前有以下几种方案可行:

  • rtmp

    目前主流的 chrome 和火狐浏览器都还支持 flash 插件,所以目前在浏览器上还可以通过 rtmp 方式来访问监控视频。但是由于随着 html5 的普及以及 flash 的停止更新,预计可预见的未来,rtmp 技术将随着 flash 一起行将就木(谷歌宣布 chrome 浏览器 2020 年 12 月将不再支持 flash player)。

  • http-flv

http-flv 直播的方式是一种比较新颖的方式,该技术基于 html5,可以通过无插件的方式实现视频直播,而且由于 rtmp 负载可以平滑的转换成 http-flv 协议,所以正在逐渐取代 rtmp 成为新的直播技术标准,目前各大直播网站(譬如斗鱼直播,bilibili 等)也陆续从 rtmp 切换成该技术。 但是由于浏览器的限制,不能同时打开过多(chrome 限制 6 个)的同域名下的直播窗口,所以该技术也不太适合多路同时打开(譬如 9 宫格视频)的视频监控领域。而且由于 Adobe 的不作为,flv 容器格式停止了更新,对 H265 的支持遥遥无期。

  • ws-flv

    ws-flv 直播技术基本与 http-flv 一致,无非是传输介质换成了 websocket 协议,除了解除了 http-flv 不能同时打开过多同域名下的直播窗口的限制,其他技术特性、参数基本与 http-flv 一致。目前看,ws-flv 既适合视频监控(可以同时打开多路监控视频)也适合视频直播行业,是 rtmp 很高的升级替代方案。

  • webrtc

    webrtc 是谷歌主导的视频通话技术标准,目前各大主流浏览器都兼容该标准。通过该技术,用户可以在浏览器上实现无插件的视频通话,该技术也可以用于实现低延时的视频直播。目前业界也有很多基于 webrtc 的应用和产品,但是很多局限于视频聊天等低延时交互式场景,在视频监控领域,目前还尚未流行。而且该技术栈目前还在持续更新,技术难点太多,要与视频监控领域融合还需时日。

  • hls

    hls 协议是苹果公司主导的技术标准,该技术标准兼容性最佳。不仅桌面浏览器,包括手机浏览器甚至是手机 QQ、手机微信都支持该直播协议。 但是该协议延时比较大,不太适合视频监控等对延时要求很敏感的行业。不过最近苹果公司新推出低延时 hls 直播标准,预计 hls 标准将抢占更大的市场份额。

以上直播技术标准目前都不完全契合视频监控行业的需求,如果要达到比较好的用户体验,通常以上技术混合使用。

3、视频直播

3.1 视频直播的现状和挑战

视频直播是近几年才兴起的产业,特别是随着游戏直播、手机直播的流行,视频直播已经司空见惯,进入了每个人的视野。 随着阿里、腾讯等云平台的入局,OBS,SRS 等优秀软件的开源,视频加速 CDN 技术的成熟,打赏、广告等商业模式的落地,目前视频直播产业链已经非常成熟,业界也诞生了斗鱼、虎牙、映客、花椒等知名直播平台。

目前而言,这些直播平台使用的技术栈基本都是 rtmp,但是由于 flash 技术即将被淘汰,所以直播行业也将迎来一些变局以及挑战。 现在,基本上所有的直播平台,在 web 端,都已经或正在往 http-flv 方案转型。由于 flv 与 rtmp 同出一门(都是 Adobe 公司产品),负载格式一致,方案升级改造平滑可靠,http-flv 替代 rtmp 具有天然的优势,相信将来 http-flv 能很好的挑起 rtmp 的大梁。

3.2 发展趋势

视频直播目前从内容上来讲,涵盖了游戏、美女、户外、娱乐、体育等直播;从设备上来讲,涵盖了 PC、手机、web、电视等客户端,市场上也诞生了斗鱼这样的头部企业。从目前来看,视频直播行业市场格局已经比较稳固,进入了平稳发展期。

从技术上来讲,直播行业也将迎来一些变革。 一是 rtmp 技术随着 flash 的一起淘汰,web 端 rtmp 播放器将成为历史。 二是随着 webrtc 的强势流行,直播技术栈可能与 webrtc 融合。 三是苹果主导的低延时 hls 的推出,可能最终有大一统之势。

不过近期来看,http-flv 是 rtmp 的最佳替代方案,但是和 rtmp 一样,也有不支持 H265 的短板,而且移动端浏览器对此支持并不完善,所以该方案在将来有大概率会被其他方案替代。

3.3 技术难点

直播行业相对视频监控行业来说,商业化程度更高,更面向于普通消费者,用户规模更大,产业链也更加成熟。但是由于利益格局的划分、巨头间标准制定的角力,目前直播的技术标准和用户体验是割裂的。

在桌面 web 端,之前直播技术由 Adobe 旗下的 flash/rtmp 技术主导,不过由于 Adobe 的不作为,以及谷歌苹果等公司的抵制,flash 已经进入死亡倒计时。目前来看,http-flv 已经接手 rtmp 的大旗,成为了新的事实上的桌面 web 端直播标准。但是 http-flv 由于其不支持 H265 的短板(Adobe 官方可能永远也不会支持 H265),其地位也并不稳固,现在也有公司正在尝试使用 webrtc 进行视频直播,但是由于该技术跨界太大,其技术栈又太庞杂,整个上下游产业链也并不完善,目前在直播界,还未看见大规模采用该直播技术的方案实施。

在手机 APP 端,由于播放技术自己可以主导,也由于历史沿革原因,目前一般沿用 rtmp 技术方案(需要指出的是微信小程序也支持 rtmp 播放器),用户体验比较好,延时一般 3 秒或以下。

在移动 web 端,可采用的直播方案更少,目前基本只能采用苹果公司主导的 hls 方案,但是由于 hls 的技术特性,延时非常大(一般 5 秒以上,最大可达 10 秒以上),其观看体验跟手机 APP、桌面 web 端是严重割裂的。

通过我们上述的分析看出,目前直播技术方案,在每种端都不一样,用户体验也差距巨大,目前并没有一种多平台支持、令人满意的通用解决方案。目前要实现一个完善的直播产品,最少要采用包括 rtmp/http-flv/hls 这 3 种技术方案,而且这三种技术方案目前也并不能让人满意(rtmp/http-flv 不支持 H265,hls 延时高)。

4、我们的解决方案以及优势

目前我们的流媒体服务框架支持 rtsp/rtmp 推流客户端,rtsp/rtmp/http-flv/ws-flv/hls 播放客户端,并且可以无缝把 rtsp/rtmp 推流转换成上述 4 种播放协议,同时我们也支持 mp4 录制存档,必要的时候也可以从 mp4 文件加载成直播流。

除了上述功能之外,我们还支持拉流 rtsp/rtmp 代理成 rtsp/rtmp/http-flv/ws-flv/hls,也支持把直播 rtsp/rtmp 流推送到其他的服务器。

另外,我们还提供丰富的 http api 以及 http hook api,通过这些 api,我们可以与其他业务服务器一起,打造丰富的业务逻辑。

我们的流媒体框架支持 linux、macos、ios、android、windows 全平台,既可以作为商用的流媒体服务器,也可以移植到嵌入式设备中,作为基础流媒体服务组件。

代码采用 C++11 标准打造,避免使用裸指针,稳定可靠,采用 epoll 多路复用、线程池、异步网络 IO 模式开发,并发性能优越,已经经受住了长期的高并发验证考验。同时针对及时推流的特征,做了特别的优化,可以减少视频打开延时、提高画面打开成功率,让用户获取画面秒开,延时极低的体验。