流媒体相关技术介绍
1、流媒体简介
流媒体（streaming media）是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网上即时传输影音以供观赏的一种技术与过程，此技术使得数据包得以像流水一样发送；如果不使用此技术，就必须在使用前下载整个媒体文件，这对于实时性要求比较高的场景而言，显然是不现实的，所以流媒体技术为此孕育而生。
传统的视频监控、IPTV，以及这几年兴起的视频直播、网络授课都属于流媒体的范畴，从广义上来讲，视频通话，视频会议也属于流媒体。
2、视频监控
2.1 传统解决方案的现状和挑战
视频监控是流媒体技术传统的应用场景，在政府、企业以及现在逐渐流行的个人消费市场有着广泛的应用。特别是近几年来，国内各大城市逐步推进平安城市项目进程，在安防、交通等领域，视频监控市场规模愈发壮大。而且随着室内家居摄像头、车载记录仪的普及，视频监控可以说在人们的生活中无处不在。
传统的视频监控解决方案主要建立在基于 LAN 的网络、服务器、录像机和摄像机的基础之上。这些高度复杂的解决方案具有很高的施工和维护成本， 因为传统基础设施价格高昂，并且需要时间来规划、实施和维护。传统的视频监控解决方案也不好扩容维护，对于用户而言，也不友好，操作使用局限在局域网中，已经难以适合新时代的发展。
2.2 发展趋势
由于一些互联网企业的入局，视频监控行业也在经历一系列的变局，譬如小米摄像头、360 水滴摄像头的流行，也鞭策着传统的视频监控行业相关企业的变革(譬如海康威视推出的萤石云平台)，虽然目前这些变革多数还局限于个人消费市场，但从长远来看，视频监控上云，是未来发展的大趋势。
基于云的视频监控解决方案由于其高质量、可靠性、安全性、便捷性以及较低的部署和维护成本而越来越受到人们的青睐。
预计未来视频监控，将像目前流行的网络直播一样方便，用户安装好摄像头后，接入网络即可视频上云。使用者在浏览器或 APP 即可查看所有摄像头的实时监控以及历史录像，通过 APP 或绑定的手机号码，可以实时接收摄像头发送的事件通知(譬如入侵事件)。
2.3 技术难点
由于历史原因，传统的视频监控行业技术栈多采用私有协议 SDK、onvif/rtsp 等协议栈。这些协议目前对浏览器而言都不友好，在以前 IE 浏览器还流行的时期，可以通过 ocx 插件的方式来对接这些协议，但是随着 IE 的没落以及目前流行的 chrome、火狐浏览器对原生插件的愈加不友好，通过插件的方式来实现访问监控视频的方式将愈发困难。如果要在 chrome、火狐浏览器上访问监控视频，目前有以下几种方案可行：
rtmp
目前主流的 chrome 和火狐浏览器都还支持 flash 插件，所以目前在浏览器上还可以通过 rtmp 方式来访问监控视频。但是由于随着 html5 的普及以及 flash 的停止更新，预计可预见的未来，rtmp 技术将随着 flash 一起行将就木(谷歌宣布 chrome 浏览器 2020 年 12 月将不再支持 flash player)。
http-flv
http-flv 直播的方式是一种比较新颖的方式,该技术基于 html5,可以通过无插件的方式实现视频直播，而且由于 rtmp 负载可以平滑的转换成 http-flv 协议,所以正在逐渐取代 rtmp 成为新的直播技术标准，目前各大直播网站(譬如斗鱼直播，bilibili 等)也陆续从 rtmp 切换成该技术。 但是由于浏览器的限制，不能同时打开过多(chrome 限制 6 个)的同域名下的直播窗口，所以该技术也不太适合多路同时打开(譬如 9 宫格视频)的视频监控领域。而且由于 Adobe 的不作为，flv 容器格式停止了更新，对 H265 的支持遥遥无期。
ws-flv
ws-flv 直播技术基本与 http-flv 一致，无非是传输
介质换成了 websocket 协议，除了解除了 http-flv 不能同时打开过多同域名下的直播窗口的限制，其他技术特性、参数基本与 http-flv 一致。目前看，ws-flv 既适合视频监控(可以同时打开多路监控视频)也适合视频直播行业，是 rtmp 很高的升级替代方案。webrtc
webrtc 是谷歌主导的视频通话技术标准，目前各大主流浏览器都兼容该标准。通过该技术，用户可以在浏览器上实现无插件的视频通话，该技术也可以用于实现低延时的视频直播。目前业界也有很多基于 webrtc 的应用和产品，但是很多局限于视频聊天等低延时交互式场景，在视频监控领域，目前还尚未流行。而且该技术栈目前还在持续更新，技术难点太多，要与视频监控领域融合还需时日。
hls
hls 协议是苹果公司主导的技术标准，该技术标准兼容性最佳。不仅桌面浏览器，包括手机浏览器甚至是手机 QQ、手机微信都支持该直播协议。 但是该协议延时比较大，不太适合视频监控等对延时要求很敏感的行业。不过最近苹果公司新推出低延时 hls 直播标准，预计 hls 标准将抢占更大的市场份额。
以上直播技术标准目前都不完全契合视频监控行业的需求，如果要达到比较好的用户体验，通常以上技术混合使用。
3、视频直播
3.1 视频直播的现状和挑战
视频直播是近几年才兴起的产业，特别是随着游戏直播、手机直播的流行，视频直播已经司空见惯，进入了每个人的视野。 随着阿里、腾讯等云平台的入局，OBS，SRS 等优秀软件的开源，视频加速 CDN 技术的成熟，打赏、广告等商业模式的落地，目前视频直播产业链已经非常成熟，业界也诞生了斗鱼、虎牙、映客、花椒等知名直播平台。
目前而言，这些直播平台使用的技术栈基本都是 rtmp,但是由于 flash 技术即将被淘汰，所以直播行业也将迎来一些变局以及挑战。 现在，基本上所有的直播平台，在 web 端，都已经或正在往 http-flv 方案转型。由于 flv 与 rtmp 同出一门(都是 Adobe 公司产品)，负载格式一致，方案升级改造平滑可靠，http-flv 替代 rtmp 具有天然的优势，相信将来 http-flv 能很好的挑起 rtmp 的大梁。
3.2 发展趋势
视频直播目前从内容上来讲，涵盖了游戏、美女、户外、娱乐、体育等直播；从设备上来讲，涵盖了 PC、手机、web、电视等客户端，市场上也诞生了斗鱼这样的头部企业。从目前来看，视频直播行业市场格局已经比较稳固，进入了平稳发展期。
从技术上来讲，直播行业也将迎来一些变革。 一是 rtmp 技术随着 flash 的一起淘汰，web 端 rtmp 播放器将成为历史。 二是随着 webrtc 的强势流行，直播技术栈可能与 webrtc 融合。 三是苹果主导的低延时 hls 的推出，可能最终有大一统之势。
不过近期来看，http-flv 是 rtmp 的最佳替代方案，但是和 rtmp 一样，也有不支持 H265 的短板，而且移动端浏览器对此支持并不完善，所以该方案在将来有大概率会被其他方案替代。
3.3 技术难点
直播行业相对视频监控行业来说，商业化程度更高，更面向于普通消费者，用户规模更大，产业链也更加成熟。但是由于利益格局的划分、巨头间标准制定的角力，目前直播的技术标准和用户体验是割裂的。
在桌面 web 端，之前直播技术由 Adobe 旗下的 flash/rtmp 技术主导，不过由于 Adobe 的不作为，以及谷歌苹果等公司的抵制，flash 已经进入死亡倒计时。目前来看，http-flv 已经接手 rtmp 的大旗，成为了新的事实上的桌面 web 端直播标准。但是 http-flv 由于其不支持 H265 的短板(Adobe 官方可能永远也不会支持 H265)，其地位也并不稳固，现在也有公司正在尝试使用 webrtc 进行视频直播，但是由于该技术跨界太大，其技术栈又太庞杂，整个上下游产业链也并不完善，目前在直播界，还未看见大规模采用该直播技术的方案实施。
在手机 APP 端，由于播放技术自己可以主导，也由于历史沿革原因，目前一般沿用 rtmp 技术方案(需要指出的是微信小程序也支持 rtmp 播放器)，用户体验比较好，延时一般 3 秒或以下。
在移动 web 端，可采用的直播方案更少，目前基本只能采用苹果公司主导的 hls 方案，但是由于 hls 的技术特性，延时非常大(一般 5 秒以上，最大可达 10 秒以上)，其观看体验跟手机 APP、桌面 web 端是严重割裂的。
通过我们上述的分析看出，目前直播技术方案，在每种端都不一样，用户体验也差距巨大，目前并没有一种多平台支持、令人满意的通用解决方案。目前要实现一个完善的直播产品，最少要采用包括 rtmp/http-flv/hls 这 3 种技术方案，而且这三种技术方案目前也并不能让人满意(rtmp/http-flv 不支持 H265,hls 延时高)。
4、我们的解决方案以及优势
目前我们的流媒体服务框架支持 rtsp/rtmp 推流客户端，rtsp/rtmp/http-flv/ws-flv/hls 播放客户端，并且可以无缝把 rtsp/rtmp 推流转换成上述 4 种播放协议，同时我们也支持 mp4 录制存档，必要的时候也可以从 mp4 文件加载成直播流。
除了上述功能之外，我们还支持拉流 rtsp/rtmp 代理成 rtsp/rtmp/http-flv/ws-flv/hls，也支持把直播 rtsp/rtmp 流推送到其他的服务器。
另外，我们还提供丰富的 http api 以及 http hook api，通过这些 api，我们可以与其他业务服务器一起，打造丰富的业务逻辑。
我们的流媒体框架支持 linux、macos、ios、android、windows 全平台，既可以作为商用的流媒体服务器，也可以移植到嵌入式设备中，作为基础流媒体服务组件。
代码采用 C++11 标准打造，避免使用裸指针，稳定可靠，采用 epoll 多路复用、线程池、异步网络 IO 模式开发，并发性能优越，已经经受住了长期的高并发验证考验。同时针对及时推流的特征，做了特别的优化，可以减少视频打开延时、提高画面打开成功率，让用户获取画面秒开，延时极低的体验。