网站建设如何创建框架页面,物流网站哪个好,百度用户服务中心入口,江门网站建设模板直播流程 采集#xff1a; 是视频直播开始的第一个环节#xff0c;用户可以通过不同的终端采集视频#xff0c;比如 iOS、Android、Mac、Windows 等。 前处理#xff1a;主要就是美颜美型技术#xff0c;以及还有加水印、模糊、去噪、滤镜等图像处理技术等等。 编码#…直播流程 采集 是视频直播开始的第一个环节用户可以通过不同的终端采集视频比如 iOS、Android、Mac、Windows 等。 前处理主要就是美颜美型技术以及还有加水印、模糊、去噪、滤镜等图像处理技术等等。 编码 就是音视频数据的压缩便于传输一般有软编码和硬编码软编码有 x264、x265、openh264等硬编码有 iOS 的 VideoToolBox、Android 的 mediacodecWindows 的QSV 和NVIDIA等等。 推流 就是数据传输从主播端到服务端的过程推流需要不同的网络协议支持如 RTMP 等。 转码 为了让采集端的流适配各个平台端不同协议一般都会在服务端进行转码处理将视频文件转成不同格式支持 RTMP、HLS 和 FLV 等不同的协议。 分发 应对视频应用的高并发需求采用 CDNContent Delivery Network即内容分发网络 进行内容分发加速实现高并发等能力。 拉流与解码 拉流即使视频数据从服务端到观众端的过程解码就是渲染播放让观众看到主播的视频画面。
直播卡顿
一般造成直播卡顿的原因主要有设备、视频流、网络三个方向。
方向原因设备设备硬件配置太差、播放器问题等视频流时间戳问题、编码参数、编码码率等网络推流端网络太差、播放端网络太差、服务端传输压力过大等
直播延迟
延迟主要指推流端到拉流端的时间差在音视频生产消费过程中在不同阶段都会产生延迟如下表所示。
分类产生原因设备端上延迟采集、前处理、编码、解码、渲染播放都可能产生延迟设备端与服务端之间的延迟推流端到服务端的延迟服务端到拉流端的延迟服务端与服务端之间的延迟服务端的数据传输、数据排队、数据的处理等延迟
阿里云技术介绍一片直播延迟的源头如下图 声网技术介绍了直播延迟的不同程度所适应的应用场景如下图
视频分辨率
分辨率是用于度量图像内数据量多少的一个参数通常表示成ppi。一般直观表现出视频的画面细腻程度。常见的分辨率如下表。
首屏秒开
首屏耗时指第一次点播播放后肉眼看到画面所等待的时间。技术上指播放器解码第一帧渲染显示画面所花的耗时。通常所说的“秒开”指点击播放后一秒内即可以看到播放画面。首屏打开越快说明用户体验越好。首屏耗时原因主要有DNS 解析、缓存获取首帧内容、网络延迟、播放器缓存策略等。
直播花屏与绿屏
花屏与绿屏由不同原因造成的主要如下脑图罗列。
视频直播的痛点
观看视频直播最大的痛点主要包括卡顿、模糊、延迟、内容等。
流媒体
流媒体是指将一连串的媒体数据压缩后经过网络分段发送数据在网络上即时传输影音以供观赏的一种技术与过程此技术使得数据包得以像流水一样发送因此称为流媒体。
如果不使用此技术就必须在使用前下载整个媒体文件。流媒体的本质上是原始画面经过视频采集设备然后通过编码器编码压缩生成点播文件或者直播流经过网络的传输在各种终端进行解压解码然后播放器进行画面渲染最终展示在用户眼前。
流媒体可以分为点播和直播。
直播与点播
直播是有实时性的要求直播的数据都是存在内存中过时的数据会被丢掉。视频直播一定是一个**“边生产边传输边消费”**的过程.
如果需要持久化的视频数据就必须对直播流进行录制转化为视频文件保存起来这样就可以转化为点播的内容。 点播的内容源是静态的直播的数据源是动态的。
实现点播需要解决视频转码和流媒体下载两个问题而实现直播本质需要解决视频数据编解码和视频数据网络传输两个问题。
直播与RTC
RTC的一个具体应用是直播场景中的直播连麦或PK也就是低延时直播。普通直播一般采用TCP协议RTMP使用CDN进行内容分发会有几秒甚至十几秒的延时主播和观众的互动只能通过文字短消息或送礼来进行。 而直播连麦使用UDP协议QUIC内容实时传输主播和观众可以进行音视频连麦互动实时沟通延时一般低至几百毫秒。 因此直播和 RTC 最大的区别主要体现再协议的使用以及音视频处理技术策略等。
项目RTMPRTP/RTCP传输协议TCPUDP延迟程度高低使用场景普通直播RTC/连麦直播
