现在公司在做汽车终端的平台，需要了解交通部808，1078的终端协议。特别是1078是关于音频和视频的协议。于是，我们在入坑中启动了java的音视频解决方案。这一系列文章涉及到一个完整的音视频服务构建。大概每个人的肩膀上都做过。如有任何疑问，请联系cuiyaonan2000。

这个人必须站在巨人的肩膀上。我们将使用JAVACV来处理所有的视频和音频信息。

图像像素格式(简称像素格式)一般是指按照原始像素排列的未编码数据。以栗子为例。一张完整图像的像素排列一般是这样的(以4*4像素rgb像素格式为例):

当然，当我们存储这些数据时，我们通常使用一维数组，所以顺序变成了这样：rgbrgbrgbrgb.诸如此类。

图像封装格式是指我们日常看到的图像格式，如png、jpg、bmp、gif等。其中bmp是无损格式，里面的数据格式是图像的头信息加上rgb排列的像素数据。png/jpg都是有损压缩格式，但是压缩比还是很高的。我们为什么要压缩它们将在下面讨论。(压缩意味着编码cuiyaonan2000)

图像像素数据是指yuv、rgb、rbga、bgr、gbra等图像像素格式。也就是编码后的视频帧。比如我们常见的h264编码，其实就是图像像素数据的压缩。(以rgb为例，如果当前图像像素大小为1920*1080，每种颜色用一个字节表示，也就是说每个像素有红绿蓝三种颜色，图像有1920*1080个像素，也就是说图像大小为1920*1080*3个字节。(为什么一个像素要占3个字节，因为红绿蓝三原色=。=cuiyaonan2000)

视频中经常提到的I帧、B帧、P帧指的是什么？I帧也叫关键帧，实际上是一幅完整的静止图像，而B帧和P帧只是用来记录图片的运动矢量等非图像数据。B/P帧依赖I帧正确解码完整图像(受损画面)。在实际应用中，各种视频源很少使用B帧。原因是虽然使用大量的B帧可以提高压缩率，但是也会消耗更多的硬件性能。因此，I帧(关键帧)和大量的P帧在大多数情况下是主要的视频来源。

此外，在直播应用中，I帧间隔会很低，这样可以更快地显示第一帧(B/P帧需要I帧解码)，但这也增加了传输的数据量，因为一个I帧通常很大。

补充：由于人眼特殊的生理结构，如果观看的画面帧率高于16，就会被认为是连贯的，这种现象称为视觉滞留。所以电影片子都是一个一个拍，然后快速播放。

一般来说，现在的监控摄像头都是25帧。这当然是工作需要。事实上，用摄像机录制和播放视频时，只要帧率达到15，人眼感觉就是连续的。这有什么用？相比25，15帧可以节省大量的编解码和刷屏。至于10-12，勉强连续，只能说是一些特殊场合的选择。

简单来说，帧数就是一秒钟内传输的图片帧数。也可以理解为图形处理器每秒可以刷新几次，通常用fps(每秒帧数)来表示。每一帧都是静止图像，当帧快速连续显示时就形成了运动的错觉。高帧率可以得到更流畅更真实的动画。每秒帧数(fps)越多，显示的动作就越流畅。一般来说，30fps是可以接受的，所以避免运动不流畅的最低fps是30。除了30fps，一些计算机视频格式，如AVI，每秒只能提供15帧。我们之所以可以用摄像头看到连续的图像，是因为图像传感器不停的拍照，传输到屏幕上。当传输速度达到一定程度时，人眼无法分辨图片之间的时间间隙，所以大家看到的是连续的、动态的图片。

如上所述，编码是一种压缩算法；那么封装格式是什么呢？封装格式就是我们日常看到的视频文件，比如mp4、avi、mkv、flv等。按照每种封装格式的规范，将视频帧和音频按照一定的顺序存储起来，成为我们日常看到的视频文件。这些封装格式一般包含一些头/尾标志和一些视频描述信息，以便播放器在读取这些视频文件时知道如何播放这些视频文件(你可以把封装格式想象成一个存储盒，上面的图像压缩格式也可以指视频编码格式。原理是一样的，都是图像数据的有损/无损压缩。

什么是传输封装？为什么转码比转码消耗少？为什么不能通过传输包来改变视频大小？

举个栗子：假设视频格式(mp4，flv，avi等。)是一个盒子，里面的视频编码数据(h264，hevc)是一个苹果。我们把这个苹果从盒子里拿出来，放在另一个盒子里。盒子变了，苹果没变，所以视频相关尺寸数据没变。这就是转移包装的概念。有了上面的例子，我们可以把“转码”理解为：把这个盒子里的苹果(hevc)拿出来，削皮切块，加工成樱桃(h264)，再装到另一个盒子里。有一个额外的步骤将苹果(hevc)转换成樱桃(h264)，这自然比直接将苹果拿到另一个盒子(包装)消耗更多的机器性能。

音频/视频源可以是视频文件、音频文件、流媒体源、设备等。

比如我们要看电脑或者手机摄像头的视频，就要采集设备的图像数据(从源设备采集的像素数据通常是bgr或者rgb像素数据)。如果是一些厂商的商用相机，可能会支持rtsp/rtmp协议。为了收集声音，我们必须收集录音/麦克风设备中的数据(通常是pcm采样数据)。

Rtsp协议栈，rtmp协议栈，hls，http-flv(理论上讲这个flv不是流媒体协议，而是无限flv文件)等等。

例如，rtmp将编码的音频和视频帧打包成flv进行传输。(归根结底，这些协议原则上还是基于tcp/udp的应用层传输协议。翠耀南2000。)标准的1078协议要求终端设备的push协议是参考rtp协议。后来，我们写代码来处理它。

流媒体服务是一种接受RTSP和rtmp的推送服务器，可以接收拉流。稍后，我们将建立一个RTMP的流媒体服务器。

音频系统中的几个声道指的是音频系统的几个输出线路。常见的有、和通道1。声道是指音响系统只有左右两个声道输出声音。2.意思是音响有三个声道：左右声道和低音。3.这意味着音频有左右声道加上左右环绕加上一个中心和一个低音输出。声道是指声音录制或播放时，在不同空间位置采集或回放的独立音频信号，所以声道数就是声音录制时的音源数或回放时对应的扬声器数。声卡支持的声道数是衡量声卡档次的重要指标之一，从单声道到最新的环绕声都有。

数据率是指单位时间内视频文件使用的数据流，也称为码率，是视频编码中画质控制最重要的部分。在同样的分辨率下，视频文件的码流越大，压缩比越小，画质越好。

不同分辨率的明确存储容量是不同的。同样，网络传播也是有影响的。

分辨率越大，消耗的流量越多，所以流量排名是：极快& lt平滑& lt高清& lt超清720P<1080P蓝光。

后面的p代表一种视频显示格式，外文字母p表示逐行扫描；

144p (192144，20帧/秒)，4: 3，录制1MB左右；一分钟；240p (320240，20帧/秒)，4: 3，一分钟录制3 MB左右；360p (480360，20帧/秒)，4: 3，一分钟录制7 MB左右；480p (640480，20帧/秒)，4: 3，录制12MB左右；一分钟；720p (1280720，30帧/秒)，1633609，录制一分钟约35MB；1080p (19201080，30帧/秒)，1633609，录制一分钟80MB左右。2K (1152 2048) 4K(2304 4096)

以下是视频的分割线。它用于帮助您定位视频的分辨率和比特率。

流畅度：比特率- 256kbps，分辨率-480 * 360，俗称360P高清：比特率- 512kbps，分辨率-640 * 480，俗称480P超清：比特率- 1024kbps，分辨率-1280 * 780。