c/c++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器

c/c++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器 视频课程分享——c/c++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器，附源码。 容器／文件（Conainer/File）：即特定格式的多媒体文件，比如mp4、flv、mkv等。 媒体流（Stream）：表示时间轴上的一段连续数据，如一段声音数据、一段视频数据或一段字幕数据，可以是压缩的，也可以是非压缩的，压缩的数据需要关联特定的编解码器（有些码流音频他是纯PCM）。 数据帧／数据包（Frame/Packet）：通常，一个媒体流是由大量的数据帧组成的，对于压缩数据，帧对应着编解码器的最小处理单元，分属于不同媒体流的数据帧交错存储于容器之中。 编解码器：编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。 FFMPEG有8个常用库： AVUtil：核心工具库，下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。 AVFormat：文件格式和协议库，该模块是最重要的模块之一，封装了Protocol层和Demuxer、Muxer层，使得协议和格式对于开发者来说是透明的。 AVCodec：编解码库，封装了Codec层，但是有一些Codec是具备自己的License的，FFmpeg是不会默认添加像libx264、FDK-AAC等库的，但是FFmpeg就像一个平台一样，可以将其他的第三方的Codec以插件的方式添加进来，然后为开发者提供统一的接口。 AVFilter：音视频滤镜库，该模块提供了包括音频特效和视频特效的处理，在使用FFmpeg的API进行编解码的过程中，直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。 AVDevice：输入输出设备库，比如，需要编译出播放声音或者视频的工具ffplay，就需要确保该模块是打开的，同时也需要SDL的预先编译，因为该设备模块播放声音与播放视频使用的都是SDL库。 SwrRessample：该模块可用于音频重采样，可以对数字音频进行声道数、数据格式、采样率等多种基本信息的转换。 SWScale：该模块是将图像进行格式转换的模块，比如，可以将YUV的数据转换为RGB的数据，缩放尺寸由1280720变为800480。 PostProc：该模块可用于进行后期处理，当我们使用AVFilter的时候需要打开该模块的开关，因为Filter中会使用到该模块的一些基础函数。 av_register_all()：注册所有组件,4.0已经弃用 avdevice_register_all()对设备进行注册，比如V4L2等。 avformat_network_init();初始化网络库以及网络加密协议相关的库（比如openssl） 音频基础 音频包括：采样率、声道数与声道布局、采样格式、PCM与波形图、音质、音频编码格式、音频封装格式。 采样率 声道布局 采样格式 PCM与波形图 音质:音色、音调、音量 编码格式:mp3、aac、ac3、opus等 封装格式: mp3、m4a、flac、wav等 音视频进阶成长也是分为：音频、通用、视频。其中音频包括：录音、麦克风采集、音频编解码、音频播放、音频分析、音效。 录音 麦克风采集 编码: AAC 解码:PCM 播放:扬声器输出 分析:FFT变换、频谱图 音效:均衡器、混响、变速变调 音视频开源库 1、多媒体处理多媒体处理包括：FFmpeg、libav、Gstreamer。其中FFmpeg是目前最常用的音视频处理库，包括封装格式、编解码、滤镜、图像缩放、音频重采样等模块。 2、流媒体传输流媒体传输包括WebRTC、live555。其中WebRTC是目前最常用的RTC库，比较著名的模块有JitterBuffer、NetEQ、pacer、网络带宽估计。 3、播放器播放器包括：ijkplayer、exoplayer、vlc。其中ijkplayer是B站开源的跨平台播放器，exoplayer是Google开源的Android平台播放器，vlc属于VideoLAN非盈利组织所开源。 4、编解码常用的编解码包括：aac、mp3、opus、vp9、x264、av1。其中aac一般用于点播、短视频，opus用于RTC直播。vp9是Google开源的编码器，VideoLAN有提供x264编码器，av1是AOMedia(开放媒体联盟)开源的新一代视频编码器。 5、音频处理音频处理的开源库包括：sox、soundtouch、speex。其中sox称为音频处理界的瑞士军刀，可以做各种音效、提供各种滤波器。soundtouch用于变速变调、变速不变调。speex严格意义上讲，它是一个编码器，但是它有丰富的音频处理模块：PLC(丢包隐藏)、VAD(静音检测)、DTX(非连续传输)、AEC(回声消除)、NS(噪声抑制)。 6、流媒体服务器流媒体服务器主流的有：SRS、janus。其中SRS是一款简单高效的视频服务器，支持RTMP、WebRTC、HLS、HTTP-FLV、SRT。而janus是MeetEcho公司开源的基于WebRTC的流媒体服务器，严格意义上讲它是一个网关。 7、音视频分析做音视频开发绕不开分析工具，掌握使用分析工具至关重要。常用的音视频分析工具包括但不限于：Mp4Parser、VideoEye、Audacity。其中Mp4Parser用于分析mp4格式及其结构。VideoEye是雷神开源的基于Windows平台分析视频码流工具(在此致敬雷神的开源精神)。Audacity是一款开源的音频编辑器，可用于添加各种音效、分析音频波形图。 8、视频渲染视频渲染相关开源库有：GPUImage、Grafika、LearnOpenGL。其中GPUImage可用于添加各种滤镜特效。Grafika是Google一位工程师开源的基于Android平台渲染示例库。LearnOpenGL主要是配套其网站的学习OpenGL教程。 什么是拷贝构造函数呢，这个其实非常简单，就是使用一个类之前创建的对象来创建新的对象，比如我有Box A，现在想要一个Box B，让B和A的内容一样，这时就要考虑了，如果是Java代码的话B、A2个引用指向同一对象，这不太符合要求，所以会调用拷贝函数，肯定会创建出一个新对象。 在C++中，直接就有了拷贝构造函数这个概念，让复制更方便。但是和Java的复制一样，Java复制需要考虑浅拷贝和深拷贝的问题，在C++中如果类的成员是指针变量，仔细想一下，直接把A的指针复制到B的指针变量中，这样A、B2个对象中该变量都是一个地址，则会相互影响，肯定不行。 所以即使默认会有拷贝构造函数，当类成员变量是指针的时候，也要进行重写拷贝构造函数。