AVFoundation – AVCompositionTrack AVMutableCompositionTrack 添加移除缩放媒体音视频轨道信息

08873
ChatGPT 3.5 国内中文镜像站免费使用啦

零基础 Object-C 学习路线推荐 : Object-C 学习目录 >> Object-C 基础

零基础 Object-C 学习路线推荐 : Object-C 学习目录 >> Object-C 线程

零基础 Object-C 学习路线推荐 : Object-C 学习目录 >> OpenGL ES

零基础 Object-C 学习路线推荐 : Object-C 学习目录 >> GPUImage

零基础 Object-C 学习路线推荐 : Object-C 学习目录 >> AVFoundation

零基础 Object-C 学习路线推荐 : Object-C 学习目录 >> CocoaPods


一.前言


1.AVAsset

Assets  可以来自一个文件或用户的相册,可以理解为多媒体资源，通过 URL 作为一个 asset 对象的标识. 这个 URL 可以是本地文件路径或网络流；


2.AVAssetTrack

AVAsset 包含很多轨道 AVAssetTrack的结合,如 audio, video, text, closed captions, subtitles…


3.AVComposition / AVMutableComposition

使用  AVMutableComposition  类可以增删 AVAsset 来将单个或者多个 AVAsset 集合到一起，用来合成新视频。除此之外，若想将集合到一起的视听资源以自定义的方式进行播放，需要使用 AVMutableAudioMix 和 AVMutableVideoComposition 类对其中的资源进行协调管理；


4.AVMutableVideoComposition

AVFoundation 类 API 中最核心的类是 AVVideoComposition / AVMutableVideoComposition 。

AVVideoComposition / AVMutableVideoComposition 对两个或多个视频轨道组合在一起的方法给出了一个总体描述。它由一组时间范围和描述组合行为的介绍内容组成。这些信息出现在组合资源内的任意时间点。

AVVideoComposition / AVMutableVideoComposition 管理所有视频轨道，可以决定最终视频的尺寸，裁剪需要在这里进行；


5.AVMutableCompositionTrack

AVMutableCompositionTrack 是将多个 AVAsset 集合到一起合成新视频中轨道信息，有音频轨、视频轨等，里面可以插入各种对应的素材（画中画，水印等）；


6.AVMutableVideoCompositionLayerInstruction

AVMutableVideoCompositionLayerInstruction 主要用于对视频轨道中的一个视频处理缩放、模糊、裁剪、旋转等；


7.AVMutableVideoCompositionInstruction

表示一个指令，决定一个 timeRange 内每个轨道的状态，每一个指令包含多个 AVMutableVideoCompositionLayerInstruction ；而 AVVideoComposition 由多个 AVVideoCompositionInstruction 构成；

AVVideoCompositionInstruction 所提供的最关键的一段数据是组合对象时间轴内的时间范围信息。这一时间范围是在某一组合形式出现时的时间范围。要执行的组全特质是通过其 AVMutableVideoCompositionLayerInstruction 集合定义的。


8.AVAssetExportSession

AVAssetExportSession 主要用于导出视频；


9.AVAssetTrackSegment

AVAssetTrackSegment 不可变轨道片段；


10.AVCompositionTrackSegment

AVCompositionTrackSegment 可变轨道片段，继承自 AVAssetTrackSegment；


二.简介


1.不可变对象AVCompositionTrack

AVCompositionTrack 继承自 AVAssetTrack ，该对象中的轨道，由媒体类型，轨道标识符和轨道片段组成。


2.可变对象AVMutableCompositionTrack

AVMutableCompositionTrack 继承自 AVCompositionTrack ，合成对象中的可变轨道，用于插入/移除/缩放轨道片段，而不会影响其低级别表示。

AVCompositionTrack 定义了轨道段时间对齐的约束。验证轨道是否符合合成轨道的时间规则可以使用 validateTrackSegments 函数验证；


3.轨道中插入空的时间范围

/*
*
*函数描述：在轨道中添加空白时间范围：（如果在轨道中插入空的时间范围，
*          则在插入之前的该间隔期间显示的任何媒体将立即显示。插入数据的性质
*          取决于轨道的媒体类型；例如，声道中的空时间范围呈现静音。
*
*函数参数
*   timeRange ： 要插入的空时间范围
*/

- (void)insertEmptyTimeRange:(CMTimeRange)timeRange;

4.插入单个音频/视频轨道

/*
*
*函数描述：在轨道中添加单个音频/视频轨道。
*
*函数参数：
*   timeRange ： 要插入的时间范围
*   tracks：要插入的源轨，仅支持AVURLAsset实例
*   startTime：由合成轨道表示的轨道出现的时间，合成轨道中第一个轨道段是kCMTimeZero
*   outError：如果未成功插入track，则返回NSError
*
*返回值：如果已成功插入轨道，则为YES，否则为NO
*/

- (BOOL)insertTimeRange:(CMTimeRange)timeRange 
                ofTrack:(AVAssetTrack *)track 
                 atTime:(CMTime)startTime 
                  error:(NSError * _Nullable * _Nullable)outError;

5.插入多个音频/视频轨道

/*
*
*函数描述：在轨道中添加多个音频/视频轨道。
*
*函数参数：
*   timeRanges ： 包含CMTimeRange结构的NSValue对象数组，指示要插入的时间范围
*   tracks：要插入的源轨，仅支持AVURLAsset实例
*   startTime：由合成轨道表示的轨道出现的时间，合成轨道中第一个轨道段是kCMTimeZero
*   outError：如果未成功插入track，则返回NSError
*
*返回值：如果已成功插入轨道，则为YES，否则为NO
*/

- (BOOL)insertTimeRanges:(NSArray<NSValue *> *)timeRanges 
                ofTracks:(NSArray<AVAssetTrack *> *)tracks 
                  atTime:(CMTime)startTime 
                   error:(NSError * _Nullable * _Nullable)outError

此方法等效于对每个 AVAssetTrack 调用 -insertTimeRange:ofTrack:atTime：error: 方法，如果此方法返回错误，则不会将任何时间范围插入合成轨道。

如果要指定空时间范围，请为轨道传递 NSNull 对象，并以 kCMTimeInvalid 开始时间范围，并使用所需空编辑的持续时间。


6.移除指定的时间范围

/*
*
*函数描述：在轨道中删除指定的时间范围
*
*函数参数：
*   timeRange：要删除的时间范围
*
*/
- (void)removeTimeRange:(CMTimeRange)timeRange;

删除时间范围不会导致从合成中删除轨道。相反，它会删除或截断与时间范围相交的轨道段。


7.持续时间（变速）

/*
*
*函数描述：变速，更改轨迹时间范围的持续时间
*
*函数参数：
*   timeRange：要缩放的轨道的时间范围
*   duration：新的持续时间范围
*
*/
- (void)scaleTimeRange:(CMTimeRange)timeRange toDuration:(CMTime)duration;

8.合成轨道的轨道段

@property(nonatomic, copy) NSArray<AVCompositionTrackSegment *> *segments;

合成轨道中第一个轨道段必须是 kCMTimeZero ，并且每个后续轨道段的 target.timeRange.start 必须等于 CMTimeRangeGetEnd(target.timeRange) 。可以使用 -validateTrackSegments:error: 确保轨道段数组符合此规则。


9.验证轨道是否符合合成轨道的时间规则

/*
*函数描述：验证轨道是否符合合成轨道的时间规则
*
*返回值：符合合成轨道的时间规则返回YES,否则返回NO
*/
- (BOOL)validateTrackSegments:(NSArray<AVCompositionTrackSegment *> *)trackSegments         
                        error:(NSError * _Nullable * _Nullable)outError;


合成轨道中第一个轨道段的 target.timeRange.start 必须是 kCMTimeZero ，并且每个后续轨道段的 target.timeRange.start 必须等于 CMTimeRangeGetEnd(target.timeRange) 。


三.使用

/******************************************************************************************/
//@Author:猿说编程
//@Blog(个人博客地址): www.codersrc.com
//@File:AVFoundation – AVCompositionTrack AVMutableCompositionTrack 添加移除缩放媒体音视频轨道信息
//@Time:2021/08/17 07:30
//@Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！
/******************************************************************************************/

AVURLAsset *firstVideoAsset = [AVURLAsset URLAssetWithURL:firstVideoUrl options:nil];
AVURLAsset *secondVideoAsset = [AVURLAsset URLAssetWithURL:secondVideoUrl options:nil];
AVURLAsset *audioAsset = [AVURLAsset URLAssetWithURL:audioUrl options:nil];

//获取视听资源中的第一个 asset track
AVAssetTrack *firstVideoAssetTrack = [[firstVideoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
AVAssetTrack *secondVideoAssetTrack = [[secondVideoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
AVAssetTrack *audioAssetTrack = [[audioAsset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0];

//第一个视频插入的时间点是 kCMTimeZero
[videoCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, firstVideoAssetTrack.timeRange.duration) ofTrack:firstVideoAssetTrack atTime:kCMTimeZero error:nil];

//第二个视频插入的时间点是第一个视频结束的时间
[videoCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, secondVideoAssetTrack.timeRange.duration) ofTrack:secondVideoAssetTrack atTime:firstVideoAssetTrack.timeRange.duration error:nil];

//音频的持续时间是两个视频时间的总和
CMTime videoTotalDuration = CMTimeAdd(firstVideoAssetTrack.timeRange.duration, secondVideoAssetTrack.timeRange.duration);
[audioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoTotalDuration) ofTrack: atTime:kCMTimeZero error:nil];

//导出
....

完整代码请跳转：

  • 《AVComposition / AVMutableComposition 合并视频并导出》
  • 《AVComposition / AVMutableComposition 合并视频并播放》

四.猜你喜欢


ChatGPT 3.5 国内中文镜像站免费使用啦
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
AVFoundation
# Object-C# IOS# AVFoundation# 音视频
喜欢就支持一下吧
点赞3 分享
猿说编程的头像-猿说编程钻石会员
模拟真人鼠标轨迹算法（支持C++/Python/易语言）[鼠标轨迹API简介]-猿说编程
模拟真人鼠标轨迹算法（支持C++/Python/易语言）[鼠标轨迹API简介]
模拟真人鼠标轨迹算法（支持C++/Python/易语言）[鼠标轨迹API简介]
38天前 3.5W+
C/C++ float 和 double 相互转换-猿说编程
C/C++ float 和 double 相互转换
C/C++ float 和 double 相互转换
3年前 1.9W+
C/C++ int 和 double 相互转换-猿说编程
C/C++ int 和 double 相互转换
C/C++ int 和 double 相互转换
3年前 1.8W+
C/C++ 角度和弧度相互转换-猿说编程
C/C++ 角度和弧度相互转换
C/C++ 角度和弧度相互转换
3年前 1.5W+
C/C++ int 和 float 相互转换-猿说编程
C/C++ int 和 float 相互转换
C/C++ int 和 float 相互转换
3年前 1.2W+
C/C++ int 和 char 相互转换-猿说编程
C/C++ int 和 char 相互转换
C/C++ int 和 char 相互转换
3年前 1.1W+
相关推荐
IOS – OPenGL ES 调节图像饱和度 GPUImageSaturationFilter-猿说编程
IOS – OPenGL ES 调节图像饱和度 GPUImageSaturationFilter
IOS – OPenGL ES 调节图像饱和度 GPUImageSaturationFilter
2年前 9737
IOS – OpenGL ES 同心圆像素化马赛克效果 GPUImagePolarPixellateFilter-猿说编程
IOS – OpenGL ES 同心圆像素化马赛克效果 GPUImagePolarPixellateFilter
IOS – OpenGL ES 同心圆像素化马赛克效果 GPUImagePolarPixellateFilter
2年前 9719
IOS – OpenGL ES 调节图像对比度 GPUImageContrastFilter-猿说编程
IOS – OpenGL ES 调节图像对比度 GPUImageContrastFilter
IOS – OpenGL ES 调节图像对比度 GPUImageContrastFilter
2年前 7991
IOS – OpenGL ES 图像马赛克圆点 GPUImagePolkaDotFilter-猿说编程
IOS – OpenGL ES 图像马赛克圆点 GPUImagePolkaDotFilter
IOS – OpenGL ES 图像马赛克圆点 GPUImagePolkaDotFilter
2年前 6868
IOS – OPenGL ES 调节图像曝光度 GPUImageExposureFilter-猿说编程
IOS – OPenGL ES 调节图像曝光度 GPUImageExposureFilter
IOS – OPenGL ES 调节图像曝光度 GPUImageExposureFilter
2年前 6863
IOS – OPenGL ES 调节图像伽马线 GPUImageGammaFilter-猿说编程
IOS – OPenGL ES 调节图像伽马线 GPUImageGammaFilter
IOS – OPenGL ES 调节图像伽马线 GPUImageGammaFilter
2年前 6577
评论 抢沙发

请登录后发表评论

    暂无评论内容

用户封面
猿说编程的头像-猿说编程钻石会员
热门文章
模拟真人鼠标轨迹算法（支持C++/Python/易语言）-猿说编程
3.5W+人已阅读
模拟真人鼠标轨迹算法（支持C++/Python/易语言）[鼠标轨迹API简介]
TOP1
C/C++ float 和 double 相互转换-猿说编程
C/C++ float 和 double 相互转换
3年前1.9W+人已阅读
TOP2
C/C++ int 和 double 相互转换-猿说编程
C/C++ int 和 double 相互转换
3年前1.8W+人已阅读
TOP3
C/C++ 角度和弧度相互转换-猿说编程
C/C++ 角度和弧度相互转换
3年前1.5W+人已阅读
TOP4
C/C++ int 和 float 相互转换-猿说编程
C/C++ int 和 float 相互转换
3年前1.2W+人已阅读
TOP5
C/C++ int 和 char 相互转换-猿说编程
C/C++ int 和 char 相互转换
3年前1.1W+人已阅读
TOP6
标签云
C语言 (302)OpenGL ES (262)OpenGL (262)Object-C (197)IOS (189)Python (115)OpenGL特效 (101)GPUImage (101)C语言函数 (99)C++ (86)Python基础 (75)c语言教程 (57)Python常用函数 (45)C语言面试 (38)C语言算法 (38)AVFoundation (30)音视频 (30)C++教程 (28)NSString (27)C++设计模式 (22)ChatGPT (20)Visual Studio (20)Xcode (13)UIImage (11)OpenGL 函数 (8)Visual Assist (7)Pycharm (6)ffmpeg (5)第三方库下载 (4)第三方库编译 (4)Anaconda (4)C/C++项目实战 (3)跨平台编译 (3)鼠标轨迹算法 (2)鼠标轨迹 (2)png (2)git (2)sourceTree (2)软件工具 (1)Windows OpenGL ES GPUImageToonFilter (1)OpenGL ES GPUImageToonFilter (1)OpenGL函数 (1)QT (1)EasyX (1)RGBA数据转换 (1)去水印 (1)代码规范 (1)CMake (1)CocoaPods (1)windows文件共享 (1)图像算法 (1)Python函数 (0)Python Pycharm Anacanda 区别 (0)ope (0)算法 (0)openg (0)open (0)