ios11录屏（iOS端屏幕录制开发指南）

一、 概述

实现直播过程中共享屏幕分为两个步骤：屏幕数据采集和流媒体数据推送。前对于 iOS 来说，屏幕采集需要系统的权限，受制于iOS系统的限制，第三方 app 并没有直接录制屏幕的权限，必须通过系统的功能来实现。

本文将描述iOS系统的屏幕共享的应用、实现、限制、实现细节等方面调研结果。（注：由于iOS 10和之前的系统只支持App内录制屏幕，所以只做简单的介绍，不做详细说明）

二、 应用

屏幕共享早起出现在视频会议当中，后来在一些游戏直播中也出现了大规模应用，Apple早期不支持屏幕共享，但随着直播的盛行，Apple也是根据用户的需求，给予了屏幕共享的支持，推出了 ReplayKit 库来迎合这种场景。

市面上的屏幕共享的场景大致分类如下：

iOS 8

iOS8 以及以前的版本，系统没有提供相应的功能，通过破解系统的功能调用私有的API来实现。由于 iOS8 太过古老而且运行 iOS8 系统的设备也基本上支撑不起来直播的功能，我们这里不做详细讨论，有兴趣的可以研究一下。

iOS 9系统

Apple 在iOS 9 推出了 ReplayKit 框架，提供了录屏功能，但是限制是只能录制本App内的屏幕。录制完成后会生成一个视频文件，只能通过 RPPreviewViewController 来预览，编译生成的文件，录制过程中无法获取数据，只能将最终录制完毕的整个mp4文件提供给开发者，所以实际上并非真正的屏幕的直播共享，无法保证实时性。

iOS 10系统

iOS 10 Apple 推出了 Broadcast Upload Extention 和 Broadcast Setup UI Extention，来解决录屏的问题。

首先介绍一下App Extension，官方文档（Extension的官方文档）。Extension是对 App 的扩展，在一定程度上打破了沙盒的限制，提供了应用间通信的可能。Extension 是一个独立运行的进程，有自己的生命周期。下图所示：

• 一种是在Extension 子进程中通过 Socket 传输发送屏幕共享视频数据到 host app 中，host app中以自采集Push的方式向 SDK 塞流，该方式只能传输一路视频流，要么屏幕共享要么摄像头的视频流。

• 一种是在Extension 子进程中初始化 SDK， 拉流设置为不订阅其他人的音频和视频，只做发送端。该方式实现了一个客户端可以发送自己的摄像头的视频流，也可以发送屏幕共享的流，只是以两个uid进入同一个频道的形式。

本地Socket传输到host app

思路参考:博客

大致的思路是：本地起一个socket,通过tcp的形式传输到host app,复杂的操作在host app 中进行，有效解决Extension 50M的限制问题。

子进程中直接使用SDK

思路：在Extension中直接使用 SDK ，只做发流，不接收流。同时也要注意Extension 50M的问题（1：应用限制横竖屏直播，要么横盘、要么竖屏，应用横竖屏切换容易导致内存突增。2：低性能机器限制视频的帧率（1~10帧））

1.初始化

设置频道属性为直播模式，并设置为主播角色，启用视频模块

  // 实例化 rtc 对象

  rtcKit = [ARtcEngineKit sharedEngineWithAppId:appId delegate:self];

  [rtcKit setChannelProfile:ARChannelProfileLiveBroadcasting];

  [rtcKit setClientRole:ARClientRoleBroadcaster];

  [rtcKit enableVideo];

2.设置屏幕共享的分辨率

• 设置使用外部视频源采集，打开后内部采集自动关停

• 设置使用外部音频源采集，打开后内部音频采集自动关停

  // 配置外部视频源
  [rtcKit setExternalVideoSource:YES useTexture:YES pushMode:YES];
  // 推送外部音频帧
  [rtcKit enableExternalAudioSourceWithSampleRate:48000 channelsPerFrame:2];

4.禁止接收音视频

作为屏幕共享端只需要发流，不需要接收流。

  // 禁止接收所有音视频流
  [rtcKit muteAllRemoteVideoStreams:YES];
  [rtcKit muteAllRemoteAudioStreams:YES];

5.加入频道

• RPSampleBufferTypeVideo：获取视频数据，并使用外置塞流接口把视频数据发送出去

• RPSampleBufferTypeAudioApp：获取应用内的声音源，并使用外置塞流接口把音频数据发送出去

• RPSampleBufferTypeAudioMic：获取麦克风声音源，并使用外置塞流接口把音频数据发送出去

• 视频塞流，需要对视频数据进行组装，视频类型、时间戳、旋转角度等信息

- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
    switch (sampleBufferType) {
        case RPSampleBufferTypeVideo:
        {
            // 处理视频数据
            CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
            if (pixelBuffer) {
                CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer);
                ARVideoFrame *videoFrame = [[ARVideoFrame alloc] init];
                videoFrame.format = 12;
                videoFrame.time = timestamp;
                videoFrame.textureBuf = pixelBuffer;
                videoFrame.rotation = [self getRotateByBuffer:sampleBuffer];
                [rtcKit pushExternalVideoFrame:videoFrame];
            }
        }
            break;
        case RPSampleBufferTypeAudioApp:
            
            // 处理音频数据，音频由App产生
            [rtcKit pushExternalAudioFrameSampleBuffer:sampleBuffer type:ARAudioTypeApp];
            break;
        case RPSampleBufferTypeAudioMic:
            
            // 处理音频数据，音频由麦克风产生
            [rtcKit pushExternalAudioFrameSampleBuffer:sampleBuffer type:ARAudioTypeMic];
            break;
        default:
            break;
    }
}

经过上述步骤，便可实现屏幕共享功能。为了方便开发者更能快速上手，可以参考demo快速上手。

iOS 屏幕共享

Android 屏幕共享