Annex-b

H264 有 AVCC 跟 Annex-b 两种格式，而苹果 videotoolbox 只能针对 AVCC 格式的 nalu 做硬解码，而且解码像素格式必须是 NV12, 也叫 YUV420SP
一般的 mp4 都是 avcc 的 h264 编码，一般硬解没问题。而 Annex-b 格式视频流就必须手动解析处理。

FFMpeg

ffmepg 中 提供了一个 mp4toannexb 的 filter 但是 反过来的就没有，其实 ffmpeg 中就针对 Annex-b 格式走 videotoolbox 硬解做了额外处理的
总体分了两块，一块是解析 extradata 中的 vps sps pps 等 nal，封装为 AVCDecoderConfigurationRecord | HEVCDecoderConfigurationRecord 格式的 data 数据
另一块就是转换 packet 中的 nalu 数据格式，然后通过 videotoolbox api 进行解码操作。 详细直接看 libavcodec/videotoolbox.c 源码

videotoolbox

这里主要是通过 ffmepg 完成解封装操作拿到 packet，手动解析 packet 跟 extra 数据 完成 videotoolbox 的硬解码。
跟 ffmpeg 不一样的就是用到最新提供的 api CMVideoFormatDescriptionCreateFromH264ParameterSets | CMVideoFormatDescriptionCreateFromHEVCParameterSets。

usbcamera

android 外接 usbcamera，已经有比较成熟的技术方案 UVCCamera, 参考这个库，配置 Andoird 工程，依赖库接入，把外接 usbcamera 流程跑通不难。

手头设备是海康威视的 4K 摄像头，run 起立 camera 画面也正常出来了。 如果都这么顺利的话，那就没这篇文章了 😂😂😂

4k

画面是出来了，发现分辨率最多只拉到 2k（2560 x 1440），完全没有发挥出 4k 的能力。 比较容易想到的是 线 或者 hub 用的是 usb2.0 的（480Mbit/s），传输速度不够，所以出不了 4K。
搞一根 3.0 的线 确定口子也是 3.0 的之后，再次跑起来，发现 4k 画面花了，只有顶上一点点内容，绝大部分是灰的，懵逼开始…

video

收集 candidate 之后，就可以建立好数据传输的通道了，现在通过源码走读下视频数据是如何 采集 & 编码 & 传输的

webrtc 信令

来自 ChatGPT

WebRTC（Web Real-Time Communication）是一种可以在浏览器之间实现实时音视频通信的技术。信令是 WebRTC 中的一部分，用于管理会话的建立、维护和结束。简单来说，信令是用于交换元数据以建立连接的过程。

在 WebRTC 中，需要进行一些信令交换步骤来建立连接，例如：

交换 SDP（Session Description Protocol）：每个端点都需要将其本地的 SDP 发送给对方，并且解析对方发来的 SDP。
交换 ICE（Interactive Connectivity Establishment）候选项：WebRTC 会在两个端点之间建立多个连接，并尝试找到最佳的连接。ICE 候选项是一组网络地址和端口，用于在对等方之间建立连接。
交换网络信息：包括网络类型、带宽和网络状况等信息，以帮助双方选择最佳的连接。
以上这些步骤需要通过信令服务器来完成。信令服务器负责协调连接双方之间的通信，并确保会话能够顺利进行。

WebRTC 并没有规定信令协议，因此开发人员可以自行选择适合自己应用的协议，例如 SIP（Session Initiation Protocol）、XMPP（Extensible Messaging and Presence Protocol）或 WebSocket 等。

本文看下是如何获取 ICE 候选项 ice candidate

OWT

OWT 信令交互过程:

A POST /tokens/
A SocketIO connect
A SocketIO login
A SocketIO publish
A SocketIO soac offer
A SocketIO soac candidate
Portal SocketIO soac answer

B POST /tokens/
B SocketIO connect
B SocketIO login
B SocketIO subscribe
B SocketIO soac offer
B SocketIO soac candidate
Portal SocketIO soac answer

SocketIO logout

AVClass

1
2
3
4
5
6
7
8
9
10
11
12
13

AVFormatContext *s;
s->av_class = &av_format_context_class;

static const AVClass av_format_context_class = {
    .class_name     = "AVFormatContext",
    .item_name      = format_to_name,
    .option         = avformat_options,
    .version        = LIBAVUTIL_VERSION_INT,
    .child_next     = format_child_next,
    .child_class_iterate = format_child_class_iterate,
    .category       = AV_CLASS_CATEGORY_MUXER,
    .get_category   = get_category,
};

respect

致敬雷神

start

从 AVFormatContext （解封装结构体） 入口开始吧 …

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

libavformat/options.c

AVFormatContext *avformat_alloc_context(void)
{
    FFFormatContext *const si = av_mallocz(sizeof(*si));
    AVFormatContext *s;

    if (!si)
        return NULL;

    s = &si->pub;
    s->av_class = &av_format_context_class;
    /// io入口 
    s->io_open  = io_open_default;
    s->io_close = ff_format_io_close_default;
    s->io_close2= io_close2_default;

    av_opt_set_defaults(s);

    si->pkt = av_packet_alloc();
    si->parse_pkt = av_packet_alloc();
    if (!si->pkt || !si->parse_pkt) {
        avformat_free_context(s);
        return NULL;
    }

    si->shortest_end = AV_NOPTS_VALUE;

    return s;
}

背景

苹果企业账号打包分发 app，方便内部安装测试 App。最近公司企业账号续费失败，申请新的企业账号没成功。（国内近 2 年基本没有企业申请成功）
这就蛋疼了，了解到其他 app 是通过多开发者账号，adhoc 证书白名单的方式来做分发，adhoc 证书无法解决设备数量的问题，最多 100 台设备，而且还要提前注册好，一年更新一次，注册设备就是要拿到设备的 udid。

获取 udid

了解到苹果可以通过 safari 以 OTA (over the air) 的方式拿到 udid。

整体流程分三步

1. 下发 udid.mobileconfig 文件
2. 授权安装配置文件
3. 回调解析 xml 拿到 udid

MP4

H264

H264 是视频编码规范，在这个规范下 H264 码流有两种方式：AnnexB 格式 && AVCC 格式

AnnexB

AnnexB 的原理是在每个 NALU 前面写上一个特殊的起始码，通过这个起始码来当做 NALU 的分隔符，从而分割每个 NALU

AVCC

avcC 则采用了另外一种方式。那就是在 NALU 前面写上几个字节，这几个字节组成一个整数（大端字节序）这个整数表示了整个 NALU 的长度