文件
dayu-color/research/TrackingRecoveryCandidates.md
T

4.3 KiB
原始文件 Blame 文件历史

转身与短时遮挡:成熟跟踪器比较

2026-11-06,接续正式 1.18.1(106)。1.19.0(107)源代码已接入,正式安装与宿主验收待完成。用户素材和逐帧位置只留在本机缓存,不上传仓库。

原 OpenCV LK 只有局部光流与仿射拟合,没有完整对象外观模型;转身时背景特征仍可能给出高内点率。仅沿此结果继续外推会延续偏移。

同素材实测

Mac mini M4,640×360 BGRA、25fps、285 帧同一实拍。开源候选使用官方 OpenCV 4.11.0.86 wheel / cv2 4.11、2 个线程;计时包含初始化和逐帧跟踪,不含视频解码、宿主供图、预览和渲染。此为一段素材的比较,不代表通用排名。合成遮挡只用于可重复回归,不能替代真实复杂遮挡。

候选 原片总计算时间 转身表现 10 帧人工遮挡
CSRT 1622.38 ms 框向额头缩小,下巴覆盖不足 返回成功但最终跟到衣服
VitTrack 779.83 ms 框位置、大小仍偏移 能报丢失及恢复,但恢复后仍有上述偏移
Apple Vision + 本次恢复保护 398.43 ms 285 帧完整,视觉检查框保持在头部 325.51 ms,11 帧暂时预测后重新确认

Apple Vision VNTrackingRequest 使用 accurate 模式。原始连续更新版本会学习遮挡物;本次在丢失时冻结最后可信图像,从该图像重建请求试探恢复,需连续两次可信观测。没有声称 Vision 内部一定采用 Metal;具体设备调度由系统框架决定。

  • 长遮挡(55 帧)及突切随机画面:尝试到第 151 帧,最多产生 20 个暂时预测,第 21 个缺失停止。宿主提交前删除全部未确认尾部,不把预测当作成功跟踪。
  • 反向跟踪:285 帧完整、无预测,319.08 ms。双向回归还由原生宿主回调检查覆盖。
  • 重新定位后以丢失前后可信端点补齐短段,中心线性插值、尺寸对数插值;补齐键置信度标为 0.35,状态提示复核。保留精确帧时间、手工键和撤销流程。
  • 预测最多 0.8 秒;不处理长期离开画面、相似人物交叉后的全局身份确认。马赛克涉及隐私时仍必须播放复核遮盖范围。

选择与集成边界

先采用实测更稳的系统对象跟踪,应用于被局部马赛克选中的矩形/椭圆蒙版。保留作者宽高比和角度,采用保守统一缩放;旋转蒙版先转换到真实外接矩形。普通调色蒙版、钢笔和图章保留现有 OpenCV 多边形光流/仿射路径,避免用矩形对象框改变其精确形状行为。切换后需重新运行跟踪,已有工程轨迹不会静默改写。

计算在宿主分析回调,界面预览最多 15Hz,只保留最新待显示帧;不逐帧重建参数面板。需正式宿主验证回调线程和实际操作响应,不能用算法耗时替代 UI 延迟。

其他 GitHub 候选

  • NanoTrack:Apache-2.0,提供 Mac / ncnn 示例;未本机实测,不能使用 README FPS 作为本机结论。
  • OSTrack:MIT,研究工程主要面向 PyTorch / CUDA;未本机实测,未来可评估 Core ML 转换后的速度与恢复能力。
  • ByteTrack:MIT,多目标检测框关联;还需要检测器,单独引入不能解决转身后没有人脸检测框的问题。

VitTrack 模型来自官方 OpenCV Zoo,714726 字节,SHA-256 2990f0b7cd44d92afa48cd97db6de7be113fc1d9594fddb74e2725c10478e91d;目录声明 Apache-2.0。仅在缓存中用于比较,未加入 APP 或 Git。现有 APP OpenCV 4.5.1 依赖不因基准 wheel 变化而升级。

复测入口

tools/tracking/benchmark_object.mm、benchmark_vision.mm、benchmark_opensource.py。编译原生候选:xcrun clang++ -std=c++17 -O3 -fno-objc-arc -framework Foundation -framework Vision -framework CoreVideo -framework CoreGraphics tools/tracking/benchmark_object.mm -o <缓存>/benchmark-object。输入使用本地 640×360 BGRA 连续帧;不将用户素材纳入仓库。聚合数据见 verification/ObjectTrackingBenchmarks1.19.0.json。