Integrate mature object tracking and bounded gap recovery for mosaic masks

这个提交包含在:
mac 于 2026-11-06 19:28:22 +08:00 提交
1 父节点 7aece444b0
当前提交 dbab2ab0cc
14 个文件已更改
+243 -24

没有与搜索条件相匹配的文件

+35 -12
查看文件
@@ -1,17 +1,40 @@
# 转身与短时遮挡候选(开发中)
# 转身与短时遮挡:成熟跟踪器比较
2026-11-06,接续正式 1.18.1(106)。用户要求稳定马赛克、可根据丢失前后运动补齐轨迹,并要求比较 GitHub 成熟算法。正式 APP 尚未改动。
2026-11-06,接续正式 1.18.1(106)。1.19.0(107)源代码已接入,正式安装与宿主验收待完成。用户素材和逐帧位置只留在本机缓存,不上传仓库。
现有 OpenCV LK 负责局部光流与仿射拟合,没有完整对象外观模型;转身时背景特征可能仍给出高置信度。不能仅沿错误光流继续外推。
原 OpenCV LK 只有局部光流与仿射拟合,没有完整对象外观模型;转身时背景特征仍可能给出高内点率。仅沿此结果继续外推会延续偏移。
已建立独立、无界面的本地基准:640×360,25fps,285 帧原实拍;另在第 130—139 帧人为遮住头部。素材和逐帧位置不上传仓库。
## 同素材实测
- Apple Vision accurate 对照:转身全段跟踪完成;原始连续更新版本在遮挡中会学习遮挡物。候选在失去可信观测时冻结最后可信图像,只从冻结图像试探重新定位。当前候选全段完成,短遮挡测试预测 11 帧后重新确认,热运行约 1ms/帧。此为局部基准,未接入正式宿主。
- 候选运动保护:预测最多 0.8 秒,重新定位需连续两帧确认;限制跳跃和尺寸突变。计划在重新定位后用两端可信位置补齐中间键,尾部未确认预测不得作为成功轨迹提交。此部分尚未接入提交路径。
- [OpenCV CSRT](https://github.com/opencv/opencv_contrib/tree/4.x/modules/tracking):完整相关滤波对象追踪,测试官方 OpenCV 4.11 wheel,后续比较同片段。
- [OpenCV Zoo VitTrack](https://github.com/opencv/opencv_zoo/tree/main/models/object_tracking_vittrack):轻量 Transformer 单目标跟踪,有追踪分数,代码/模型目录 Apache-2.0;官方模型 714726 字节,SHA-256 `2990f0b7cd44d92afa48cd97db6de7be113fc1d9594fddb74e2725c10478e91d`,已核对 LFS 指针与完整下载。后续比较同片段。
- [NanoTrack](https://github.com/HonglinChu/NanoTrack):提供原生 Mac/ncnn 示例;OpenCV Zoo 的对比说明指出其分数不适合判断丢失,暂列次选,不用 README 的速度当本机实测。
- [OSTrack](https://github.com/botaoye/OSTrack):完整 Transformer 方案,原示例以 PyTorch/CUDA 环境为主;不把研究榜单直接当作 Mac 插件速度。
- [ByteTrack](https://github.com/FoundationVision/ByteTrack):关联检测框与多目标身份,需要额外检测器,单独引入不能解决背头没有人脸框的问题。
Mac mini M4,640×360 BGRA、25fps、285 帧同一实拍。开源候选使用官方 OpenCV 4.11.0.86 wheel / cv2 4.11、2 个线程;计时包含初始化和逐帧跟踪,不含视频解码、宿主供图、预览和渲染。此为一段素材的比较,不代表通用排名。合成遮挡只用于可重复回归,不能替代真实复杂遮挡。
在同素材准确度、短遮挡恢复、背景误锁、计算开销和宿主交互验证通过前,不替换正式版。
| 候选 | 原片总计算时间 | 转身表现 | 10 帧人工遮挡 |
| --- | ---: | --- | --- |
| [CSRT](https://github.com/opencv/opencv_contrib/tree/4.x/modules/tracking) | 1622.38 ms | 框向额头缩小,下巴覆盖不足 | 返回成功但最终跟到衣服 |
| [VitTrack](https://github.com/opencv/opencv_zoo/tree/main/models/object_tracking_vittrack) | 779.83 ms | 框位置、大小仍偏移 | 能报丢失及恢复,但恢复后仍有上述偏移 |
| Apple Vision + 本次恢复保护 | 398.43 ms | 285 帧完整,视觉检查框保持在头部 | 325.51 ms,11 帧暂时预测后重新确认 |
[Apple Vision VNTrackingRequest](https://developer.apple.com/documentation/vision/vntrackingrequest) 使用 accurate 模式。原始连续更新版本会学习遮挡物;本次在丢失时冻结最后可信图像,从该图像重建请求试探恢复,需连续两次可信观测。没有声称 Vision 内部一定采用 Metal;具体设备调度由系统框架决定。
- 长遮挡(55 帧)及突切随机画面:尝试到第 151 帧,最多产生 20 个暂时预测,第 21 个缺失停止。宿主提交前删除全部未确认尾部,不把预测当作成功跟踪。
- 反向跟踪:285 帧完整、无预测,319.08 ms。双向回归还由原生宿主回调检查覆盖。
- 重新定位后以丢失前后可信端点补齐短段,中心线性插值、尺寸对数插值;补齐键置信度标为 0.35,状态提示复核。保留精确帧时间、手工键和撤销流程。
- 预测最多 0.8 秒;不处理长期离开画面、相似人物交叉后的全局身份确认。马赛克涉及隐私时仍必须播放复核遮盖范围。
## 选择与集成边界
先采用实测更稳的系统对象跟踪,应用于被局部马赛克选中的矩形/椭圆蒙版。保留作者宽高比和角度,采用保守统一缩放;旋转蒙版先转换到真实外接矩形。普通调色蒙版、钢笔和图章保留现有 OpenCV 多边形光流/仿射路径,避免用矩形对象框改变其精确形状行为。切换后需重新运行跟踪,已有工程轨迹不会静默改写。
计算在宿主分析回调,界面预览最多 15Hz,只保留最新待显示帧;不逐帧重建参数面板。需正式宿主验证回调线程和实际操作响应,不能用算法耗时替代 UI 延迟。
## 其他 GitHub 候选
- [NanoTrack](https://github.com/HonglinChu/NanoTrack):Apache-2.0,提供 Mac / ncnn 示例;未本机实测,不能使用 README FPS 作为本机结论。
- [OSTrack](https://github.com/botaoye/OSTrack):MIT,研究工程主要面向 PyTorch / CUDA;未本机实测,未来可评估 Core ML 转换后的速度与恢复能力。
- [ByteTrack](https://github.com/FoundationVision/ByteTrack):MIT,多目标检测框关联;还需要检测器,单独引入不能解决转身后没有人脸检测框的问题。
VitTrack 模型来自官方 OpenCV Zoo,714726 字节,SHA-256 `2990f0b7cd44d92afa48cd97db6de7be113fc1d9594fddb74e2725c10478e91d`;目录声明 Apache-2.0。仅在缓存中用于比较,未加入 APP 或 Git。现有 APP OpenCV 4.5.1 依赖不因基准 wheel 变化而升级。
## 复测入口
`tools/tracking/benchmark_object.mm`、`benchmark_vision.mm`、`benchmark_opensource.py`。编译原生候选:`xcrun clang++ -std=c++17 -O3 -fno-objc-arc -framework Foundation -framework Vision -framework CoreVideo -framework CoreGraphics tools/tracking/benchmark_object.mm -o <缓存>/benchmark-object`。输入使用本地 640×360 BGRA 连续帧;不将用户素材纳入仓库。聚合数据见 `verification/ObjectTrackingBenchmarks1.19.0.json`。