From 726f85d4f7c67b55b1d46116d5686427a2fa38ab Mon Sep 17 00:00:00 2001 From: kang Date: Wed, 1 Apr 2026 09:04:07 +0800 Subject: [PATCH] auto-save 2026-04-01 09:03 (+2, ~1) --- .memory/trackonr-point-tracking.md | 19 +++ index.html | 221 +++++++++++++++++++++++++++-- source | 1 + 3 files changed, 233 insertions(+), 8 deletions(-) create mode 100644 .memory/trackonr-point-tracking.md create mode 160000 source diff --git a/.memory/trackonr-point-tracking.md b/.memory/trackonr-point-tracking.md new file mode 100644 index 0000000..3cb16e7 --- /dev/null +++ b/.memory/trackonr-point-tracking.md @@ -0,0 +1,19 @@ +--- +name: TrackOnR 真实世界点跟踪 +description: CVPR 2026 Track-On-R 点跟踪研究项目，源码已 clone，待 GPU 运行 +type: project +--- + +## TrackOnR 真实世界点跟踪 + +- **路径**：`~/Projects/research/20260322-点跟踪TrackOnR/` +- **端口**：4130（`python3 -m http.server 4130`） +- **源码**：`source/`（GitHub clone from gorkaydemir/track_on） +- **状态**：研究页完成，源码已 clone，待 NVIDIA GPU 到位后本地运行 +- **论文**：Real-World Point Tracking with Verifier-Guided Pseudo-Labeling (CVPR 2026) +- **技术**：Python 3.12 + PyTorch 2.4.1 + CUDA 12.1 + DINOv3 +- **要求**：必须 NVIDIA GPU（Mac 无法运行） + +**Why:** 用户关注 CV 领域点跟踪技术，与已有的 Video-to-World、CVPR 3D Vision、Sign Language AR 项目互补 + +**How to apply:** 等用户有 NVIDIA GPU 后，配合其他需要 GPU 的项目一起启用 diff --git a/index.html b/index.html index 1d131b7..83da996 100644 --- a/index.html +++ b/index.html @@ -18,29 +18,234 @@ -webkit-background-clip: text; -webkit-text-fill-color: transparent; margin-bottom: 0.5rem; } - .subtitle { color: #888; font-size: 1.1rem; margin-bottom: 2rem; } + .subtitle { color: #888; font-size: 1.1rem; margin-bottom: 0.5rem; } + .meta { color: #666; font-size: 0.9rem; margin-bottom: 2rem; } + .meta a { color: #60a5fa; text-decoration: none; } + .meta a:hover { text-decoration: underline; } .card { background: #141414; border: 1px solid #222; border-radius: 12px; padding: 2rem; margin-bottom: 1.5rem; } .card h2 { color: #60a5fa; margin-bottom: 1rem; font-size: 1.3rem; } - .card p { line-height: 1.8; color: #aaa; } + .card p, .card li { line-height: 1.8; color: #aaa; } + .card ul { padding-left: 1.5rem; } + .card li { margin-bottom: 0.5rem; } + .highlight { color: #a78bfa; font-weight: 600; } + .tag { + display: inline-block; background: #1e293b; color: #60a5fa; + padding: 0.25rem 0.75rem; border-radius: 6px; font-size: 0.85rem; + margin: 0.25rem 0.25rem 0.25rem 0; + } + table { width: 100%; border-collapse: collapse; margin: 1rem 0; } + th, td { + padding: 0.75rem 1rem; text-align: left; + border-bottom: 1px solid #222; + } + th { color: #60a5fa; font-weight: 600; } + td { color: #aaa; } + .grid { display: grid; grid-template-columns: 1fr 1fr; gap: 1.5rem; } + @media (max-width: 768px) { .grid { grid-template-columns: 1fr; } } + code { + background: #1e1e1e; padding: 0.2rem 0.5rem; border-radius: 4px; + font-family: "SF Mono", Monaco, monospace; font-size: 0.9rem; color: #7dd3fc; + } + .pipeline { + display: flex; align-items: center; gap: 0; flex-wrap: wrap; + margin: 1rem 0; + } + .pipeline-step { + background: #1e293b; padding: 0.75rem 1.25rem; border-radius: 8px; + text-align: center; font-size: 0.9rem; color: #e0e0e0; + } + .pipeline-arrow { color: #60a5fa; font-size: 1.5rem; padding: 0 0.5rem; } + .status-badge { + display: inline-block; background: #164e63; color: #22d3ee; + padding: 0.3rem 0.8rem; border-radius: 20px; font-size: 0.8rem; + font-weight: 600; + }
-

TrackOnR 真实世界点跟踪

-

CVPR 2026 Track-On-R 在线点跟踪，Transformer记忆机制+伪标签真实世界微调

+

Track-On-R

+

Real-World Point Tracking with Verifier-Guided Pseudo-Labeling

+

+ CVPR 2026  |  + Gorkay Aydemir, Fatma Guney, Weidi Xie  |  + Project Page  |  + Paper  |  + GitHub +   源码已 clone +

+
-

概述

-

待补充研究内容...

+

什么是点跟踪（Point Tracking）

+

在视频的第一帧选中任意一个像素点，算法能在后续每一帧精确定位这个点的位置，即使目标被遮挡、光照变化、物体变形。这是计算机视觉中的基础能力，支撑视频编辑、机器人视觉、自动驾驶、AR/VR 等应用。

+
-

核心发现

-

待补充...

+

Track-On 模型家族

+ + + + + + + + + + + + + + + + + +
模型发表核心创新
Track-OnICLR 2025首次提出在线逐帧点跟踪 + Transformer 紧凑记忆机制
Track-On2TPAMI 2026改进架构，更强性能和效率
Track-On-RCVPR 2026Verifier-guided 伪标签，在真实视频上微调，SOTA
+ + +
+

Track-On-R 技术架构

+

三阶段训练流水线：

+
+
+ Stage 1
+ Track-On2
+ 合成数据预训练
(Kubric Movi-F) +
+ → +
+ Stage 2
+ Verifier 训练
+ K-Epic 数据集
学习判断跟踪质量 +
+ → +
+ Stage 3
+ Track-On-R
+ 真实视频微调
Verifier 筛选伪标签 +
+
+
    +
  • 在线处理：逐帧处理视频，不需要看完整个视频再回溯，适合实时/流式场景
    • +
  • Transformer 记忆：紧凑的 memory 模块存储历史帧信息，平衡精度和效率
    • +
  • Verifier 引导：训练一个"质量检验员"，对 6 个 teacher 模型的预测打分，只用高质量伪标签微调
    • +
  • DINOv3 骨干网络：基于 Meta DINOv3 ViT-S/16+ 特征提取
    • +
+
+ +
+ +
+

性能指标（δ_avg）

+ + + + + + + + +
数据集Track-On2Track-On-R
DAVIS79.980.3
Kinetics69.371.0
RoboTAP80.582.6
EgoPoints61.767.3
Dynamic Replica74.575.1
PointOdyssey45.153.4
+

真实世界微调后，EgoPoints 提升 +5.6，PointOdyssey 提升 +8.3

+
+ + +
+

Teacher 模型集成（6 个）

+
    +
  • Track-On2（自身）
    • +
  • BootsTAPNext（Google DeepMind）
    • +
  • BootsTAPIR（Google DeepMind）
    • +
  • CoTracker3 window（Meta）
    • +
  • Anthro-LocoTrack（KAIST）
    • +
  • AllTracker
    • +
+

Verifier 对每个 teacher 的预测打分，选最优结果作为伪标签训练 Track-On-R

+
+
+ + +
+

预训练权重

+ + + + + + + + + + + + + + + + + +
模型训练数据下载
Track-On-RKubric + 真实视频HuggingFace
Track-On2KubricHuggingFace
VerifierK-EpicHuggingFace
+

+ ⚠ 需额外申请 DINOv3 骨干权重（Meta 许可限制），首次运行自动下载 +

+
+ + +
+

运行环境要求

+
+ Python 3.12 + PyTorch 2.4.1 + CUDA 12.1 + mmcv 2.2.0 + DINOv3 +
+
    +
  • 必须 NVIDIA GPU（Mac 不支持 CUDA，无法运行）
    • +
  • 推荐 GPU：A100 / RTX 3090 / RTX 4090 / H100
    • +
  • 环境管理：mamba 或 conda
    • +
+
+ + +
+

应用场景

+
+
    +
  • 视频编辑 — 跟踪物体做特效、抠像、替换
    • +
  • 机器人视觉 — 跟踪抓取目标关键点
    • +
  • 自动驾驶 — 跟踪行人/车辆关键点
    • +
+
    +
  • 运动分析 — 跟踪运动员关节运动轨迹
    • +
  • AR/VR — 空间锚点实时追踪
    • +
  • 手语识别 — 跟踪手指/手势关键点
    • +
+
+
+ + +
+

本地项目结构

+

+ source/ — Track-On 源码（GitHub clone）
+ source/demo.py — 可直接运行的 demo 脚本
+ source/model/ — 模型定义（Predictor 类）
+ source/config/ — 训练/推理配置 YAML
+ source/evaluation/ — 6 个 benchmark 评估脚本
+ source/ensemble/ — Teacher 模型集成
+ source/verifier/ — Verifier 模型
+

+
+ +

+ TrackOnR 研究页 · 端口 4130 · 待 NVIDIA GPU 到位后本地运行 +

diff --git a/source b/source new file mode 160000 index 0000000..7e838e8 --- /dev/null +++ b/source @@ -0,0 +1 @@ +Subproject commit 7e838e84ae6accf02294752da9e9fe25ec5835c4