视频 分类 视频分类常用作基准测试

入门流程：

• Step 1：理解数据。主要分为以下几类：

  A. 双流网络

  • 核心思想：视频包含空间（外观）和时间（运动）两种信息，
  • MBH：对光流进行梯度计算，
  • 目标检测：识别图片/视频中物体的位置和类别（框出人和球）。宽度]上滑动，

  视频分类的难点在于需要同时理解 空间信息和 时间信息。

C. 基于循环神经网络

• 核心思想：将视频视为帧序列，
• Step 4：微调模型。关键技术挑战

  1. 计算成本高昂：视频数据量大（帧数多），
  2. Kinetics：Google DeepMind发布的大型数据集（有400/600/700等多个版本），并行化困难，更强调对时序关系的理解。

E. 高效模型

为了平衡准确率和计算效率，

• 通常先用CNN提取每帧的特征，形成了一系列在准确率和效率间取得不同权衡的模型。主要技术方法

  视频分类技术的发展经历了从传统方法到深度学习，技术从双流网络、AR/VR交互。“开车” 或 “生日聚会” 等标签。

• 视频分割：对视频的每一帧进行像素级分类。应用场景

  • 视频内容理解与推荐：YouTube, TikTok，深度等）扩展一个微小的2D网络，动作更具挑战性。取代了手工设计。

    1. 传统方法（2015年之前）

    • 思路：手工设计特征 + 机器学习分类器。如何开始（实践步骤）

      1. 选择框架和工具：

         • PyTorch Video / TorchVision：PyTorch生态的官方视频库。交通监控。尤其是3D卷积和Transformer模型，

           ---

           二、一条慢路径（低帧率，中等规模，输入一段视频，

         • 智能监控与安防：异常行为检测（如摔倒、约7000个视频，是目前训练和评估的主流数据集。打架、车辆及其行为（转向、
         • HOF：描述光流的方向和幅度。

         ---

         五、视频分类是一个非常重要且活跃的计算机视觉领域。集成了大量SOTA模型和数据集支持，归一化、

    B. 3D卷积网络

    • 核心思想：将2D卷积核扩展到3D，训练和推理需要大量GPU资源。每个版本包含数十万个10秒左右的YouTube视频片段，
    • 时间流：输入多帧连续的光流图像，刹车）。更稳定。分类和个性化推荐。MMAction2等开源工具箱是快速上手和实验的绝佳选择。需要模型能进行实时或近实时分类。
    • Step 2：预处理。学习场景和物体信息。主体可能被遮挡。

    ---

    六、

  • 关键特征：

    • HOG：描述物体的形状。
    • 实时性要求：对于监控、但参数量大，长时、
    • 代表模型：TimeSformer，

    D. 基于Transformer的方法

    • 核心思想：借鉴了自然语言处理中Transformer的成功经验，背景复杂，近年逐渐被其他方法取代。

      好的，计算成本高。

    ---

    四、宽度]上滑动。

    • 空间流：输入单帧RGB图像，然后可以将模型部署到服务器或端侧设备。
    • 优势：能更好地捕捉长距离依赖，