所有文章 > AI驱动 > TorchCodec: 用于 PyTorch 的视频解码库
TorchCodec: 用于 PyTorch 的视频解码库

TorchCodec: 用于 PyTorch 的视频解码库

TorchCodec 文档格式优化

TorchCodec 简介

TorchCodec 用 CPU 或 GPU 将视频解码为 PyTorch 张量,进而用于机器学习模型的训练和推断。

GitHub:https://github.com/pytorch/torchcodec

用法示例

下面通过一个例子演示 TorchCodec 的基本功能。本示例改编自下列教程,选入本文时有改动。https://pytorch.org/torchcodec/stable/generated_examples/basic_example.html

下载视频

首先从网络上下载一个视频:(这个部分和 TorchCodec 无关)

构造译码器

然后构造一个 TorchCodec 译码器:

查看视频信息

查看视频的基本信息:

输出结果

输出结果为:

利用索引译码

利用索引得到视频译码结果:

输出

输出为

对译码器进行索引可以得到图像帧的 torch.Tensor 对象。默认情况下帧的形状为 (N, C, H, W) ,其中 N 是批大小,C 是通道数,H 是图像高度,W 是图像宽度。N 只有在对多个帧进行译码时才会存在。 可以修改 VideoDecoder 的参数 dimension_order 使得顺序改为 N, H, W, C。元素的类型总是 torch.uint8 。我们可以把得到的帧图像绘制出来。

image

image

安装方法

安装步骤

TorchCodec 的安装步骤如下:

  1. 安装 PyTorch。
  2. 安装 FFmpeg。很可能电脑上已经安装了。如果没有安装,可以用下列命令安装。
  3. 安装 TorchCodec。用 pip 安装即可。GPU 版本需要给额外的参数。

CPU版安装

# CPU 安装命令示例

GPU版安装

# GPU 安装命令示例
# 参数 --index-url 对应的 CUDA 版本应和 PyTorch 版本一致

点击“阅读原文”查看 TorchCodec 官方文档(英文)。↓↓↓

原文转载自:https://mp.weixin.qq.com/s/nQWCWfuUDcfYpI8zgAARQQ

#你可能也喜欢这些API文章!

我们有何不同?

API服务商零注册

多API并行试用

数据驱动选型,提升决策效率

查看全部API→
🔥

热门场景实测,选对API

#AI文本生成大模型API

对比大模型API的内容创意新颖性、情感共鸣力、商业转化潜力

25个渠道
一键对比试用API 限时免费

#AI深度推理大模型API

对比大模型API的逻辑推理准确性、分析深度、可视化建议合理性

10个渠道
一键对比试用API 限时免费