自定义ava数据集及训练与测试完整版

发布时间：2023-03-23 13:40:00 所属栏目：教程来源：

导读：目录
前言
1 最终要产生的标注文件
2 AI平台与项目下载
2.1 AI 平台
2.2 项目下载
3 数据集视频准备
4 视频裁剪与抽帧
4.1 安装ffmpeg
4.2 视频裁剪
4.3 视频抽帧
4.4 整合与缩减帧
4.5 不整合的缩减

目录
前言
1 最终要产生的标注文件
2 AI平台与项目下载
2.1 AI 平台
2.2 项目下载
3 数据集视频准备
4 视频裁剪与抽帧
4.1 安装ffmpeg
4.2 视频裁剪
4.3 视频抽帧
4.4 整合与缩减帧
4.5 不整合的缩减
5 yolov5与deep sort 安装
5.1 安装
5.2 对choose_frames_all进行检测
6 生成dense_proposals_train.pkl
7 导入via
7.1 choose_frames_all_middle
7.2 生成via标注文件
7.3 去掉via默认值
7.5 下载choose_frames_middle与VIA标注
8 via标注信息的提取
8.1 ava_train
8.2 via Json 解析
8.3 提取上传标注完成的json文件
9 deep sort
9.1 dense_proposals_train_deepsort.py
9.2 融合actions与personID
9.3 修正ava_train_temp.csv
10 其它标注文件的生成
10.1 train_excluded_timestamps.csv
10.2 included_timestamps.txt
10.3 action_list.pbtxt
10.4 dense_proposals_train.pkl
11 val文件的生成
11.1 dense_proposals_val.pkl
11.2 val.csv
11.3 train_excluded_timestamps.csv
12 rawframes
13 标注文件修正
13.1 dense_proposals_train
13.2 dense_proposals_val
14 mmaction2 安装
15 训练与测试
15.1 配置文件
15.2 训练
15.3 测试
1 最终要产生的标注文件
我将标注3个视频，每个视频10秒，作为简单的例子。

我们最终需要如下文件：

train.csv
test.csv
train_excluded_timestamps.csv
test_excluded_timestamps.csv
val_excluded_timestamps.csv
avaMin_included_timestamps.csv
avaMin_dense_proposals_train.pkl
avaMin_dense_proposals_test.pkl
avaMin_dense_proposals_val.pkl
avaMin_action_list_v2.2.pbtxt
avaMin_action_list_v2.2_for_activitynet_2019.pbtxt

2 AI平台与项目下载
2.1 AI 平台
2.2 项目下载
3 数据集视频准备
视频是从AVA数据集中随机选择了1个，我会从这个视频中裁剪出3个10秒的片段：

4 视频裁剪与抽帧
4.1 安装ffmpeg
本文使用ffmpeg进行视频裁剪与抽帧，所以先安装ffmpeg

conda install x264 ffmpeg -c conda-forge -y
4.2 视频裁剪
在/home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset下执行：

cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset
sh cut_video.sh

4.3 视频抽帧
参考ava数据集，每秒裁剪30帧
在/home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset 下执行：

cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset
bash cut_frames.sh

4.4 整合与缩减帧
4.3节中产生的frames文件夹的结构，在后续yolov5检测时会出现不方便，所以我采用下面的方式，将所有的图片放在了一个文件夹（choose_frames_all）中。
同时，并不是，所有图片都需要检测与标注，在10秒的视频中，检测标注：x_000001.jpg、x_000031.jpg、x_000061.jpg、x_000091.jpg、x_0000121jpg、x_000151.jpg、x_000181.jpg、x_000211.jpg、x_000241.jpg、x_000271.jpg、x_000301.jpg。

在/home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset 下执行：

cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset
python choose_frames_all.py 10 0
其中10代表视频长度，0代表从第0秒开始

4.5 不整合的缩减
4.4的整合与缩减是为了yolov5的检测，这里的不整合的缩减是为了via的标注。

在/home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset 下执行：

cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset
python choose_frames.py 10 0

5 yolov5与deep sort 安装
5.1 安装
cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/yolovDeepsort
pip install -r requirements.txt
pip install opencv-python-headless==4.1.2.30
mkdir -p /root/.config/Ultralytics/
采用deep sort的原因：为生成[train/val].csv做准备，dense_proposals_[train/val/test].pkl不会用到deep sort的检测结果。

5.2 对choose_frames_all进行检测
在/home/yolov5_deepsort_pytorch_-yf中
进行检测

cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/yolovDeepsort
python ./yolov5/detect.py --source ../Dataset/choose_frames_all/ --save-txt --save-conf
结果存储在：/home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/yolovDeepsort/yolov5/runs/detect/exp

6 生成dense_proposals_train.pkl
在 /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/yolovDeepsort/mywork下运行

cd /home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/yolovDeepsort/mywork
python dense_proposals_train.py ../yolov5/runs/detect/exp/labels ./dense_proposals_train.pkl show
7 导入via
7.1 choose_frames_all_middle
/home/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset/Dataset 下的 choose_frames 文件夹中包含10秒视频中11张图片，但是在最后生成的标注文件，不包含前2张图片和后2张图片。所以需要创建一个choose_frames_middle文件夹，存放不含前2张图片与后2张图片的文件夹。

（编辑：驾考网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

自定义ava数据集及训练与测试 完整版

自定义ava数据集及训练与测试完整版