OpenMMLab 2.0 公测期我们对主分支和新分支同步更新,11 月有 11 个算法库更新了版本:
-
MMClassification 支持了 MLU 设备,升级了 API 接口,以更方便地调用 MMClassification 中预定义的模型;重构 BEiT 主干网络,并支持了 v1 和 v2 的推理
-
MMSelfSup 支持 BEiT 和 MILAN 预训练及分类下游任务,其中 MILAN ViT-B fine-tuning 精度可达 85.3%
-
MMDetecion 新增 projects 文件夹,可以方便大家更加快速便捷地给 MMDetection 支持训练和推理的新算法;支持了 CondInst,同时在 projects 中支持了 SparseInst
-
MMYOLO 支持了 YOLOv7 P5 和 P6 模型
-
MMDetection3D 支持了 PV-RCNN
-
MMSegmentation 支持了MaskFormer和 Mask2Former
-
MMOCR 一键生成数据集脚本已经支持自动生成数据集配置,支持了 ICDAR 2013、ICDAR2015、SVT、SVTP、IIIT5k、CUTE80 数据集
-
MMEditing 支持了图文生成模型 Disco-Diffusion,支持了 3D 级图像生成模型 EG3D
-
MMDeploy 支持了 OpenMMLab 2.0 架构下分类、检测等 8 个算法库的部署
想详细了解功能支持细节可以继续翻阅以下内容查看哦~!
01
月度之星评选出炉
02
亮点功能抢先看
03
算法库全部更新
04
热门活动
05
热门文章
首先和大家分享 11 月的贡献之星和活跃之星。
事件一
月度之星评选出炉
贡献之星
@Xiangxu-0103
获奖理由:
xiangxu-0103 在本次版本中贡献了 16 个 PR,包含新功能支持、文档精修以及数据集预处理 bug 修复等重要 PR。
同时,xiangxu-0103 对于 reviewer 意见的响应非常及时,PR 推进效率较高。
此外,xiangxu-0103 还积极参与 dev-1.x 版本的反馈与讨论,为新分支的完善做出贡献。
微信月度活跃之星
Xin Li
一只努力搬砖的工业界菜狗
星星说
因工作接触到 OpenMMLab,然后在开发者们和社区大佬们的指导下慢慢学习,偶尔在自己能力范围内做了一些微小的贡献,未来会继续努力学习。
QQ 月度活跃之星
九咯哈
MMFlow 研究者
星星说
通过 OpenMMLab 社区的 QQ 群,我认识了许多来自不同领域的小伙伴们,通过日常讨论聊天收获了许多新的知识。
目前个人的研究方向是图像配准,平常主要使用的是 MMFlow,这个库提供比较主流的光流方法的便利实现,也希望有研究领域相近的朋友来和我交流,一起进步。最后希望 OpenMMLab 越办越好(MMFlow 什么时候能加上无监督方法就更好了)
事件二
亮点功能抢先看
MMClassification
主分支 v0.25.0
-
支持了 MLU 设备
新分支 v1.0.0rc4
-
升级了 API 接口,以更方便地调用 MMClassification 中预定义的模型(#1236)
-
重构 BEiT 主干网络,并支持了 v1 和 v2 的推理
MMSelfSup
新分支 v1.0.0rc4
-
支持 BEiT (#425) 和 MILAN 预训练及分类下游任务 (#600),其中 MILAN ViT-B fine-tuning 精度可达 85.3%
MMDetection
主分支 v2.26.0
-
支持在 NPU 上训练目标检测模型
新分支 v3.0.0rc4
-
新增 projects 文件夹,可以方便大家更加快速便捷地给 MMDetection 支持训练和推理的新算法
-
支持了 CondInst,同时在 projects 中支持了 SparseInst
MMYOLO
v0.2.0
-
支持 YOLOv7 P5 和 P6 模型
MMDetection3D
新分支 v1.1.0rc2
-
支持 PV-RCNN
MMSegmentation
新分支 v1.0.0rc2
-
支持 MaskFormer(NeurIPS'2021)
-
支持 Mask2Former(CVPR'2022)
MMOCR
新分支 v1.0.0rc4
-
一键生成数据集脚本已经支持自动生成数据集配置,并新支持了 6 个数据集
-
新增了存放实验性特征和模型的 "projects/" 文件夹,并在文件夹里支持了 ABCNet 的推理
MMEditing
新分支 v1.0.0rc4
-
支持了图文生成模型 Disco-Diffusion,支持了 3D 级图像生成模型 EG3D (CVPR 2022)
MMDeploy
新分支 v1.0.0rc0
-
支持 OpenMMLab 2.0 架构下的 8 个算法库部署:MMClassification 1.x,MMDetection 3.x,MMDetection3D 1.x,MMSegmentation 1.x,MMEditing 1.x,MMOCR 1.x,MMPose 1.x,MMAction2 1.x
事件三
算法库全部更新
下面再带大家继续了解下 11 月各个算法库具体的更新情况~
各算法库更新情况
MMEngine
v0.3.2
新功能
-
支持在 CosineAnnealingParamScheduler 设置 eta_min_ratio(#725)
代码改进
-
输出日志对齐(#436)
-
训练开始时在日志中输出 hook 的顺序(#672)
-
增强 revert_sync_batchnorm 与三方库的兼容性(#695)
BUG 修复
-
修复执行目录不是 git 仓库时,日志中会出现 fatal error(#717)
-
修复 examples 中 distributed_training.py 的错误实现(#700)
-
修复 CosineAnnealingParamScheduler 错误的计算最小学习率的问题(#735)
感谢 @austinmw @BayMaxBHL @shenmishajing @xin-li-67 @songyuc @PingHGao 在此版本中的贡献。
更多详细内容请见:
https://mmengine.readthedocs.io/zh\_CN/latest/notes/changelog.html
MMCV
新分支 v2.0.0rc3
新功能
-
新增 stack_ball_query 和 stack_group_points 算子
-
新增 3 个 MLU 算子
代码改进
-
MLU 代码适配 cntoolkit3.0.1
Bug 修复
-
修复 roi_align 算子在 torch>=1.13 时的 symbolic Bug
-
在创建 Tensor 时使用 new_ 方法以支持 AMP
-
修复 three_nn 不接受 half 类型 Tensor 的问题
-
修复 calc_square_dist 函数可能导致 NaN 结果的 Bug
-
修复 Correlation 算子中的 Bug
-
修复 RandomChoiceResize 算子中不合理的断言
感谢 @LYMDLUT @LYM-fire @VVsssssk @xin-li-67 @ZhangLearning @cathyzhang222 @defei-coder @ZShaopeng 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmcv/releases/tag/v2.0.0rc3
MMClassification
主分支 v0.25.0
新功能
-
支持 MLU 设备
-
支持 ConvNeXt 训练启用 checkpoint
代码改进
-
添加 dist_train_arm.sh 用于 ARM 设备训练加速
Bug 修复
-
修复了一个可能导致 MMClsWandbHook 卡死的 bug
-
修复了 tools/test.py 中导致不可用的多余参数
感谢 @nijkah @xiaoyuan0203 @Qiza-lyhm @ganghe74 @unseenme @wangjiangben-hw 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmclassification/releases/tag/v0.25.0
新分支 v1.0.0rc4
新功能
-
支持根据 model-index 文件中的模型名获取模型对象(#1236)
代码改进
-
支持同时在 EMA 和非 EMA 模型上进行评测(#1204)
-
重构 BEiT 主干网络,并支持了 v1 和 v2 的推理(#1144)
BUG 修复
-
修复 reparameterize_model.py 没有保存模型元信息的问题(#1221)
-
修复了 BEiT 中的部分参数问题(#1234)
感谢 @kitecats 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmclassification/releases/tag/v1.0.0rc4
MMSelfSup
新分支 v1.0.0rc4
新功能
-
支持 low-level 重建可视化(如 MAE、 SimMIM、MaskFeat) (#570)
代码改进
-
重构 File IO(#582)
-
增加 projects 文件夹和示例(#586)
-
更新 CI 和 UT (#601)
Bug 修复
-
修复数据预处理潜在的注册问题(#603)
-
修复代码依赖和字段错误 (#611)
更多内容请见:
https://github.com/open-mmlab/mmselfsup/blob/1.x/docs/zh\_cn/notes/changelog.md
MMDetection
主分支 v2.26.0
新功能
-
支持在 NPU 上训练目标检测模型
代码改进
-
补充 cityscapes 的 seg_suffix 的必要参数 (#9330)
-
支持无 gt mask 时基于 bbox 的复制粘贴 (#8905)
-
将 scipy 作为运行时的默认依赖项 (#9186)
Bug 修复
-
修复 RPN 可视化 (#9151)
-
通过冻结依赖版本来修复 readthedocs (#9154)
-
修复 MMDet_Tutorial.ipynb 中的设备参数错误 (#9112)
-
修复 solov2 无法处理空 gt 图像 (#9185)
-
修复 mixup 图像的随机翻转比率 (#9336)
感谢 @wangjiangben-hw @motokimura @AdorableJiang @BainOuO @JarvisKevin 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmdetection/releases/tag/v2.26.0
新分支 v3.0.0rc4
新功能
-
支持 CondInst
-
添加 projects/ 文件夹,这将是一些实验模型/功能的地方
-
在项目中支持 SparseInst
代码改进
-
更新 README 中 GIoU Loss 的文档 (#8810)
-
在 inference_detector 中处理数据集包装器 (#9144)
-
更新 COCO 的压缩 RLE 中的计数类型 (#9274)
-
支持在 print_config 中保存配置文件 (#9276)
-
更新有关视频推理的文档 (#9305)
-
模型部署更新指南 (#9344)
-
修复 useful tools 的文档拼写错误 (#9177)
-
允许从 CLI 中的特定 checkpoint 恢复 (#9284)
-
更新有关 pycocotools windows 安装问题的常见问题 (#9292)
Bug 修复
-
修复 MaskFormer Head 中的 pixel_decoder_type 歧义。(#9176)
-
修复缓存 MixUp 中错误的填充值 (#9259)
-
将 utils/typing.py 重命名为 utils/typing_utils.py 以修复 collect_env 错误 (#9265)
-
修复 resume arg 冲突 (#9287)
-
使用 caffe backbone 修复 Faster R-CNN 的配置 (#9319)
-
修复 torchserve 并更新相关文档 (#9343)
-
使用 sigmoid 激活修复 bbox 优化错误 (#9538)
感谢 @JunyaoHu @sanbuphy @JosonChan1998 @Daa98 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmdetection/releases/tag/v3.0.0rc4
MMYOLO
v0.2.0
新功能
-
支持 YOLOv7 P5 和 P6 模型
-
支持 YOLOv6 中的 ML 大模型
-
支持 Grad-Based CAM 和 Grad-Free CAM
-
基于 sahi 支持 大图推理
-
projects 文件夹下新增 easydeploy 项目
-
新增 自定义数据集教程
-
browse_dataset.py 脚本支持可视化原图、数据增强后和中间结果功能 (#304)
-
image_demo.py 新增预测结果保存为 labelme 格式功能 (#288, #314)
-
新增 labelme 格式转 COCO 格式脚本 labelme2coco (#308, #313)
-
新增 COCO 数据集切分脚本 coco_split.py (#311)
-
how-to.md 文档中新增两个 backbone 替换案例以及更新 plugin.md (#291)
-
新增贡献者文档 contributing.md and 代码规范文档 code_style.md (#322)
-
新增如何通过 mim 跨库调用脚本文档 (#321)
-
YOLOv5 支持 RV1126 设备部署 (#262)
代码改进
-
test.py 中新增 json 格式导出选项 (#316)
-
extract_subcoco.py 脚本中新增基于面积阈值过滤规则 (#286)
-
部署相关中文文档翻译为英文 (#289)
-
新增 YOLOv6 算法描述大纲文档 (#252)
-
完善 config.md (#297, #303)
-
完善 mosiac9 的 docstring (#307)
-
完善 browse_coco_json.py 脚本输入参数 (#309)
-
重构 dataset_analysis.py 中部分函数使其更加通用 (#294)
Bug 修复
-
修复 MixUp padding 错误 (#319)
-
修复 LetterResize 和 YOLOv5KeepRatioResize 中 scale_factor 参数顺序错误 (#305)
-
修复 YOLOX Nano 模型训练错误问题 (#285)
-
修复 RTMDet 部署没有导包的错误 (#287)
-
修复 int8 部署配置错误 (#315)
-
修复 basebackbone 中 make_stage_plugins 注释 (#296)
-
部署模块支持切换为 deploy 模式功能 (#324)
-
修正 RTMDet 模型结构图中的错误 (#317)
感谢 @fcakyon @matrixgame2018 @MambaWong @imAzhou @triple-Mu @RangeKing @PeterH0323 @xin-li-67 @kitecats @hanrui1sensetime @AllentDan @Zheng-LinXiao 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmyolo/releases/tag/v0.2.0
MMDetection3D
主分支 v1.0.0rc6
新功能
-
增加 Projects/ 文件夹和项目示例 (#2082)
代码改进
-
更新 Waymo 数据集预处理脚本以节省存储空间 (#1759)
-
更新 CenterPoint 的模型链接和精度 (#1916)
Bug 修复
-
修复 PointRCNN 中显存不合理占用问题 (#1928)
-
修复IoUNegPiecewiseSampler中采样 bug (#2018)
感谢 @oyel @zzj403 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmdetection3d/blob/dev/docs/en/changelog.md
新分支 v1.1.0rc2
新功能
-
支持 PV-RCNN (#1957, #2045)
-
加速 Waymo 数据集上的方法评估 (#2008)
-
将 FCAF3D 重构进 MMDetection3D v1.1 (#1945)
-
将 S3DIS 数据集重构进 MMDetection3D v1.1 (#1984)
-
增加 Projects/ 文件夹和项目示例 (#2042)
代码改进
-
将CLASSES 和PALETTE 分别重命名为 classes 和palette (#1932)
-
更新 pkl 标注文件中的 metainfo 并向其中加入categories 信息 (#1934)
-
增加展示通过 pipeline 前后的 instances 统计信息变化的功能 (#1863)
-
增加 DGCNN 关于不同测试区域的 config 文件 (#1967)
-
将单元测试中的相关工具从 tests/utils/移动到mmdet3d/testing/ (#2012)
-
给 models/layers/ 文件夹下代码增加 typehint (#2014)
-
精修文档 (#1891, #1994)
-
改进 voxelization 以获得更快的速度 (#2062)
Bug 修复
-
修复关于点云的可视化问题 (#1914)
-
修复 waymo 数据集预处理中的信息损失问题 (#1979)
-
修复 KITTI 测试集评估的 bug (#2005)
-
修复 IoUNegPiecewiseSampler 中的采样 bug (#2017)
-
修复 CenterPoint 中的点云空间范围问题 (#1998)
-
修复 Waymo 数据集上若干 bug 并支持 FOV-image-based 模式 (#1942)
-
修复数据集预处理转换脚本 bug (#1923, #2040, #1971)
-
更新所有 config 中的 metafile 文件的模型链接 (#2006)
感谢 @Xiangxu-0103 @vavanade @oyel @thinkthinking @PeterH0323 @274869388 @cxiang26 在此版本中的贡献。
更多内容请见:
https://github.com/open-mmlab/mmdetection3d/releases/tag/v1.1.0rc2
MMSegmentation
新分支 v1.0.0rc2
新功能
-
添加 ResizeShortestEdge 数据增强方法
-
支持在测试的时候对图像添加 padding
代码改进
-
修复 1.x 版本的 CI
-
修复 lint 和 pre-commit hook
-
添加 ‘data’ 到 .gitignore
-
添加 scipy 到默认依赖库
-
将 mmcls 从 runtime 依赖中删除
-
更新配置文件文档
-
更新推理文档
-
更新训练和测试文档
-
更新安装文档
-
更新数据增强文档
-
添加 MMEval 链接到 README
-
添加可视化翻译文档
Bug 修复
-
修复 SwinTransformer 权重加载错误的问题
-
修复后处理没有移除 padding 的问题
-
修复 KNet IterativeDecodeHead 不兼容 BaseDecodeHead 的问题
-
修复数据集类不支持输入参数的问题
-
修复 Colab Tutorial 可视化代码的 bug
-
修复 README 文档中的链接以及部分 typo
更多详细内容请见:
https://github.com/open-mmlab/mmsegmentation/blob/1.x/docs/en/notes/changelog.md
MMOCR
新分支 v1.0.0rc4
新功能
-
一键生成数据集脚本已经支持自动生成数据集配置,支持了 ICDAR 2013、ICDAR2015、SVT、SVTP、IIIT5k、CUTE80 数据集
-
"projects" 文件夹下新增 ABCNet,并支持了推理
-
增加了 print_config 脚本,实现完整配置的输出
-
识别模型支持了 TPS 模块
Bug 修复
-
修复了 CLIPResNet 注册的问题
-
修复了 auto scale lr 报错的问题
感谢 @jyshee @ProtossDragoon @IncludeMathH 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmocr/releases/tag/v1.0.0rc4
MMEditing
新分支 v1.0.0rc4
新功能
-
重构了 High-level 推理接口,支持 API 以及 CLI 形式探索不同任务
-
支持了图像修复模型 NAFNet (ECCV 2022)
代码改进
-
修复了一些 typehints 和语法错误
Bug 修复
-
修复了 SRGAN、CAIN 等模型的 config
感谢 @gaoyang07 @ChangjianZhao @zxczrx123 @jackghosts @CCODING04 @RoseZhao929 @shaocongliu @liangzelong 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmediting/blob/1.x/docs/en/notes/3\_changelog.md
MMDeploy
主分支 v0.11.0
新功能
-
支持 MMAction2 TSN 和 SlowFast 在 onnxruntime 和 TensorRT 平台的部署
-
支持 SSD、 YOLOv3 等检测模型在瑞芯微 RV1126 平台的部署
-
增加 SDK 性能测试工具 profiler
-
支持 PointPillars 端到端部署
代码改进
-
支持 onnxruntime==1.13 API
-
SDK 的 C 和 Python API 中避免 dense 数组拷贝
-
SDK 中解耦 pre-process 和 transform 功能
-
重构 SDK 中 registry 模块
-
配置文件中增加 Core ML 常用字段
-
tools/test.py 中增加精度测试结果序列化功能
-
在 aarch64 平台增加 OpenCV videoio
-
升级 ncnn 版本至 20221128
-
在 SDK 中异步内存拷贝时,增加 stream 参数
Bug 修复
-
修复 TensorRT=8.2 下 YOLOv3 转换失败
-
修复 torch=1.12 下 onnx2ncnn 转换失败
-
修复 pad_to_square
-
修复 det_pose demo
-
修复 topk 在 torch2onnx 时常量折叠失败
-
修复 C# API 中多 batch 推理
-
修复 CI 中 ncnn 构建失败
-
修复 SDK中 topk 大于 class_num 导致越界
感谢 @xin-li-67 @sunjiahao1999 @francis0407 @Typiqally @triple-Mu 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmdeploy/releases/tag/v0.11.0
新分支 v1.0.0rc0
新功能
-
支持 MMPose 1.x SimCC 通过 ONNXRuntime、TensorRT 部署
-
支持 MMDetection 3.x RTMDet、 CenterNet 通过 ONNXRuntime、TensorRT 部署
-
支持 MMClassification 1.x MobileOne 通过 ONNXRuntime、TensorRT 部署
-
支持 MMYOLO 通过第三方库调用 MMDeploy
代码改进
-
更新 Dockerfile
Bug 修复
-
修复单元测试 test_ops
-
修复 checkpoint 无法加载至 cpu
感谢 @xin-li-67 @liu-mengyang @doufengqi @PeterH0323 @triple-Mu @MambaWong @isLinXu @francis0407 @sanbuphy 在此版本中的贡献。
更多详细内容请见:
https://github.com/open-mmlab/mmdeploy/releases/tag/v1.0.0rc0
事件四
热门活动
11 月,我们推出了 计算机视觉任务实战活动 ——【 超级视客营 】,目前活动还在火热进行中,欢迎大家报名参加,一起体验国家级超算,共建国际一流开源项目!
[
超级视客营 | 体验国家级超算,共建国际一流开源项目](https://mp.weixin.qq.com/s?__biz=MzI4MDcxNTY2MQ==&mid=2247501130&idx=1&sn=8214f50b23f32799c7c017ba3d77bd44&chksm=ebb6cda8dcc144be89fdcb155f01e2a64a8a0b223c9c3339f14056273078818930dc1d486bbf&scene=21#wechat_redirect)
事件五
热门文章
当然,热门文章也为大家一一整理在这里啦~
[深度解决添加复杂数据增强导致训练模型耗时长的痛点
2022-11-25
[关于知识蒸馏,你一定要了解的三类基础算法
2022-11-24
[DN-DETR:引入去噪训练以加速收敛
2022-11-22
[MMRotate 全面升级,新增 BoxType 设计
2022-11-18
[模型压缩库 MMRazor 全面升级,更灵活、自动
2022-11-17
[MMOCR 1.0:这一次,重新出发!
2022-11-15
[想抓住 AI 绘画风口?绝不能错过的重大算法库升级!
2022-11-11
[MMPose 1.0:优雅而强大的姿态估计算法框架
2022-11-10
[一睹为快!PyTorch 1.13 亮点一览,新库大解读
2022-11-04
[OpenMMLab 上海交大公开课完美收官,资料大放送!
2022-11-03
[MMAction2 全新升级:更强特性,更多算法
2022-11-02
看了这么多,这个 11 月你最 pick 哪个算法库的更新呢?快在评论区告诉我们吧~
OpenMMLab 官方微信社群
[PyTorch 2.0 重磅发布:一行代码提速 30%
2022-12-03
[这样的双向奔赴真好!OpenMMLab 2.0 你问我答大公开
2022-12-02
点击下方“阅读原文”,直达 OpenMMLab