Ultralytics & lightly-train：简化计算机视觉模型训练，无需标签 - 文章 - 开发者社区

picture.image

向AI转型的程序员都关注公众号机器学习AI算法工程

在计算机视觉领域，获取大量带标签的数据通常代价高昂且耗时。lightly-train 是一个开源项目，旨在通过使用未标记的图像和视频数据进行自监督预训练（self-supervised pretraining），来降低标注成本并加快模型部署。该项目利用最新的研究成果，使用特定领域的未标记数据对模型进行预训练，从而大幅减少达到高性能所需标记的数据量。

lightly-train 设计用于轻松集成到现有的训练管道中，并支持广泛的模型架构和应用场景。

项目技术分析

lightly-train 项目基于深度学习的自监督学习（SSL）技术，允许用户在没有标签的情况下训练模型。自监督学习技术通过设计预测任务，使得模型能够从未标记的数据中学习到特征。lightly-train 支持多种先进的自监督学习方法，如 DINOv2 Distillation、DINO 和 SimCLR，这些方法使得模型在特定领域的数据上能够达到更好的性能。

项目的核心是一个易于使用的 API，它允许用户指定数据目录、模型架构以及训练参数。lightly-train 还支持多种流行的深度学习框架和模型库，如 Torchvision、TIMM、Ultralytics 等，使得用户能够方便地使用预训练模型或自定义模型。

项目及技术应用场景

lightly-train 的应用场景广泛，包括但不限于：

视频分析：在安全监控、交通分析等领域，未标记的视频数据非常丰富。

农业：在作物监测、病虫害检测等应用中，标记数据可能难以获取。

医疗：医疗图像的标注需要专业知识，而未标记的图像数据通常更为丰富。

机器人：机器人导航和环境理解需要大量的图像数据进行训练。

在以上场景中，lightly-train 能够帮助研发团队快速启动模型训练，减少对大量标记数据的依赖。

项目特点

以下是 lightly-train 的主要特点：

无需标签：利用未标记的数据进行预训练，节省标注时间和成本。

领域适应：通过在特定领域的未标记数据上预训练，提高模型的泛化能力。

模型与任务无关：与任何架构和任务兼容，包括检测、分类和分割。

支持大规模训练：从数千到数百万张图像，支持单机、云环境、单GPU和多云GPU设置。

以下是 lightly-train 的其他优势：

用户友好：无需自监督学习专业知识，用户可以专注于模型训练而非实现细节。

易于集成：与多种深度学习库直接集成，简化工作流程。

自动优化：自动管理从单GPU到多GPU训练的扩展，并优化超参数。

无缝工作流：自动预训练正确的层，并以适当的格式导出模型，方便后续微调。

通过lightly-train，研究人员和工程师可以充分利用未标记的数据集，快速构建和部署高性能的计算机视觉模型。项目提供的灵活性和易用性，使其成为加速AI研发的强大工具。

如何将Ultralytics模型与LightlyTrain结合使用

安装 LightlyTrain

  
pip install "lightly-train[ultralytics]"

预训练和微调Ultralytics模型

预训练

使用LightlyTrain对Ultralytics模型进行预训练非常简单。以下以ultralytics/yolov8s为例，提供了进行预训练所需的最基本脚本

  
import lightly_train  
  
if __name__ == "__main__":  
    lightly_train.train(  
        out="out/my_experiment",                # Output directory.  
        data="my_data_dir",                     # Directory with images.  
        model="ultralytics/yolov8s.yaml",       # Pass the YOLO model.  
    )

或者，也可以直接传递一个YOLO模型实例

  
from ultralytics import YOLO  
  
import lightly_train  
  
if __name__ == "__main__":  
    model = YOLO("yolov8s.yaml")                # Load the YOLO model.  
    lightly_train.train(  
        out="out/my_experiment",                # Output directory.  
        data="my_data_dir",                     # Directory with images.  
        model=model,                            # Pass the YOLO model.  
    )

微调训练

预训练完成后，你可以使用Ultralytics加载导出的模型进行微调

  
from pathlib import Path  
  
from ultralytics import YOLO  
  
if __name__ == "__main__":  
    model = YOLO("out/my_experiment/exported_models/exported_last.pt")  
    model.train(data="coco8.yaml")

LightlyTrain支持的模型