Open Images V7 là một tập dữ liệu linh hoạt và đồ sộ do Google dẫn đầu. Nhằm mục đích thúc đẩy nghiên cứu trong lĩnh vực thị giác máy tính, nó sở hữu bộ sưu tập hình ảnh khổng lồ được chú thích với vô số dữ liệu, bao gồm nhãn cấp hình ảnh, khung bao (bounding box) đối tượng, mặt nạ phân đoạn (segmentation mask) đối tượng, mối quan hệ trực quan và tường thuật cục bộ.
Link to this sectionCác model đã huấn luyện trước trên Open Images V7#
Bạn có thể sử dụng các model đã huấn luyện trước này để suy luận hoặc tinh chỉnh (fine-tune) như sau.
Link to this sectionTính năng chính#
- Bao gồm ~9 triệu hình ảnh được chú thích theo nhiều cách khác nhau để phù hợp với nhiều tác vụ thị giác máy tính.
- Chứa con số khổng lồ 16 triệu khung bao trên 600 lớp đối tượng trong 1,9 triệu hình ảnh. Những khung này chủ yếu được vẽ thủ công bởi các chuyên gia, đảm bảo độ chính xác cao.
- Tổng cộng 3,3 triệu chú thích mối quan hệ trực quan đã có sẵn, mô tả chi tiết 1.466 bộ ba mối quan hệ độc nhất, thuộc tính đối tượng và hoạt động của con người.
- V5 đã giới thiệu các mặt nạ phân đoạn cho 2,8 triệu đối tượng trên 350 lớp.
- V6 giới thiệu 675 nghìn tường thuật cục bộ kết hợp giọng nói, văn bản và các dấu vết chuột làm nổi bật các đối tượng được mô tả.
- V7 giới thiệu 66,4 triệu nhãn cấp điểm trên 1,4 triệu hình ảnh, bao phủ 5.827 lớp.
- Bao gồm 61,4 triệu nhãn cấp hình ảnh trên một tập hợp đa dạng gồm 20.638 lớp.
- Cung cấp một nền tảng thống nhất cho phân loại hình ảnh, phát hiện đối tượng, phát hiện mối quan hệ, phân đoạn thực thể và mô tả hình ảnh đa phương thức.
Link to this sectionCấu trúc tập dữ liệu#
Open Images V7 được cấu trúc thành nhiều thành phần phục vụ cho các thách thức thị giác máy tính khác nhau:
- Hình ảnh: Khoảng 9 triệu hình ảnh, thường thể hiện các cảnh phức tạp với trung bình 8,3 đối tượng trên mỗi hình ảnh.
- Khung bao: Hơn 16 triệu khung giới hạn các đối tượng trên 600 danh mục.
- Mặt nạ phân đoạn: Những mặt nạ này mô tả chi tiết ranh giới chính xác của 2,8 triệu đối tượng trên 350 lớp.
- Mối quan hệ trực quan: 3,3 triệu chú thích chỉ ra các mối quan hệ, thuộc tính và hành động của đối tượng.
- Tường thuật cục bộ: 675 nghìn mô tả kết hợp giọng nói, văn bản và dấu vết chuột.
- Nhãn cấp điểm: 66,4 triệu nhãn trên 1,4 triệu hình ảnh, phù hợp cho phân đoạn ngữ nghĩa zero-shot/few-shot.
Link to this sectionỨng dụng#
Open Images V7 là nền tảng cho việc huấn luyện và đánh giá các model hiện đại trong nhiều tác vụ thị giác máy tính khác nhau. Phạm vi rộng lớn và các chú thích chất lượng cao của tập dữ liệu làm cho nó trở nên không thể thiếu đối với các nhà nghiên cứu và nhà phát triển chuyên về thị giác máy tính.
Một số ứng dụng chính bao gồm:
- Phát hiện đối tượng nâng cao: Huấn luyện các model để nhận diện và xác định vị trí nhiều đối tượng trong các cảnh phức tạp với độ chính xác cao.
- Hiểu ngữ nghĩa: Phát triển các hệ thống hiểu được các mối quan hệ trực quan giữa các đối tượng.
- Phân đoạn hình ảnh: Tạo các mặt nạ cấp pixel chính xác cho đối tượng, cho phép phân tích cảnh chi tiết.
- Học đa phương thức: Kết hợp dữ liệu trực quan với các mô tả văn bản để AI có sự hiểu biết phong phú hơn.
- Học zero-shot: Tận dụng độ bao phủ lớp rộng lớn để xác định các đối tượng không được nhìn thấy trong quá trình huấn luyện.
Link to this sectionYAML tập dữ liệu#
Ultralytics duy trì một tệp open-images-v7.yaml chỉ định các đường dẫn tập dữ liệu, tên lớp và các chi tiết cấu hình khác cần thiết cho việc huấn luyện.
Link to this sectionCách sử dụng#
Để huấn luyện một model YOLO26n trên tập dữ liệu Open Images V7 trong 100 epoch với kích thước hình ảnh là 640, bạn có thể sử dụng các đoạn mã sau. Để có danh sách đầy đủ các đối số khả dụng, hãy tham khảo trang Huấn luyện của model.
Link to this sectionDữ liệu mẫu và Chú thích#
Các minh họa về tập dữ liệu giúp cung cấp thông tin chi tiết về sự phong phú của nó:
- Open Images V7: Hình ảnh này minh họa độ sâu và chi tiết của các chú thích có sẵn, bao gồm khung bao, mối quan hệ và mặt nạ phân đoạn.
Các nhà nghiên cứu có thể thu được những hiểu biết vô giá về hàng loạt thách thức thị giác máy tính mà tập dữ liệu giải quyết, từ phát hiện đối tượng cơ bản đến nhận diện mối quan hệ phức tạp. Sự đa dạng của các chú thích làm cho Open Images V7 trở nên đặc biệt có giá trị để phát triển các model có khả năng hiểu các cảnh trực quan phức tạp.
Link to this sectionTrích dẫn và Ghi nhận#
Đối với những người sử dụng Open Images V7 trong công việc của mình, việc trích dẫn các tài liệu nghiên cứu liên quan và ghi nhận công lao của những người tạo ra nó là điều thận trọng:
Xin gửi lời cảm ơn chân thành đến nhóm Google AI vì đã tạo ra và duy trì tập dữ liệu Open Images V7. Để tìm hiểu sâu hơn về tập dữ liệu và các tính năng của nó, hãy truy cập trang web Open Images V7 chính thức.
Link to this sectionCâu hỏi thường gặp#
Link to this sectionTập dữ liệu Open Images V7 là gì?#
Open Images V7 là một tập dữ liệu mở rộng và linh hoạt do Google tạo ra, được thiết kế để thúc đẩy nghiên cứu về thị giác máy tính. Nó bao gồm nhãn cấp hình ảnh, khung bao đối tượng, mặt nạ phân đoạn đối tượng, mối quan hệ trực quan và tường thuật cục bộ, làm cho nó trở nên lý tưởng cho các tác vụ thị giác máy tính khác nhau như phát hiện đối tượng, phân đoạn và phát hiện mối quan hệ.
Link to this sectionLàm thế nào để tôi huấn luyện một model YOLO26 trên tập dữ liệu Open Images V7?#
Để huấn luyện một model YOLO26 trên tập dữ liệu Open Images V7, bạn có thể sử dụng cả lệnh Python và CLI. Dưới đây là ví dụ về việc huấn luyện model YOLO26n trong 100 epoch với kích thước hình ảnh là 640:
Để biết thêm chi tiết về các đối số và cài đặt, hãy tham khảo trang Huấn luyện.
Link to this sectionCác tính năng chính của tập dữ liệu Open Images V7 là gì?#
Tập dữ liệu Open Images V7 bao gồm khoảng 9 triệu hình ảnh với các chú thích khác nhau:
- Khung bao: 16 triệu khung bao trên 600 lớp đối tượng.
- Mặt nạ phân đoạn: Mặt nạ cho 2,8 triệu đối tượng trên 350 lớp.
- Mối quan hệ trực quan: 3,3 triệu chú thích chỉ ra mối quan hệ, thuộc tính và hành động.
- Tường thuật cục bộ: 675.000 mô tả kết hợp giọng nói, văn bản và dấu vết chuột.
- Nhãn cấp điểm: 66,4 triệu nhãn trên 1,4 triệu hình ảnh.
- Nhãn cấp hình ảnh: 61,4 triệu nhãn trên 20.638 lớp.
Link to this sectionNhững model nào đã được huấn luyện trước khả dụng cho tập dữ liệu Open Images V7?#
Ultralytics cung cấp một số model YOLOv8 đã huấn luyện trước cho tập dữ liệu Open Images V7, mỗi model có kích thước và chỉ số hiệu suất khác nhau:
Link to this sectionTập dữ liệu Open Images V7 có thể được sử dụng cho những ứng dụng nào?#
Tập dữ liệu Open Images V7 hỗ trợ nhiều tác vụ thị giác máy tính bao gồm:
- Phân loại hình ảnh
- Phát hiện đối tượng
- Phân đoạn thực thể
- Phát hiện mối quan hệ trực quan
- Mô tả hình ảnh đa phương thức
Các chú thích toàn diện và phạm vi rộng lớn của nó làm cho nó trở nên phù hợp để huấn luyện và đánh giá các model học máy tiên tiến, như được nêu bật trong các trường hợp sử dụng thực tế chi tiết trong phần ứng dụng của chúng tôi.
Hoặc