Khung AI đổi mới cho robot gia đình
Dobb·E là một khung mã nguồn mở cho phép đào tạo robot cho các nhiệm vụ gia đình thông qua học tập bắt chước. Nó giải quyết những hạn chế hiện có trong robot gia đình bằng cách cung cấp một giải pháp tiết kiệm chi phí để thu thập các minh họa nhiệm vụ. Sử dụng một công cụ độc đáo được gọi là Stick, được làm từ một chiếc gậy Reacher-grabber giá $25 và các thành phần in 3D, cùng với một chiếc iPhone, Dobb·E thu thập dữ liệu từ tập dữ liệu Homes of New York (HoNY), bao gồm 13 giờ tương tác trên 22 ngôi nhà ở New York City. Tập dữ liệu này bao gồm video RGB và độ sâu được ghép nối với các chú thích hành động chi tiết cho kẹp của robot.
Khung làm việc sử dụng một mô hình học đại diện được gọi là Home Pretrained Representations (HPR), dựa trên kiến trúc ResNet-34 và được đào tạo thông qua học tự giám sát. Dobb·E thể hiện hiệu suất ấn tượng, đạt tỷ lệ thành công trung bình 81% trong việc thực hiện các nhiệm vụ mới chỉ trong 15 phút, chỉ sử dụng năm phút dữ liệu thu thập từ một ngôi nhà mới. Khung cung cấp nhiều tài nguyên phong phú, bao gồm các mô hình đã được đào tạo trước và tài liệu, có sẵn qua GitHub.
