Vision cấp cho một cánh tay robot một bản đồ nhưng không cấp cho nó khả năng gắp.

Thử nhặt một quả trứng chỉ bằng dữ liệu camera và không có phản hồi lực (force feedback): hoặc bạn làm nó vỡ, hoặc bạn làm rơi nó. Không có tín hiệu nào cho cơ cấu chấp hành biết rằng “bạn đang ở 80% ngưỡng áp lực gây gãy, hãy giảm lực đi”.
Tín hiệu đó chỉ tồn tại dưới dạng dữ liệu haptic: lực, mô-men (torque), áp suất xúc giác, phát hiện trượt.
Vì vậy, “nút thắt cổ chai của Embodied AI” giờ không còn là vấn đề của vision nữa. Nó là vấn đề của touch (xúc giác). Bạn có thể có một mô hình 3D hoàn hảo của một núm cửa, nhưng vẫn thất bại nếu gắp không biết nên siết lực bao nhiêu hoặc khi nào đang trượt.
Đó là vấn đề mà mô hình Teleop-to-Earn của @InvLambda được xây dựng để giải quyết. Thay vì hy vọng mô phỏng có thể xấp xỉ độ ma sát và độ “compliance” ngoài đời thực, T2E đưa con người vào vòng lặp; tay người thật, độ khéo thật, tạo ra các bộ dữ liệu đa phương thức (visual + haptic) mà môi trường mô phỏng không thể giả mạo.
Vision cho robot biết thế giới ở đâu.
Haptics cho nó biết cách chạm vào.
Phần thứ hai mới là bài toán khó hơn và cũng là phần đang được giải quyết ngay lúc này.
@InvLambda #InvertedLambdaTheBreach #InvertedLambda #Robotics #Teleoperation #SecondContact #SecondContactTheBreach