Apple рассказала, как учит роботов подглядывать за людьми, чтобы получать новые знания

Обучение роботов с помощью наблюдения за людьми

Apple в сотрудничестве с исследователями из MIT, Университета Карнеги-Меллона, Вашингтона и Калифорнийского университета в Сан-Диего разработала инновационный метод обучения роботов. Этот подход позволяет машинам учиться, наблюдая за действиями человека.

Методология исследования

Исследование, получившее название Humanoid Policy ∼ Human Policy, подробно описывает инновационный процесс. В его основе лежит принцип демонстрации действий, где роботы обучаются выполнению различных задач, например, захвату объектов, наблюдая за людьми. Для этого был собран обширный набор данных, состоящий из 25 тысяч видео, снятых людьми, и 1,5 тысяч видео от роботов. Эти данные получили название PH2D и использовались для обучения искусственного интеллекта, управляющего гуманоидными роботами.

Как записывались видео

Обучение исключительно на собственных действиях роботов является длительным и затратным процессом. Поэтому учёные решили использовать видео, на которых люди показывают, как выполнять различные действия. Это решение оказалось более эффективным и экономичным.

Для записи видео использовалось устройство Apple Vision Pro. Специальное приложение фиксировало движения рук и головы через встроенную камеру. Чтобы сделать этот метод доступнее, учёные разработали 3D-принтер, на котором создавали крепления для камеры ZED Mini Stereo, позволяя использовать её с другими гарнитурами, такими как Quest 3.

Работа с видео

Поскольку люди выполняют движения быстрее, чем роботы, видео с участниками замедляли в четыре раза. Это позволяло машинам лучше понимать и повторять движения, что значительно улучшило качество обучения.

Модель для обучения

Ключевым элементом исследования является модель HAT (Human Action Transformer). Она обучается на видео от людей и роботов одновременно, не разделяя их. Такой подход даёт возможность роботу развивать свои навыки и выполнять даже новые задачи, которые он ранее не видел.

Обсуждение и мнение пользователей

Мнение пользователей о методах обучения роботов вызывает большой интерес и обсуждения на различных платформах. Многие видят в этом шаг вперёд для развития технологий и повышения эффективности робототехники. Тем не менее, присутствуют и опасения по поводу безопасности и этики использования таких методов.

Мнения производителей технологий

Производители технологий, включая Apple, выражают уверенность в том, что обучение через наблюдение за людьми является ключевым этапом в развитии более интеллектуальных и адаптивных роботов. Они считают, что такие машины могут лучше интегрироваться в человеческую среду и способствовать улучшению качества жизни.