Перейти к содержанию

Курс по модулям

Двенадцать модулей в фиксированном порядке. Модуль открывается, когда закончен предыдущий. Колонка Рука говорит, нужна ли в этом модуле подключённая рука — настоящая или виртуальная.

0 — Введение

Рука: не нужна. Семь шагов.

Что такое шестиосевой манипулятор, кому адресован курс, как он устроен и правила безопасности. Единственный модуль с вопросами: раздел безопасности — карусель из пяти тем (рабочая зона, аварийная остановка, снятие питания, работа под присмотром, защемление), и после каждой нужно правильно ответить.

Заканчивается чек-листом оборудования, он же приведён в Что нужно.

1 — Сборка робота

Рука: до конца модуля не нужна. Семь шагов.

В начале выбирается путь: собираю с нуля или у меня готовый набор.

Дальше — список деталей, разбор сервопривода (мотор, редуктор, энкодер, контроллер) и пять этапов сборки с фото и видео: основание и первый сустав, плечо и второй, локоть и третий, запястье и четвёртый, захват и пятый с шестым. Если печатаете детали сами, ссылки на STL здесь же.

А затем то, что недооценивают: присвоение ID моторам. Сервоприводы висят на одной двухпроводной шине, которая несёт и питание, и данные, цепочкой от платы через моторы с первого по шестой, и с завода у всех одинаковый ID. Урок ведёт через присвоение номеров с первого по шестой, подключая по одному мотору за раз — если подключены два, он это заметит и откажется. В конце проверяется вся шина целиком.

2 — Подключение и анатомия

Рука: нужна. Пять шагов.

Первый модуль, где настоящая рука и 3D-вид работают рядом. Подключиться, включить режим анатомии и кликать по подсвеченным частям во вьюпорте, узнавая их названия: основание, плечо, предплечье, локоть, запястье, захват. Затем шесть суставов J1–J6, что такое степень свободы и три системы координат, с которыми вы будете жить до конца курса: базовая, пользовательская и инструментальная.

3 — Калибровка

Рука: нужна. Пять шагов.

Нулевые положения, проверки, разрешение энкодера, измеренные повторяемость и точность. Подробно — в Калибровке.

4 — Телеоперация

Рука: нужна. Шесть шагов.

Вы управляете рукой сами, с клавиатуры, удерживая клавишу-разрешение. Задачи:

  • повернуть пятый сустав ровно на 45°;
  • разметить рабочую зону, проверяя точки сетки: какие достижимы полностью, какие достижимы неудобно, а какие вне зоны;
  • обойти цилиндр, не задев его, — урок замечает столкновения и говорит Goal reached — with collisions;
  • перенести настоящий цилиндр из одной зоны в другую.

5 — Захват и перемещение

Рука: нужна. Пять шагов.

Плоскости движения, типы захватов и вопрос «с какой силой сжимать» — есть шкала усилия с зонами слабого, правильного и избыточного, и нужно попасть в нужную. Есть упражнение на аварийную остановку.

Дальше главное: записать последовательность — подвод, захват с контролем усилия, перенос, отпускание, — остановить запись, прочитать сводку по записанному и воспроизвести, наблюдая, как рука делает это сама.

6 — Работа инструментом

Рука: нужна. Шесть шагов. Самый длинный модуль.

Модуль 6, шаг 1 из 8: рука в позе подлёта и кнопка «Добавить PTP», которая записывает точку

Модуль 6. Подпись собирается движение за движением и проверяется в симуляторе, прежде чем настоящий карандаш коснётся бумаги.

Зажать карандаш в захвате и заставить руку писать.

  • Калибровка инструмента: коснуться вершины конуса из четырёх разных ориентаций, чтобы программа узнала, где относительно запястья находится грифель. Проверяется автоматически, за три попытки.
  • Калибровка базы: коснуться трёх углов листа A4 — начало координат, X, Y, — и лист становится системой координат. Тоже с проверкой.
  • Типы движений: «из точки в точку», линейное и круговое, и почему разница важна, когда карандаш на бумаге.
  • Подпись: запрограммировать буквы S, O, A, R, M кнопками Add PTP, Add LIN, Add CIRC. Буква S показана целиком, координата за координатой, остальные — ваши, со схемами-подсказками.
  • Проверить траекторию, прогнать в симуляторе, затем выполнить на настоящей руке настоящим карандашом.

Нужны карандаш и лист A4.

7 — Распознавание объектов (CV)

Рука: не нужна. Девять шагов.

Модуль 7: ползунки HSV настроены так, что в маске остаётся только синий кубик

Модуль 7. Настоящий OpenCV в браузере: подберите диапазон HSV, чтобы остался только нужный объект.

Настоящее компьютерное зрение прямо в браузере: модуль загружает OpenCV и строит честный конвейер — пороги по HSV, морфология для чистки маски, моменты для поиска центра объекта.

Источником может быть виртуальная сцена урока или ваша веб-камера; выбор запоминается между сеансами. Задачи: настроить ползунки HSV так, чтобы остался только синий кубик, и очистить шумную маску, применив эрозию и дилатацию в правильном порядке.

8 — Слежение и ПИД-регулятор

Рука: нужна. Десять шагов.

Превращение пикселей в миллиметры, а затем в углы суставов. Калибровка «камера — база», подвод к увиденному объекту, а затем теория управления: что делают P, I и D, с живой настройкой по движущемуся кубику, пока он не станет держаться в центре. В конце — различить два похожих синих объекта по форме и следовать только за цилиндром.

9 — Распознавание нейросетями

Рука: нужна. Тринадцать шагов.

Модуль 9: разметка рамками собранных изображений кубика, цилиндра и гайки

Модуль 9. Каждое из шестидесяти изображений размечается рамкой, и урок проверяет разметку.

Полный путь данных, как он есть: собрать шестьдесят изображений — по двадцать кубиков, цилиндров и гаек, — а затем разметить рамкой каждое. Урок проверяет разметку и отбраковывает виртуальный датасет, снятый из одной позы при одном свете, потому что в этом и состоит урок.

Дальше приведение к нужному размеру, разделение на обучение и валидацию, что такое перенос обучения и как читать кривые: вы смотрите на потери и точность и должны остановить обучение вовремя, до переобучения. В конце рука сортирует детали по классам.

Что здесь настоящее, а что показано в симуляторе

Модули 7 и 8 работают на настоящем OpenCV. Кривые обучения в модуле 9 — идеализированная модель обучения, а модуль 10 распознаёт метки упрощённым учебным кодеком, а не боевым детектором. Понятия, последовательность работы и решения, которые вы принимаете, — настоящие; числа за кулисами подобраны так, чтобы вести себя одинаково каждый раз. Боевые детектор ArUco и OpenCV доступны как инструменты, вне урока.

10 — Распознавание ArUco-меток

Рука: нужна. Пять шагов.

Что такое реперная метка и за что её любят роботы. Вы собираете метку сами, заполняя клетки, и смотрите, как декодируется ID; вращаете кубик с метками и сканируете его; совмещаете направление подхода захвата с нормалью метки; наводитесь на выбранный ID через обратную кинематику; сортируете кубик по зонам, подписанным метками.

11 — Финальный проект

В разработке. Карточка на дашборде видна, приглушена, кнопка подписана Under development. Одиннадцать модулей до него закончены.