Школьница из Москвы создала управление ПК жестами
Ученица московской школы №2083 Алевтина Иванова разработала программу на Python, позволяющую управлять компьютером с помощью жестов перед камерой, что может помочь людям с ограниченными возможностями.
Ученица московской школы №2083 Алевтина Иванова создала программное обеспечение, дающее возможность управлять компьютером посредством жестов. Об этом информирует пресс-служба столичного департамента образования и науки.
Как пояснили в ведомстве, для работы с компьютером теперь не обязательны мышь или клавиатура — достаточно демонстрировать руку перед веб-камерой. Система на основе искусственного интеллекта идентифицирует движения и приводит в действие соответствующие команды. В основе разработки лежат инструменты компьютерного зрения:
- библиотека MediaPipe, отслеживающая 21 ключевую точку на кисти,
- OpenCV для обработки видеопотока
- и PyAutoGUI, который непосредственно управляет курсором и эмулирует клики.
На текущем этапе программа способна:
- перемещать указатель,
- выполнять одиночный и двойной щелчок,
- осуществлять прокрутку веб-страниц,
- а также завершать свою работу по специальному жесту или нажатию клавиши «q».
Код написан на языке Python в среде разработки PyCharm.
Как отмечают в департаменте, данная технология может быть особенно полезна людям, испытывающим трудности с использованием стандартной компьютерной мыши, а также всем, кто интересуется инновационными интерфейсами. Программный продукт уже прошел этап тестирования, в ходе которого разработчица анализировала точность распознавания жестов в различных условиях освещения и под разными углами, внося необходимые коррективы. В перспективе проект предполагает расширение функционала за счет:
- добавления новых жестов,
- возможности персонализации под конкретного пользователя
- и повышения общей точности работы алгоритма.