Сегодня хочу рассказать о своем небольшом проекте, который позволяет управлять компьютером с помощью жестов, распознаваемых через камеру.
Меня всегда интересовала тема управления компьютером без использования традиционных периферийных устройств. Вдохновением послужили технологии компьютерного зрения и машинного обучения, которые позволяют анализировать движения рук в реальном времени. Хотелось создать систему, которая бы распознавала жесты и преобразовывала их в команды для управления курсором, кликами и прокруткой.
Эта программа будет особенно полезна для людей с ограниченными возможностями, которым сложно пользоваться традиционной мышью и клавиатурой. Кроме того, она пригодится пользователям в повседневных ситуациях: например, когда руки заняты или испачканы во время готовки, а нужно пролистать рецепт; во время работы с инструментами, когда нет возможности касаться мыши и клавиатуры; или при просмотре фильмов, чтобы легко управлять воспроизведением без пульта и нажатий.
На текущий момент поддерживаются следующие жесты:
2. Левый клик — выполняется определенным жестом.
3. Правый клик — аналогично, но с другим положением пальцев.
4. Скроллинг — вертикальные движения руки прокручивают страницу.
Каждый жест проходит через нейросетевую модель, обученную на специально собранном наборе данных. Для распознавания я выбрал компактную feedforward модель, которая обеспечивает высокую точность при минимальных вычислительных затратах, что делает систему быстрой и отзывчивой.
Как использовать
Пока что для использования программы нужно уметь запускать Python проекты. Проект с инструкцией доступны в GitHub. Если возникают какие-либо проблемы с запуском - пишите в комментарии.
Для увеличения точности распознавания пользователи могут легко самостоятельно собрать датасет, и обучить свою нейросеть - для этого есть готовые скрипты. В дальнейшем планирую сделать удобное приложение.
Буду рад, если подпишитесь на мой Telegram канал. Там будут все обновления по этому проекту, а также другие интересные проекты. Задавайте вопросы - в комментариях здесь или в Telegram.
