Тёмный

Как распознавать жесты и управлять Arduino - Компьютерное зрение (OpenCV и MediaPipe) 

LabRazum | Виктор Осин
Подписаться 96 тыс.
Просмотров 77 тыс.
50% 1

В этом видео мы объединим Arduino с компьютерным зрением (OpenCV). За буквально 15 минут мы получим управление светодиодной лентой при помощи жестов вашей руки. Сделаем так, чтобы один палец управлял яркостью ленты, два - цветом, ну а другие жесты - всем, что вам придет в голову.
Ссылка на страницу проекта: edu.labrazum.ru/cv-arduino/
------------------------------------------------------------------------------------
Группа ВК: lrazum
Страница автора в Instagram: / viktor_osin_
------------------------------------------------------------------------------------
0:00 - Начало
0:32 - О нейронных сетях
1:12 - OpenCV и MediaPipe
2:01 - Адресная лента
2:25 - О программе и комплектующих
4:49 - Подключение веб-камеры
5:28 - Распознаём руки
6:12 - Работа с отдельными точками
6:39 - Отправка координат точки в Arduino
7:48 - Подключение ленты и настройка Arduino
9:19 - Учитываем только поднятый палец
9:53 - Добавление других жестов
10:56 - Пример использования компьютерного зрения
11:23 - Заключение

Опубликовано:

 

17 июн 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 278   
@LabRazum
@LabRazum 2 года назад
Видео, на которое ушло ~20 моих вечеров, но я очень доволен :) Версии библиотек, которые использовались в видео: Python 3.9 Mediapipe 0.8.9.1 Pyserial 3.5 Opencv 4.5.5.62 0:32 - О нейронных сетях 1:12 - OpenCV и MediaPipe 2:01 - Адресная лента 2:25 - О программе и комплектующих 4:49 - Подключение веб-камеры 5:28 - Распознаём руки 6:12 - Работа с отдельными точками 6:39 - Отправка координат точки в Arduino 7:48 - Подключение ленты и настройка Arduino 9:19 - Учитываем только поднятый палец 9:53 - Добавление других жестов 10:56 - Пример использования компьютерного зрения 11:23 - Заключение
@lordfire9608
@lordfire9608 2 года назад
Огромное спасибо! Оно того стоило! Завидую тем пацанам, которым посчастливилось заниматься в вашем кружке (если занятия ещё не прекратились)! Звук обалденный, подача доступная. Очень рад, что есть целое сообщество таких " онлайн Преподавателей".
@LabRazum
@LabRazum 2 года назад
@@lordfire9608 спасибо, рад, что оценили! Занятия в школе продолжаются :)
@anton.prohvost
@anton.prohvost 2 года назад
Виктор, это замечательно! 👍🏼 Подписался на канал с первых кадров. Доступно, грамотно, корректно, интересно, полезно, красиво, приятно смотреть. Спасибо Вам большое за Ваши труды!🙏🏼Вы молодец!🤝👍🏼
@Mathandmore
@Mathandmore 2 года назад
Спасибо за видео! Как раз у меня Pi3 есть, вот насчет камеры, обычная камера с подключением через USB порт подойдет?
@LabRazum
@LabRazum 2 года назад
@@Mathandmore да, подойдёт
@currentdraft6754
@currentdraft6754 2 года назад
Прекрасная подача материала!!! Видно, что за кадром была проделана большая работа. По уровню доступности для начинающего ничего лучше не видел! Всего одним видеороликом вы многократно понизили порог вхождения одновременно сразу в несколько очень важных (на первый взгляд разрозненных) тем, объединив всё это в единый лаконичный и законченный проект. По сути, вы внесли очень большой вклад в будущее развитие и расширение комьюнити, а это важнее всего! Лайк и подписка!
@LabRazum
@LabRazum 2 года назад
Благодарю, рад, что вам понравилось!
@currentdraft6754
@currentdraft6754 2 года назад
@@LabRazum Раз уж вы начали, то, думаю, стоит продолжить тему компьютерного зрения в связке с ардуино. Тем более что многим "эта магия" не просто интересна, но и принесет большую практическую пользу, так сказать поднимет ардуино самоделки на новый уровень! У вас талант объяснять довольно сложные вещи очень простыми и наглядными вещами. Есть несколько уроков из интернета по которым начинал учиться сам с нуля и которые в дальнейшем помогли сделать манипулятор с настоящим компьютерным зрением (можно на него глянуть у меня на канале). Эти уроки (их немного) совсем небольшие, относительно просты и наглядны. Может быть у вас получится их переработать, сделать ещё более доступный материал (чем в них самих), собрать ещё один интересный и познавательный проект (как в этом видео)?! Возможно вы с ними знакомы, но всё же... На сайте robotclass*ru они немного хаотично разбросаны и не сразу ищутся, надо там в поиске вбить opencv. Пытался вставить прямые ссылки на уроки (их всего 7), но видимо ютуб не позволяет это делать в комментариях (удаляет их).
@LabRazum
@LabRazum 2 года назад
@@currentdraft6754 спасибо, да, видел эти уроки, подумаю над продолжением, если будут желающие
@RussianSkeeper
@RussianSkeeper 2 года назад
@@LabRazum Желающие очень даже будут.
@user-xg8gn6yb9g
@user-xg8gn6yb9g 2 года назад
Супер! Очень доходчиво про распознавание жестов. Вижу множество применений, где в умном доме нельзя шуметь или наоборот много посторонних шумов и голосовые команды не распознаются. А так же там, где например нужно нажать кнопки, но нельзя прикасаться, потому что руки грязные или наоборот, нужно сохранить стерильность.
@LabRazum
@LabRazum 2 года назад
Отличные примеры, спасибо!
@igorkolesnikov1596
@igorkolesnikov1596 2 года назад
Какой божественный контент. Однозначно подписка. Спасибо! Развития каналу!
@learner4143
@learner4143 2 года назад
Огонь! Качество, подача, материал - спасибо!
@user-sx1dd5hf3u
@user-sx1dd5hf3u 2 года назад
Отличное видео. Всё по делу. Натолкнул на более простую реализацию своей давней задумки. Спасибо!
@user-zv5ve7gi7o
@user-zv5ve7gi7o 2 года назад
Анимация протокола обмена на бумажках на нитке - огонь! Улыбнуло! Благодарю за видео.
@AVit77
@AVit77 2 года назад
Очень хорошо снято! Ну и тема интересная. Спасибо!
@iqubik
@iqubik 2 года назад
Очень и очень и очень цельно и круто. Взял лучшее от Гайвера, лента, сложность и полные материалы. Красавец! Мое уважение
@sauvignonblanc5086
@sauvignonblanc5086 2 года назад
Креативный подход к созданию видеоконтента 😎👍🏼🍿 Спасибо)
@korobok1st
@korobok1st 2 года назад
супер! спасибо большое! я например могу теперь управлять скоростью насоса (давлением) в система водоснабжения дома! очень здорово, что есть такие люди!
@vittaphoto
@vittaphoto 9 месяцев назад
Ооо, это прекрасно. И монтаж, и код, и пианино. Я восхищаюсь
@oleggulyakov2718
@oleggulyakov2718 Год назад
Завидую умным людям😐. Очень интересный проект. Удачи вам и всего хорошего.
@sergeitannenberg503
@sergeitannenberg503 2 года назад
Отличное видео, доступная и приятная подача, спасибо!
@Fly-24
@Fly-24 2 года назад
Дана из лучших подача материала, спасибо Вам.
@user-rp3kl8gz1n
@user-rp3kl8gz1n 2 года назад
Это нечто, успехов Вам, продолжайте, Вы на правильном направлении
@MrArtyomle
@MrArtyomle 2 года назад
Отличный контент. Отдельная благодарность за локаничность!
@vannadij
@vannadij 2 года назад
офигенная штука!! я давно искал контент такого направления
@user-kpinf
@user-kpinf 2 года назад
Замечательно! Вы не останавливаясь продвигаете будущих авторов мира будущего. И судя по всему Вам это в кайф. Успехов Вам!
@almaz1502
@almaz1502 2 года назад
К счастью, мир может быть не только техногенным
@auyezove
@auyezove 2 года назад
Отличная работа! Примеры просто супер
@220UP
@220UP 2 года назад
Офигеть! Круто смонтировано и легко смотрится!
@user-wp3oq3ez8n
@user-wp3oq3ez8n Год назад
Очень качественный контент, прошу, не пропадайте!
@timurg3865
@timurg3865 Год назад
привет. - похоже война внесла коррективы.... будь она проклята. МИРУ МИР !
@AndrewPstvt
@AndrewPstvt 2 года назад
Потрясающе, никогда не видел настолько понятной и качественной подачи материала. Очень интересно👍
@almaz1502
@almaz1502 2 года назад
Прям настолько потрясающе? А что, вы собственно поняли из видео если отбросить всю мишуру. Сможете повторить? Конечно не сможете, потому что это видео не обучающее. На обучающих видео не пишут код с такой скоростью. А так... посовенькое (качественный монтаж, озвучка, афоризмы) видео для контента
@AndrewPstvt
@AndrewPstvt 2 года назад
@@almaz1502 Как минимум простоту реализации казалось бы сложного проекта. Ролик является наглядной визуализацией полезной и статьи, так что нет смысла писать в реальном времени. Кроме того автор лично сказал, что в статье все куски кода прокомментированы.
@RussianSkeeper
@RussianSkeeper 2 года назад
@@almaz1502 Код приложен - можно разобраться неспеша. А вы что сказать хотели-то?
@evkud1
@evkud1 2 года назад
Здорово. Теперь понятно как это работает. Спасибо.
@SmD_Amir_
@SmD_Amir_ 9 месяцев назад
Отличный материал, спасибо за видео!😍
@kosmos8460
@kosmos8460 2 года назад
Спасибо вам Виктор очень интересный и необычный крутой проект 👍
@user-fw6fh4jp2z
@user-fw6fh4jp2z Год назад
Это лучшее что я видел за последние время!
@nicktriada1
@nicktriada1 2 года назад
Подписался сразу на второй минуте просмотра, это лучший контент по теме который я видел!!!!
@RomanKnabengof
@RomanKnabengof Год назад
Обалдеть, Виктор Это очень круто
@activedrive8310
@activedrive8310 2 года назад
Очень круто!!! Интересно, доходчиво. Спасибо!
@user-ms7lx5ew7k
@user-ms7lx5ew7k 2 года назад
Круто. Очень доступно. Однозначно подписка
@user-fz5ym3wv1e
@user-fz5ym3wv1e 2 года назад
Супер подача материала !
@Uroboross8
@Uroboross8 6 месяцев назад
Потрясающе!
@klinnoff
@klinnoff 6 месяцев назад
Подача просто супер!
@yuriybaranovskiy9642
@yuriybaranovskiy9642 2 года назад
очень доходчиво,хорошо умеешь объяснять!
@JonizDoc
@JonizDoc 2 года назад
Очень интересно . Спасибо за объяснение
@_kornev
@_kornev 9 месяцев назад
Супер, очень доходчиво!
@Diogenov1
@Diogenov1 2 года назад
Благодарю! Очень интересно!
@dobriychel7584
@dobriychel7584 2 года назад
Очень круто. Необычно. Для ардуинщиков прям свежий впрыск адреналина, жаль пайтон я не знаю.
@LabRazum
@LabRazum 2 года назад
На самом деле очень легкий язык, гораздо легче С++
@dfcf7555
@dfcf7555 2 года назад
очень хороший ролик. и сделан очень приятно 👍
@igorkroshkin9354
@igorkroshkin9354 2 года назад
офигенно. лайк. подписка :)
@pan_electric
@pan_electric 2 года назад
Благодарю за видео. Желаю тебе здоровья и благополучия. Пишу это так как ели выжил после ковидом и сегодня первый день как дома после 9 дней в больнице пролежал и сейчас с кислородом. Привет тебе и твоим подпишиком с Греции
@LabRazum
@LabRazum 2 года назад
Благодарю, вам скорейшего выздоровления!
@user-zm9fh6ft1i
@user-zm9fh6ft1i 2 года назад
Очень интересно, как Ардуино и питон совмещаются. Пример шикарный! Побольше подобных проектов! В данном случае самое простое одноцветную светодиодную подсветку сделать с регулировкой яркости в режиме таноса, пальцами). И кстати для перехода в режим управления надо жест или положение пальцев специфическое ввести, чтобы просто болтая руками яркость не менялась как получится
@LabRazum
@LabRazum 2 года назад
Отличная мысль по поводу жеста для активации, в принципе, если пойти ещё дальше, можно даже сделать "меню" из жестов и добавить жесты для принятия и отмены)
@user-zm9fh6ft1i
@user-zm9fh6ft1i 2 года назад
@@LabRazum меню из жестов можно, но чем больше жестов, тем выше вероятность непроизвольно их воспроизвести. На мой взгляд самое устойчивое ввести жест для перехода в режим регулировки, моргнуть в ответ светодиодами, настроить яркость и через несколько секунд выход из режима настройки, может тоже с морганием, чтобы было ясно, что поздняк метаться уже😄. Но если с разными жестами, так познавательнее будет зато, в качестве примера😉
@viktorvoinov8349
@viktorvoinov8349 2 года назад
Больше подобных проектов! :-)
@Ardbot
@Ardbot 2 года назад
Спасибо, интересное видео. Может будет полезно для будущих разработчиков метавселеной)
@user-vg5bv9ke3q
@user-vg5bv9ke3q 2 года назад
У квеста уже есть хэнд трекинг
@creativefamily6704
@creativefamily6704 2 года назад
ОООООчень понравилось! Спасибо! С меня лайк и подписка однозначно! Можно не видимый кодовый замок сделать подошёл к двери и на ней как на клавиатуре нажал код не касаясь двери но в поле камеры. Просто доступно с меня подписка! Даже в голову не кому не прейдёт что хата таким образом с охраны снимается.
@user-yy9ii9rt1s
@user-yy9ii9rt1s 2 года назад
Спасибо. Весьма интересное видео.
@Rus_slan
@Rus_slan 4 месяца назад
Очень зачётный труд. Как говорится ни...я не понятно, но очень интересно😂. Жаль что не встретил раньше.
@Mrdmitriy24
@Mrdmitriy24 2 года назад
Классное видео, автор молодец!
@chrisn.6760
@chrisn.6760 2 года назад
Для глухонемых это программа супер. Таким образом можно переводить их разговор
@user-sf9nn6dh2q
@user-sf9nn6dh2q 2 года назад
Хороший ролик, спасибо!
@user-lw4zn6fk7z
@user-lw4zn6fk7z 2 года назад
Качественный материал, грац. В топ
@eloversclub
@eloversclub 2 года назад
Спасибо! Круто! Можно сделать виртуальную гитару) Но подобные задачи, естественно с определенными ограничениями, уже можно решать на одном микроконтроллере, например - kendryte k210.
@antient_atlas
@antient_atlas Год назад
Твоё видео великолепно
@user-ow1he8qm2h
@user-ow1he8qm2h Год назад
Круто! Респект!:)
@DimPyProg
@DimPyProg 2 года назад
Топчик👍
@RoboTron_Channel
@RoboTron_Channel 2 года назад
Это образец, как надо делать видео уроки!
@Soul-2517
@Soul-2517 18 минут назад
Блин))) восхищаюсь!
@MrMrbelik
@MrMrbelik Год назад
На 5 минте я понял сколько было проделано работы. Одназначно лайк и подписка
@user-xg8gy4nr2e
@user-xg8gy4nr2e 2 года назад
Ну, вааще ! КРУТО !!!
@user-sv3nh8go9d
@user-sv3nh8go9d 2 года назад
Мега крутой видос, жаль что так мало человек оценило:( Сделай ещё что нибудь простенькое для новичков на контролере, с подробным пояснением кодинга)
@LabRazum
@LabRazum 2 года назад
На самом деле для моего скромного канала по этому видео супер показатели, лайк поставил каждый 9-й зритель (хотя я об этом не стал просить в видео), чему я очень рад)
@user-sv3nh8go9d
@user-sv3nh8go9d 2 года назад
@@LabRazum вчера случайно наткнулся на ваш канал, и был приятно очень удивлен!) С товарищами сейчас занимаемся ровно тем, что и вы несколько лет назад ( в более скромных масштабах конечно) - небольшая лаборатория для свободного технического творчества студентов. Ваш опыт о котором вы рассказываете в видео очень полезен, спасибо!
@user-wu4gf4ys8g
@user-wu4gf4ys8g 2 года назад
Это офигенно))
@Egor_ZDE
@Egor_ZDE 2 года назад
Интересненько! Рад, что на канале появляются новые качественные видосики) взял вот, клип скучающих пересмотрел. Как там дела с обучением ребятишек?)
@LabRazum
@LabRazum 2 года назад
Всё хорошо, пока учимся, опасаясь повторения ковид-ограничений)
@tsibulsky4900
@tsibulsky4900 Год назад
Круто , спасибо 👍😊
@user-tj1qd4cw1q
@user-tj1qd4cw1q Год назад
Крутая задумка.
@darkbunny188
@darkbunny188 5 месяцев назад
Ооооо спасибо !! 🔥
@user-ge5ng7ns1d
@user-ge5ng7ns1d 2 года назад
Очень круто !!!
@alnibl
@alnibl 2 года назад
Класс! Все четко и понятно! Отдельное спасибо за Порнофильмы в конце! ;)
@DAVRON97
@DAVRON97 2 года назад
Лайк за информативное видео
@Heron31415
@Heron31415 2 года назад
с пианиной зачет!
@dimarusful
@dimarusful Год назад
Интересная вещь это программирование, питон с новыми библиотеками ваше крутой, жаль, что я все равно его не осилю, когда доходит до сложных задач))
@user-pu1tm9gt3h
@user-pu1tm9gt3h Год назад
Спасибо! Очень классно👍 Планируете ли Вы уроки по обучению с подкреплением?
@user-nq3lk7ei7j
@user-nq3lk7ei7j 2 года назад
Круть!
@andrey_pav
@andrey_pav 2 года назад
вот это уровень! порог входа в компьютерное зрение резко упал и можно вкатываться. спасибо Вам за такой подарок.
@otsy7947
@otsy7947 2 года назад
порок? ))))
@andrey_pav
@andrey_pav 2 года назад
@@otsy7947 исправил (
@user-jc8vp6ht5l
@user-jc8vp6ht5l Год назад
Куда Вы пропали?
@user-pl2ue6ds2r
@user-pl2ue6ds2r 2 года назад
Очень хорошо 👍
@baboon_hero
@baboon_hero Год назад
Круто!
@armendanielyan7193
@armendanielyan7193 2 года назад
Супер , спасибо
@vadimkuldim6450
@vadimkuldim6450 2 года назад
Классный перевод от интуса
@akmiable
@akmiable 2 года назад
Красавчик!
@refreshingscience2026
@refreshingscience2026 2 года назад
Просто бомба. Лайк вполне заслуживает. Но почемуто людям жалко
@Ilya_Smurygin
@Ilya_Smurygin 2 года назад
11.18 респект!! Я то же с этой композиции тащусь!! С работы еду, у меня плохое настроение!! Врубаю фильмы!! И вот оно!!)
@amigo...007
@amigo...007 6 месяцев назад
Приветствую...Очень понравилась подача материала ..не спеша с расстановкой и подробностями...Я бы это наверно применил для робота с интеллектуальным зрением когда надо дать команду не голосом а рукой....Как раз такой проект и собираюсь строить... Да я так понимаю эти же библиотеки приемлемы и для СТМ32....
@user-wl7xr2mr9j
@user-wl7xr2mr9j Месяц назад
господи, спасибо за это видео. это оч. классное объяснение. Я пытаюсь сделать водяную турель
@user-lo2ny5ek5q
@user-lo2ny5ek5q 2 года назад
Супер
@user-gl6tb1jb4o
@user-gl6tb1jb4o 2 года назад
мощь!
@Ache17013
@Ache17013 Год назад
Красиво
@user-pm3hw6tn7c
@user-pm3hw6tn7c 2 года назад
Супер! Это отличная система для диджеев. Мало того что зажигаешь народ на веселье, так ещё жестами можешь отдавать простые каманды светомузыке в зале! Поднял руку, показал жест 🖖 а светомузыка убавила яркость и сменила ритм на романтический медляк. Показал жест 🤘вспыхнули прожектора, замелькала яркими огнями танц плащадка клуба! Применение безгранично! Хоть управление бытавыми приборами, ткнул пальцем в сторону телика, он включился, крутанул палец в сторону окна, открылись шторы! Кондиционер, кофеварка, будильник, и тд. и тп. Вот вам умный дом! Короче вы ограниченны только своей фантазией.
@user-xs3jz2wb1u
@user-xs3jz2wb1u 2 года назад
мне очень понравилось
@Kod_and_Provoda
@Kod_and_Provoda 10 месяцев назад
Красава
@AlexLink-rb5by
@AlexLink-rb5by 2 года назад
Круто .. Можно задавать пароль рукой(жестами) перед дверью без замка(скрытый электро замок).
@user-sg2hx1vr9q
@user-sg2hx1vr9q 9 месяцев назад
дабл лайк за мелодию в конце!
@user-jr6ue7rk9p
@user-jr6ue7rk9p 2 года назад
Наращивается возможность управлять в виртуальной реальности. Я, как электрик, вижу, что для успешной работы нужна визуальная плоскость, расположение рук не выходящее за пределы плоскости (рабочий диапазон), и явное указание параметра. Например, с помощью рук управлять громкостью). Применительно к вашему ролику, можно было клавиатуру сделать виртуальную))
@LabRazum
@LabRazum 2 года назад
На 4:00 минуте разве не то, о чем вы говорите? :)
@blackfear6765
@blackfear6765 Год назад
дайте мне белые крылья), отличное видео👍
@Ray.wp.
@Ray.wp. Год назад
через тернии, провода... :)
@skazki_na-noch
@skazki_na-noch 2 года назад
жостка )))
@user-mo4pe7gr1e
@user-mo4pe7gr1e 21 день назад
Чел ты гений
@user-hd7hq4lf4y
@user-hd7hq4lf4y 2 года назад
Отличный пример. НО для связи компьютера и ленты я бы порекомендовал например ESP-01, тем более, что для него есть почти готовые блоки на Али, остается лишь подпаять защитный резистор и вперед - командовать лентой (или не лентой)
@LabRazum
@LabRazum 2 года назад
Да, я показал лишь принцип, а так хоть две ардуины и радиопередатчик
@andrewkopchegashev9937
@andrewkopchegashev9937 Год назад
Хочу сделать в комнате светильник а ля GLADOS. Чтоб он поворачивался в сторону двери, когда кто-то заходит. А далее следил за лицом человека и не спускал с него взгляд😅 начинаю учить машинное зрение. Спасибо за видео!
@andreypupkin848
@andreypupkin848 2 года назад
И в правду магия
@wisterplay
@wisterplay Год назад
Топово!!! Я попробую повторить. Можна рассказать как сделать чтобы нейросеть распознавала метки и передавала на Ардуино. Мне очень нужна так как делаю робота козмо на Ардуино
Далее
WHO DO I LOVE MOST?
00:22
Просмотров 1,3 млн
WHO DO I LOVE MOST?
00:22
Просмотров 1,3 млн