最近有一个想法,想与社区的朋友交流,想法很简单,通过视觉隔空操控电脑的鼠标。请注意,这里只是替代鼠标,当然键盘未来也可能,然后再增加一些诸如上滑动,下滑动,分展,西屏幕,关机等操作,通过这些动作的识别,你完全可以打造出下一代人机交互工具!!
让我们来想象一下未来的场景:
我们的电脑可能是38英寸的巨大屏幕,此时我们已经无法使用鼠标操控了,而是采用基于摄像头的隔空操控方案,AI自动捕捉我们的动作,然后转化成鼠标位移。这个想法绝对绝对很酷炫!!!
我目前想到的解决方案是这样的:
- 通过手的pose 检测,来得到各个指关节的位置,然后跟踪得到位移,再通过电脑的相关SDK来实现控制;
- 通过视频的理解来分析动作,或者十分简单,通过视频动作分类来解决。
不知道大家有何想法?