本项目主要涉及四足机器人(机器狗)在二维码识别、语音播报及运动控制方面的应用开发。通过该项目可以掌握如何将图像识别技术与机器人运动结合起来,实现智能化的机器人行为控制。该实验以二维码为识别目标,机器人在检测到二维码后做出相应的语音反馈,并通过预设的动作控制系统(如点头、摇头等)来做出反馈,从而形成一个闭环的自动化行为链。开发者可以基于本项目结合计算机视觉相关知识,实现更多功能。
- 操作系统:Ubuntu 18.04 或 Windows
- 依赖库:Opencv、pyttsx3
- 机器人平台:绝影Lite3
- 编程语言:Python
- 开发工具:Pycharm 或 Vscode
利用OpenCV库的功能,通过摄像头捕捉实时图像,并在图像中检测二维码。当二维码被成功识别后,程序会返回二维码中的内容信息。
二维码作为信息的载体,在许多场景下被广泛应用。本次实验通过OpenCV的QR检测功能,在捕获的图像中检测并解码二维码。识别到二维码内容后,机器人可以根据二维码中的信息做出相应反应。(素材为本项目的QR.png文件)
通过Python的pyttsx3库,机器人可以根据识别到的二维码信息生成语音提示。这一部分展示了如何利用文本转语音(TTS)技术让机器人发出语音指令和提示。语音播报的速度和语调可以通过调整参数来适应不同的应用需求。
通过UDP协议与机器人进行通信,控制机器人完成一系列的动作,如点头、摇头、前进、后退、左右平移等。具体的实现中,通过Python控制机器人运动的方法包括数据打包、发送UDP包以及相应的运动指令。
-
本地电脑运行(Windows系统)
-
配置运行环境
pip install -r requirements.txt
-
连接机器狗的WiFi
-
将二维码放到本地电脑摄像头前,在终端运行如下命令
python3 main.py
-
-
机器狗本体运行(Ubuntu系统)
-
配置运行环境(需要机器狗处于联网状态)
-
更新系统源
sudo apt update
-
升级pip
python3 -m pip install --upgrade pip
-
安装相关依赖
pip install -r requirements.txt
-
-
外接扬声器(机器狗本体输出声音太小,可能听不到)
-
将二维码放到机器狗的摄像头前(修改main.py初始化函数中的摄像头索引修改使用的摄像头, 广角相机或Realsense),在终端运行如下命令
python3 main.py
-
注意 :在机器狗本体运行时,需要SSH登录到感知主机,而非运动主机
如果你想为该项目贡献代码,请遵循以下步骤:
- Fork 本项目并创建一个新分支。
- 在新分支中做出修改。
- 提交 Pull Request。