硬件层面
图 - 硬件搭建效果展示 +软件层面
+-
+
-
+
安装Nvidia Jetpack
+Nvidia Jetpack是专为Jetson平台设计的构建人工智能应用的全面的解决方案，它包括带有引导程序的Linux驱动程序包、Linux内核、Ubuntu桌面环境，以及一整套用于加速GPU计算、多媒体、图形和计算机视觉的库。参考英伟达官方教程，可用命令行方式安装jetpack
++1
2
3
4
5sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo reboot
sudo apt install nvidia-jetpack执行最后一步命令出现报错：
+
+解决办法：增加英伟达镜像源
+-
+
-
+
首先查看Tegra处理器的Linux操作系统版本：
+cat /etc/nv_tegra_release
+可以看到是L4T 35.3的版本
+
+ -
+
然后
+sudo gedit /etc/apt/sources.list.d/nvidia-l4t-apt-source.list
+ -
+
在文件中添加以下两行
++1
2deb https://repo.download.nvidia.com/jetson/common r35.3 main
deb https://repo.download.nvidia.com/jetson/t234 r35.3 main保存后关闭
+
+ -
+
重启系统后重新执行前文的命令行即可
+
+
+ -
+
-
+
安装jtop监控工具
+
+ -
+
为CUDA设置环境变量
+
+ -
+
配置CuDNN环境
+
+ -
+
安装Anaconda
+
+ -
+
安装ZED SDK
+
+
硬件层面
@@ -461,12 +507,12 @@硬件层面
- 32k + 33k - 29 分钟 + 30 分钟 diff --git a/17690.html b/17690.html index d22c3f6..0641a89 100644 --- a/17690.html +++ b/17690.html @@ -733,12 +733,12 @@获取圆角区域的位置信息
- 32k + 33k - 29 分钟 + 30 分钟 diff --git a/about/index.html b/about/index.html index 29a93cb..d0729ff 100644 --- a/about/index.html +++ b/about/index.html @@ -315,12 +315,12 @@关于我 | About me
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git a/archives/2022/11/index.html b/archives/2022/11/index.html
index 7e67444..7e8e58c 100644
--- a/archives/2022/11/index.html
+++ b/archives/2022/11/index.html
@@ -315,12 +315,12 @@ AdventurerDXC
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git a/archives/2022/index.html b/archives/2022/index.html
index d251a21..81ecab2 100644
--- a/archives/2022/index.html
+++ b/archives/2022/index.html
@@ -315,12 +315,12 @@ AdventurerDXC
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git a/archives/2024/01/index.html b/archives/2024/01/index.html
index 37e6a6a..4806f84 100644
--- a/archives/2024/01/index.html
+++ b/archives/2024/01/index.html
@@ -315,12 +315,12 @@ AdventurerDXC
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git a/archives/2024/index.html b/archives/2024/index.html
index 068d2c2..837acb1 100644
--- a/archives/2024/index.html
+++ b/archives/2024/index.html
@@ -315,12 +315,12 @@ AdventurerDXC
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git a/archives/index.html b/archives/index.html
index 9468763..759200d 100644
--- a/archives/index.html
+++ b/archives/index.html
@@ -338,12 +338,12 @@ AdventurerDXC
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git "a/categories/\350\257\276\347\250\213\344\273\243\347\240\201\347\244\272\344\276\213/index.html" "b/categories/\350\257\276\347\250\213\344\273\243\347\240\201\347\244\272\344\276\213/index.html"
index 5f4c182..a7d6c85 100644
--- "a/categories/\350\257\276\347\250\213\344\273\243\347\240\201\347\244\272\344\276\213/index.html"
+++ "b/categories/\350\257\276\347\250\213\344\273\243\347\240\201\347\244\272\344\276\213/index.html"
@@ -339,12 +339,12 @@ 课程代码示例
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git "a/images/ME4918-\346\234\272\346\242\260\345\267\245\347\250\213\346\234\254\347\247\221\346\257\225\344\270\232\350\256\276\350\256\241/pic05.png" "b/images/ME4918-\346\234\272\346\242\260\345\267\245\347\250\213\346\234\254\347\247\221\346\257\225\344\270\232\350\256\276\350\256\241/pic05.png"
new file mode 100644
index 0000000..bdbbc17
Binary files /dev/null and "b/images/ME4918-\346\234\272\346\242\260\345\267\245\347\250\213\346\234\254\347\247\221\346\257\225\344\270\232\350\256\276\350\256\241/pic05.png" differ
diff --git "a/images/ME4918-\346\234\272\346\242\260\345\267\245\347\250\213\346\234\254\347\247\221\346\257\225\344\270\232\350\256\276\350\256\241/pic06.png" "b/images/ME4918-\346\234\272\346\242\260\345\267\245\347\250\213\346\234\254\347\247\221\346\257\225\344\270\232\350\256\276\350\256\241/pic06.png"
new file mode 100644
index 0000000..c618b83
Binary files /dev/null and "b/images/ME4918-\346\234\272\346\242\260\345\267\245\347\250\213\346\234\254\347\247\221\346\257\225\344\270\232\350\256\276\350\256\241/pic06.png" differ
diff --git a/index.html b/index.html
index e94625d..03a9aeb 100644
--- a/index.html
+++ b/index.html
@@ -192,7 +192,7 @@
-
+
@@ -476,12 +476,12 @@
- 32k
+ 33k
- 29 分钟
+ 30 分钟
diff --git a/search.xml b/search.xml
index 4d88b16..c36c326 100644
--- a/search.xml
+++ b/search.xml
@@ -1,5 +1,133 @@
+
+ ME4918 机械工程本科毕业设计
+ //13599.html
+
+ .fancybox {
+ display: inline-block;
+ }
+
+
+
+ 基于医用物品抓取的3D图像分割、姿态估计和环境理解
+
+
+项目背景
+ 生物样本库通常用来保存血液、基因、代谢产物等珍贵的生物样本。生物样本保存在冻存盒内的冻存管中，并整盒存放于-80°甚至-196°的深低温环境中。为提高存取效率，当用户需要提取样本时，由自动化设备将存有目标样本的冻存盒取出，并使用机械臂夹取目标样本到空冻存盒中完成样本出库，并在-30°环境下使用挑管夹爪夹取目标样本到空冻存盒中完成样本出库。深低温保存条件下，冻存盒体表面会逐渐结霜。在零度以下的工作环境中反复移动、定位和出入库的过程，会导致结霜表面逐渐增厚，盒体发生轻微滑动，盒底孔位结霜干扰识别。长期使用中会导致挑管时盒体定位精度下降，夹爪取放位置误差增大，造成挑管成功率下降，严重时可能损坏样本，造成重大的损失。另外，当出现样本管倾倒等异常情况时，难以通过孔位识别进行定位抓取，也会导致挑管失败。
+ 因此，项目需要一套视觉辅助的机械臂挑管系统，能够实现精准的抓取与稳定的路径规划，同时在检测到样本管异常情况时控制机械臂调整样本管位姿并放置到目标位置。在正常工作环境下，机械臂3轴移动即可实现样本管的平稳运送。但在样本管异常放置情况下，倾斜样本管的位姿调整与移送要求机械臂实现6自由度动作，并能够基于环境理解进行智能抓取。
+
+ 
+
+
+
+ 图 - 项目应用场景
+
+
+个人分工
+ 在本项目中，我将综合应用3D视觉技术和深度学习算法，解决不同形态和大小的医用物品在复杂环境中的抓取问题。首先，通过高效的图像分割技术，我们能够准确地将目标物品从其环境中区分出来，为抓取任务提供了精确的空间定位。进而，利用高级的姿态估计算法，系统能够计算出机械臂执行任务时的最优姿态，确保安全、精确的抓取。最后，通过智能规划，系统得以确定最佳的抓取顺序，旨在优化作业效率和成功率。整个系统的设计均考虑到边缘计算环境的资源限制，确保所有计算过程能在英伟达Orin边缘计算模块上以5hz以上的速度运行，展示了在现代自动化医疗场景中3D视觉技术的巨大潜力和实用价值。
+
+-
+
抓取物品的图像分割
+
+
+ 在复杂的医疗物品抓取任务中，准确的图像分割是实现高效抓取的关键。面对各种形态和尺寸的医用物品（如疫苗管、试管等），我们首先要利用3D视觉技术精确地将这些物品从背景中分割出来。这一步骤需要处理可能出现的物体间遮挡、光照变化以及物体本身的反光材质等问题。图像分割算法需要有足够的鲁棒性，以适应医疗环境中多变的条件。通过对3D点云数据的深度学习处理，能够实现对各种医用物品和它们的空间位置的精确识别，从而为后续的抓取姿态估计和序列规划提供可靠的前处理数据。
+
+-
+
机械臂最佳抓取姿态估计
+
+
+ 根据图像分割结果，系统需要进一步估计机械臂的最佳抓取姿态。使用3D视觉技术构建目标物体的高精度立体模型，结合机器学习算法对抓取点的稳定性和可行性进行评估。抓取姿态涉及到物体的方向、机械臂的接近角度和路径规划等多个要素。我们当中采用优化算法来确保最终推导出的抓取姿态既能增强抓取的成功率，又能最大限度减少机械臂的运动时间和能耗。姿态估计模块必须实时工作，以适应动态变化的抓取环境和任务需求。
+
+-
+
医疗物品抓取顺序的计算
+
+
+ 确定合理的抓取顺序对于提高整体抓取效率和成功率具有至关重要的意义。考虑到各种医疗物品之间的空间布局和相互关联，系统需要计算出一个最优的抓取顺序。这一过程包含复杂的逻辑和规划算法，例如，可能需要优先抓取会对后续操作造成遮挡的物品，或者根据任务紧急性来调整抓取顺序。适配边缘计算的算法需要考虑到计算资源和响应时间的限制，确保在有限的硬件资源下也能够快速给出最优解决方案。
+文献调研+开题答辩
+（见如下文件）
+
+3D视觉识别及其在机器人抓取中的应用-开题答辩PPT.pdf
+环境搭建
+硬件层面
+
+-
+
NVIDIA Jetson Orin NX 16GB
+配备了高性能的英伟达GPU和多核CPU，算力高达每秒275万亿次浮点运算(TOPS)，适合处理复杂的深度学习任务；提供了多种I/O接口和丰富的软件生态；同时具有紧凑的尺寸和优秀的能效比。
+
+
+-
+
ZED 2i双目深度相机
+具备高精度的深度感知能力，拥有广泛的视场(FOV)，提供高分辨率的RGB图像；支持Jetson L4T操作系统，提供了全面的软件开发工具包(SDK)，并为特定AI应用做了优化。
+
+
+-
+
12V 5A电源适配器
+
+-
+
罗技MK275无线键鼠
+
+-
+
Redmi显示器A24-100hz
+
+
+
+ 
+
+
+
+ 图 - 硬件搭建效果展示
+
+
+软件层面
+
+-
+
安装Nvidia Jetpack
+Nvidia Jetpack是专为Jetson平台设计的构建人工智能应用的全面的解决方案，它包括带有引导程序的Linux驱动程序包、Linux内核、Ubuntu桌面环境，以及一整套用于加速GPU计算、多媒体、图形和计算机视觉的库。参考英伟达官方教程，可用命令行方式安装jetpack
+sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo reboot
sudo apt install nvidia-jetpack
+执行最后一步命令出现报错：
+
+解决办法：增加英伟达镜像源
+
+-
+
首先查看Tegra处理器的Linux操作系统版本：cat /etc/nv_tegra_release
+
+可以看到是L4T 35.3的版本
+
+-
+
然后sudo gedit /etc/apt/sources.list.d/nvidia-l4t-apt-source.list
+
+-
+
在文件中添加以下两行
+deb https://repo.download.nvidia.com/jetson/common r35.3 main
deb https://repo.download.nvidia.com/jetson/t234 r35.3 main
+保存后关闭
+
+-
+
重启系统后重新执行前文的命令行即可
+
+
+
+-
+
安装jtop监控工具
+
+-
+
为CUDA设置环境变量
+
+-
+
配置CuDNN环境
+
+-
+
安装Anaconda
+
+-
+
安装ZED SDK
+
+
+]]>
+
+ 课程代码示例
+
+
ME4932 科学研究与创新实践
//17690.html
@@ -330,88 +458,4 @@ transform.txt文件里的数据分别是data1，data2，data3的相机坐标系
课程代码示例
-
- ME4918 机械工程本科毕业设计
- //13599.html
-
- .fancybox {
- display: inline-block;
- }
-
-
-
- 基于医用物品抓取的3D图像分割、姿态估计和环境理解
-
-
-项目背景
- 生物样本库通常用来保存血液、基因、代谢产物等珍贵的生物样本。生物样本保存在冻存盒内的冻存管中，并整盒存放于-80°甚至-196°的深低温环境中。为提高存取效率，当用户需要提取样本时，由自动化设备将存有目标样本的冻存盒取出，并使用机械臂夹取目标样本到空冻存盒中完成样本出库，并在-30°环境下使用挑管夹爪夹取目标样本到空冻存盒中完成样本出库。深低温保存条件下，冻存盒体表面会逐渐结霜。在零度以下的工作环境中反复移动、定位和出入库的过程，会导致结霜表面逐渐增厚，盒体发生轻微滑动，盒底孔位结霜干扰识别。长期使用中会导致挑管时盒体定位精度下降，夹爪取放位置误差增大，造成挑管成功率下降，严重时可能损坏样本，造成重大的损失。另外，当出现样本管倾倒等异常情况时，难以通过孔位识别进行定位抓取，也会导致挑管失败。
- 因此，项目需要一套视觉辅助的机械臂挑管系统，能够实现精准的抓取与稳定的路径规划，同时在检测到样本管异常情况时控制机械臂调整样本管位姿并放置到目标位置。在正常工作环境下，机械臂3轴移动即可实现样本管的平稳运送。但在样本管异常放置情况下，倾斜样本管的位姿调整与移送要求机械臂实现6自由度动作，并能够基于环境理解进行智能抓取。
-
-
-
-
-
- 图 - 项目应用场景
-
-
-个人分工
- 在本项目中，我将综合应用3D视觉技术和深度学习算法，解决不同形态和大小的医用物品在复杂环境中的抓取问题。首先，通过高效的图像分割技术，我们能够准确地将目标物品从其环境中区分出来，为抓取任务提供了精确的空间定位。进而，利用高级的姿态估计算法，系统能够计算出机械臂执行任务时的最优姿态，确保安全、精确的抓取。最后，通过智能规划，系统得以确定最佳的抓取顺序，旨在优化作业效率和成功率。整个系统的设计均考虑到边缘计算环境的资源限制，确保所有计算过程能在英伟达Orin边缘计算模块上以5hz以上的速度运行，展示了在现代自动化医疗场景中3D视觉技术的巨大潜力和实用价值。
-
--
-
抓取物品的图像分割
-
-
- 在复杂的医疗物品抓取任务中，准确的图像分割是实现高效抓取的关键。面对各种形态和尺寸的医用物品（如疫苗管、试管等），我们首先要利用3D视觉技术精确地将这些物品从背景中分割出来。这一步骤需要处理可能出现的物体间遮挡、光照变化以及物体本身的反光材质等问题。图像分割算法需要有足够的鲁棒性，以适应医疗环境中多变的条件。通过对3D点云数据的深度学习处理，能够实现对各种医用物品和它们的空间位置的精确识别，从而为后续的抓取姿态估计和序列规划提供可靠的前处理数据。
-
--
-
机械臂最佳抓取姿态估计
-
-
- 根据图像分割结果，系统需要进一步估计机械臂的最佳抓取姿态。使用3D视觉技术构建目标物体的高精度立体模型，结合机器学习算法对抓取点的稳定性和可行性进行评估。抓取姿态涉及到物体的方向、机械臂的接近角度和路径规划等多个要素。我们当中采用优化算法来确保最终推导出的抓取姿态既能增强抓取的成功率，又能最大限度减少机械臂的运动时间和能耗。姿态估计模块必须实时工作，以适应动态变化的抓取环境和任务需求。
-
--
-
医疗物品抓取顺序的计算
-
-
- 确定合理的抓取顺序对于提高整体抓取效率和成功率具有至关重要的意义。考虑到各种医疗物品之间的空间布局和相互关联，系统需要计算出一个最优的抓取顺序。这一过程包含复杂的逻辑和规划算法，例如，可能需要优先抓取会对后续操作造成遮挡的物品，或者根据任务紧急性来调整抓取顺序。适配边缘计算的算法需要考虑到计算资源和响应时间的限制，确保在有限的硬件资源下也能够快速给出最优解决方案。
-文献调研+开题答辩
-（见如下文件）
-
-3D视觉识别及其在机器人抓取中的应用-开题答辩PPT.pdf
-环境搭建
-硬件层面
-
--
-
NVIDIA Jetson Orin NX 16GB
-配备了高性能的英伟达GPU和多核CPU，算力高达每秒275万亿次浮点运算(TOPS)，适合处理复杂的深度学习任务；提供了多种I/O接口和丰富的软件生态；同时具有紧凑的尺寸和优秀的能效比。
-
-
--
-
ZED 2i双目深度相机
-具备高精度的深度感知能力，拥有广泛的视场(FOV)，提供高分辨率的RGB图像；支持Jetson L4T操作系统，提供了全面的软件开发工具包(SDK)，并为特定AI应用做了优化。
-
-
--
-
12V 5A电源适配器
-
--
-
罗技MK275无线键鼠
-
--
-
Redmi显示器A24-100hz
-
-
-
-
-
-
-
- 图 - 硬件搭建效果展示
-
-
-]]>
-
- 课程代码示例
-
-
项目背景
+生物样本库通常用来保存血液、基因、代谢产物等珍贵的生物样本。生物样本保存在冻存盒内的冻存管中，并整盒存放于-80°甚至-196°的深低温环境中。为提高存取效率，当用户需要提取样本时，由自动化设备将存有目标样本的冻存盒取出，并使用机械臂夹取目标样本到空冻存盒中完成样本出库，并在-30°环境下使用挑管夹爪夹取目标样本到空冻存盒中完成样本出库。深低温保存条件下，冻存盒体表面会逐渐结霜。在零度以下的工作环境中反复移动、定位和出入库的过程，会导致结霜表面逐渐增厚，盒体发生轻微滑动，盒底孔位结霜干扰识别。长期使用中会导致挑管时盒体定位精度下降，夹爪取放位置误差增大，造成挑管成功率下降，严重时可能损坏样本，造成重大的损失。另外，当出现样本管倾倒等异常情况时，难以通过孔位识别进行定位抓取，也会导致挑管失败。
+因此，项目需要一套视觉辅助的机械臂挑管系统，能够实现精准的抓取与稳定的路径规划，同时在检测到样本管异常情况时控制机械臂调整样本管位姿并放置到目标位置。在正常工作环境下，机械臂3轴移动即可实现样本管的平稳运送。但在样本管异常放置情况下，倾斜样本管的位姿调整与移送要求机械臂实现6自由度动作，并能够基于环境理解进行智能抓取。
+
+个人分工
+在本项目中，我将综合应用3D视觉技术和深度学习算法，解决不同形态和大小的医用物品在复杂环境中的抓取问题。首先，通过高效的图像分割技术，我们能够准确地将目标物品从其环境中区分出来，为抓取任务提供了精确的空间定位。进而，利用高级的姿态估计算法，系统能够计算出机械臂执行任务时的最优姿态，确保安全、精确的抓取。最后，通过智能规划，系统得以确定最佳的抓取顺序，旨在优化作业效率和成功率。整个系统的设计均考虑到边缘计算环境的资源限制，确保所有计算过程能在英伟达Orin边缘计算模块上以5hz以上的速度运行，展示了在现代自动化医疗场景中3D视觉技术的巨大潜力和实用价值。
+-
+
-
+
抓取物品的图像分割
+
+
在复杂的医疗物品抓取任务中，准确的图像分割是实现高效抓取的关键。面对各种形态和尺寸的医用物品（如疫苗管、试管等），我们首先要利用3D视觉技术精确地将这些物品从背景中分割出来。这一步骤需要处理可能出现的物体间遮挡、光照变化以及物体本身的反光材质等问题。图像分割算法需要有足够的鲁棒性，以适应医疗环境中多变的条件。通过对3D点云数据的深度学习处理，能够实现对各种医用物品和它们的空间位置的精确识别，从而为后续的抓取姿态估计和序列规划提供可靠的前处理数据。
+-
+
-
+
机械臂最佳抓取姿态估计
+
+
根据图像分割结果，系统需要进一步估计机械臂的最佳抓取姿态。使用3D视觉技术构建目标物体的高精度立体模型，结合机器学习算法对抓取点的稳定性和可行性进行评估。抓取姿态涉及到物体的方向、机械臂的接近角度和路径规划等多个要素。我们当中采用优化算法来确保最终推导出的抓取姿态既能增强抓取的成功率，又能最大限度减少机械臂的运动时间和能耗。姿态估计模块必须实时工作，以适应动态变化的抓取环境和任务需求。
+-
+
-
+
医疗物品抓取顺序的计算
+
+
确定合理的抓取顺序对于提高整体抓取效率和成功率具有至关重要的意义。考虑到各种医疗物品之间的空间布局和相互关联，系统需要计算出一个最优的抓取顺序。这一过程包含复杂的逻辑和规划算法，例如，可能需要优先抓取会对后续操作造成遮挡的物品，或者根据任务紧急性来调整抓取顺序。适配边缘计算的算法需要考虑到计算资源和响应时间的限制，确保在有限的硬件资源下也能够快速给出最优解决方案。
+文献调研+开题答辩
+（见如下文件）
+ +3D视觉识别及其在机器人抓取中的应用-开题答辩PPT.pdf
+环境搭建
+硬件层面
+-
+
-
+
NVIDIA Jetson Orin NX 16GB
+配备了高性能的英伟达GPU和多核CPU，算力高达每秒275万亿次浮点运算(TOPS)，适合处理复杂的深度学习任务；提供了多种I/O接口和丰富的软件生态；同时具有紧凑的尺寸和优秀的能效比。
+
+
+ -
+
ZED 2i双目深度相机
+具备高精度的深度感知能力，拥有广泛的视场(FOV)，提供高分辨率的RGB图像；支持Jetson L4T操作系统，提供了全面的软件开发工具包(SDK)，并为特定AI应用做了优化。
+
+
+ -
+
12V 5A电源适配器
+
+ -
+
罗技MK275无线键鼠
+
+ -
+
Redmi显示器A24-100hz
+
+
+软件层面
+-
+
-
+
安装Nvidia Jetpack
+Nvidia Jetpack是专为Jetson平台设计的构建人工智能应用的全面的解决方案，它包括带有引导程序的Linux驱动程序包、Linux内核、Ubuntu桌面环境，以及一整套用于加速GPU计算、多媒体、图形和计算机视觉的库。参考英伟达官方教程，可用命令行方式安装jetpack
++sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo reboot
sudo apt install nvidia-jetpack执行最后一步命令出现报错：
+
+解决办法：增加英伟达镜像源
+-
+
-
+
首先查看Tegra处理器的Linux操作系统版本：
+cat /etc/nv_tegra_release
+可以看到是L4T 35.3的版本
+
+ -
+
然后
+sudo gedit /etc/apt/sources.list.d/nvidia-l4t-apt-source.list
+ -
+
在文件中添加以下两行
++deb https://repo.download.nvidia.com/jetson/common r35.3 main
deb https://repo.download.nvidia.com/jetson/t234 r35.3 main保存后关闭
+
+ -
+
重启系统后重新执行前文的命令行即可
+
+
+ -
+
-
+
安装jtop监控工具
+
+ -
+
为CUDA设置环境变量
+
+ -
+
配置CuDNN环境
+
+ -
+
安装Anaconda
+
+ -
+
安装ZED SDK
+
+
项目背景
-生物样本库通常用来保存血液、基因、代谢产物等珍贵的生物样本。生物样本保存在冻存盒内的冻存管中，并整盒存放于-80°甚至-196°的深低温环境中。为提高存取效率，当用户需要提取样本时，由自动化设备将存有目标样本的冻存盒取出，并使用机械臂夹取目标样本到空冻存盒中完成样本出库，并在-30°环境下使用挑管夹爪夹取目标样本到空冻存盒中完成样本出库。深低温保存条件下，冻存盒体表面会逐渐结霜。在零度以下的工作环境中反复移动、定位和出入库的过程，会导致结霜表面逐渐增厚，盒体发生轻微滑动，盒底孔位结霜干扰识别。长期使用中会导致挑管时盒体定位精度下降，夹爪取放位置误差增大，造成挑管成功率下降，严重时可能损坏样本，造成重大的损失。另外，当出现样本管倾倒等异常情况时，难以通过孔位识别进行定位抓取，也会导致挑管失败。
-因此，项目需要一套视觉辅助的机械臂挑管系统，能够实现精准的抓取与稳定的路径规划，同时在检测到样本管异常情况时控制机械臂调整样本管位姿并放置到目标位置。在正常工作环境下，机械臂3轴移动即可实现样本管的平稳运送。但在样本管异常放置情况下，倾斜样本管的位姿调整与移送要求机械臂实现6自由度动作，并能够基于环境理解进行智能抓取。
-
-个人分工
-在本项目中，我将综合应用3D视觉技术和深度学习算法，解决不同形态和大小的医用物品在复杂环境中的抓取问题。首先，通过高效的图像分割技术，我们能够准确地将目标物品从其环境中区分出来，为抓取任务提供了精确的空间定位。进而，利用高级的姿态估计算法，系统能够计算出机械臂执行任务时的最优姿态，确保安全、精确的抓取。最后，通过智能规划，系统得以确定最佳的抓取顺序，旨在优化作业效率和成功率。整个系统的设计均考虑到边缘计算环境的资源限制，确保所有计算过程能在英伟达Orin边缘计算模块上以5hz以上的速度运行，展示了在现代自动化医疗场景中3D视觉技术的巨大潜力和实用价值。
--
-
-
-
抓取物品的图像分割
-
-
在复杂的医疗物品抓取任务中，准确的图像分割是实现高效抓取的关键。面对各种形态和尺寸的医用物品（如疫苗管、试管等），我们首先要利用3D视觉技术精确地将这些物品从背景中分割出来。这一步骤需要处理可能出现的物体间遮挡、光照变化以及物体本身的反光材质等问题。图像分割算法需要有足够的鲁棒性，以适应医疗环境中多变的条件。通过对3D点云数据的深度学习处理，能够实现对各种医用物品和它们的空间位置的精确识别，从而为后续的抓取姿态估计和序列规划提供可靠的前处理数据。
--
-
-
-
机械臂最佳抓取姿态估计
-
-
根据图像分割结果，系统需要进一步估计机械臂的最佳抓取姿态。使用3D视觉技术构建目标物体的高精度立体模型，结合机器学习算法对抓取点的稳定性和可行性进行评估。抓取姿态涉及到物体的方向、机械臂的接近角度和路径规划等多个要素。我们当中采用优化算法来确保最终推导出的抓取姿态既能增强抓取的成功率，又能最大限度减少机械臂的运动时间和能耗。姿态估计模块必须实时工作，以适应动态变化的抓取环境和任务需求。
--
-
-
-
医疗物品抓取顺序的计算
-
-
确定合理的抓取顺序对于提高整体抓取效率和成功率具有至关重要的意义。考虑到各种医疗物品之间的空间布局和相互关联，系统需要计算出一个最优的抓取顺序。这一过程包含复杂的逻辑和规划算法，例如，可能需要优先抓取会对后续操作造成遮挡的物品，或者根据任务紧急性来调整抓取顺序。适配边缘计算的算法需要考虑到计算资源和响应时间的限制，确保在有限的硬件资源下也能够快速给出最优解决方案。
-文献调研+开题答辩
-（见如下文件）
- -3D视觉识别及其在机器人抓取中的应用-开题答辩PPT.pdf
-环境搭建
-硬件层面
--
-
-
-
NVIDIA Jetson Orin NX 16GB
-配备了高性能的英伟达GPU和多核CPU，算力高达每秒275万亿次浮点运算(TOPS)，适合处理复杂的深度学习任务；提供了多种I/O接口和丰富的软件生态；同时具有紧凑的尺寸和优秀的能效比。
-
-
- -
-
ZED 2i双目深度相机
-具备高精度的深度感知能力，拥有广泛的视场(FOV)，提供高分辨率的RGB图像；支持Jetson L4T操作系统，提供了全面的软件开发工具包(SDK)，并为特定AI应用做了优化。
-
-
- -
-
12V 5A电源适配器
-
- -
-
罗技MK275无线键鼠
-
- -
-
Redmi显示器A24-100hz
-
-
-