近日，国家精准农业航空施药技术国际联合研究中心在Plant Phenomics（JCR一区；影响因子6.5）发表题为Point cloud completion of plant leaves under occlusion conditions based on deep learning的研究论文（论文链接：https://doi.org/10.34133/plantphenomics.0117），研究团队提出了一种基于深度相机和深度学习点云补全的植物三维重建方法。该方法通过利用深度学习点云补全技术对RGB-D相机所获取的遮挡条件下的不完整叶片点云进行补全以完成植物三维重建，不仅解决了训练数据不足的问题，还使得模型能够有效地处理使用Azure Kinect捕获的点云数据。
本文的研究流程分为两个阶段。首先，采用深度相机获取了菜心植株的点云数据（图1），并建立了验证集，其中包括不同形状的叶片，以及模拟的不完整叶片，用于评估点云补全方法的效果。随后，使用MeshLab软件对这些点云数据进行了可视化分析（图2）。实验结果表明，点云补全方法能够成功地将不同形状、不同弯曲程度以及不同缺失比例的菜心叶片点云补全，无论这些点云数据是通过MVS-SFM算法获得还是通过Azure Kinect采集的。研究方法还表现出对目标点云的结构关系具有有效学习能力，因此在点云补全的完整性方面表现出强大的潜力。此外，还对不同遮挡情况下的补全效果进行了比较，结果显示在遮挡区域集中时，补全效果更佳，而在遮挡区域分散时，补全效果较差。
图1 补全植物点云的工作流程
图2 具有不同缺失率的叶点云补全的可视化
在第二阶段，针对完整植株的点云数据进行了三维重建（图3），并与MVS-SFM算法的结果进行了对比。实验结果表明，所提出的方法在提高植物点云数据的完整性方面取得了显著的效果，尤其在存在多重遮挡或高缺失比例的情况下，本文的方法表现出更均匀的完整性。进一步进行了点云数据的精度分析，得到了具体的距离分布（图4），结果显示，两种方法生成的点云具有较高的相似性。
图3 叶片点云的可视化补全
图4 距离分布的可视化
最后，研究团队对叶子面积提取的效果进行了评估，具体的评估结果（图5），表明研究方法在叶子面积估计方面的有效性。
图5 叶面积估算与人工测量的相关性评估
论文第一作者为基础实验与实践训练中心陈海波正高级实验师及电子工程学院（人工智能学院）硕士研究生刘圣搏，通讯作者为国家精准农业航空施药技术国际联合研究中心主任兼首席科学家兰玉彬教授及黎源鸿副教授。该研究受到广东省引进领军人才项目、岭南现代农业实验室科研项目、高等学校学科创新引智计划资助、广东省重点领域研发计划等项目的支持。
文图/基础实验与实践训练中心 国家精准农业航空施药技术国际联合研究中心