本项目基于深度学习建立了一个端到端的系统来解决智能车的避障问题,智能车直接从第一视角图像中学习如何运动。智能车在不同的场景、光照条件、障碍物类型和障碍物密度下进行了避障实验,取得了令人满意的效果。
智能车具备全向运动能力,其底盘由三个全向轮组成,径向对称安装。智能车前部安装了相机,用于在前进过程中采集图像。智能车搭载了自行设计的数据处理平台,因此不需要远程主机的协助。在采集数据时,处理平台控制相机拍照,把图像保存在平台上。在避障实测中,处理平台运行训练好的神经网络,神经网络根据实时采集的图像预测转向角度,驱动智能车运动。另外,智能车还安装了电源和电源管理系统,以及用于安全保护的360度超声防撞系统。智能车平台如下图所示。基于计算机视觉和深度学习的自动驾驶方法研究.zip
为保证训练样本的多样性和代表性,样本采集需要在不同的地图、地面环境、光照条件下进行。样本采集工作在哈尔滨工业大学新技术楼907和401进行,采集时部分场景图像如下图所示。部分训练样本下载链接bai2017intelligent-training-data.zip
训练结束后,智能车能够在有标志线和障碍的环境中进行避障。算法实时计算当前合适的转向角度,驱动智能车运动。智能车在实验中的避障视频如下。
项目主要成员: 白辰甲 薛怡然
[1]白辰甲. 基于计算机视觉和深度学习的自动驾驶方法研究[D]. 哈尔滨工业大学, 2017.thesis.zip