基于动态视觉传感器的无人机目标检测与避障
作者：文阅期刊网 来源：文阅编辑中心 日期：2022-05-26 16:05人气：
摘 要：针对无人机在动态环境中感知动态目标与躲避高速动态障碍物，设计了基于动态视觉传感器的目标检测与避障算法。设计了滤波方法和运动补偿算法，滤除事件流中背景噪声和热点噪声以及由于相机自身运动产生的冗余事件。设计了一种融合事件图像和RGB图像的动态目标融合检测算法，保证了检测的可靠性。根据检测结果对目标运动轨迹进行估计，结合障碍物运动特点和无人机动力学约束改进了速度障碍法躲避动态障碍物。大量仿真试验、手持试验及飞行试验验证了所提算法的可行性。
关键词:事件相机;事件滤波;运动补偿;融合检测;速度障碍法;
Object detection and obstacle avoidance based on dynamic vision sensor for UAv
CAl Zhihao CHEN Wenjun ZHAO Jiang WANG Yingxun
School of Automation Science and Electrical Engineering, Beihang University
Abstract：
Dodging fast-moving objects in flight is a huge challenge for unmanned aerial vehicles(UAVs). In order to detect and avoid high-speed dynamic obstacles in dynamic environment, an algorithm of target detection and obstacle avoidance based on dynamic vision sensor was designed. Firstly, we propose an event filter method and to filter the background noise, hot noise, and the method preserves the asynchrony of events. Motion compensation algorithm is designed to filter redundant events caused by the camera's own motion in the event stream. For dynamic object detection, a fusion detection algorithm of event image and RGB image is designed, it has higher robustness in high dynamic environment. Finally, the target trajectory was estimated according to the detection results, and we improved the velocity obstacle method to avoid dynamic obstacles combined with the characteristics of obstacles movement and UAV dynamic constraints. A large number of simulation tests, hand-held tests and flight tests are carried out to verify the feasibility of the algorithm.
Keyword：
event-based camera; event filter; motion compensation; fusion detection; velocity obstacle;
无人机因其小巧的结构以及多变的操作在复杂场景以及困难任务中有着广泛的应用。但是在动态环境中感知高速运动物体、躲避高速动态障碍物，仍然是需要攻破的难题。由于无人机承重能力和能源供应能力有限，携带如雷达、声纳、激光等大重量、高功耗的传感器会大大减少飞机飞行时间，以相机为主要传感器的感知方法已经成为一种主要的发展趋势[1]。
当前主流的相机感知方法还存在许多限制，比如，RGB相机（frame-based camera）在场景光照不足的情况以及相机高速运动的情况下,产生运动模糊。Falanga[2]指出在躲避相对速度较大的障碍物时，需要减小感知延迟，这表明所采用的传感器具有更高的时间分辨率。
事件相机（event-based camera）是一种新型的仿生视觉传感器[3]，如动态视觉传感器（dynamic vision sensor，DVS），事件相机与RGB相机不同，输出像素级亮度变化而不是标准强度帧。每个事件ei表示为：ei=[x,y,t,p]，x和y分别为触发的事件在图像坐标系的位置，t为事件触发时刻，p为事件的极性[4]，事件相机的输出是以微秒时间分辨率的事件流（event stream）Estream[5]，相当于以每秒数千帧的速度运行的传统视觉传感器，但是数据量要小得多。由于具有局部处理功能，事件相机整体功率、数据存储和计算性能要求也大大降低，并且动态范围相比增加了数个数量级。事件相机不会受到运动模糊的影响，并且具有非常高的时间动态范围，这使得它们能够在高速运动期间或以高动态范围为特征的场景中提供可靠的视觉信息。
但是事件相机通常存在感光阈值C造成的噪声、背景噪声（background activity）[6]、热点噪声（hot pixel）[7]。需要根据噪声特点进行滤波，方便后续事件的处理。单个事件没有任何意义，需要进行事件的数据关联，可通过事件可视化进行关联。事件的可视化方法常用的有累积固定时间窗口[8]、累积固定事件数量[8]及基于生命周期[9]的方法。基于生命周期[9]的方法，能有效地抑制加速梯度引起的运动模糊，但是计算量较大，不便于部署在无人机机载设备上。
运动补偿[10]（motion compensation）就是在图像中不仅保留事件的位置，还要构建运动模型，假设事件是由场景中移动的物体边缘触发产生，通过时间信息对事件进行2D变换，使图像的对比度达到最大，从而得到边缘锐化的图像。文献[10]使用了光流的方法获取环境中深度信息，对事件图像进行运动补偿，文献[11]是通过深度相机直接获取深度信息进行运动补偿，减小了计算量。
文献[2]中指出，机器人在高动态环境中飞行时，机器人与障碍物之间的相对速度往往很大，相对速度越大，感知延迟（指感知环境并处理捕获的数据生成控制指令所需要的时间）的作用就越关键。Falanga等[12]在文献[2]中强调的感知延迟问题的基础上，使用改进的人工势场法计算飞机每个事件步长的排斥力躲避了相对速度约为10m/s的动态障碍物。Sanket等[13]提出了一种事件相机的基于深度学习的动态避障方法，提出了组合而成的事件相机避障网络EVDodgeNet。文献[11]通过预测动态障碍物的运动轨迹躲避了7~12m/s的动态障碍物。
当前国内外研究者针对动态视觉传感器的目标检测与避障方法做出了一定的探索。但是存在部分改进空间：①在算法能够在无人机机载设备上实时运行的前提下，进一步提高目标检测的稳定性[11,12,13]。②简化无人机避障控制，减少无人机避障控制指令[12]。为了改进以上问题，本文研究了基于动态视觉传感器的无人机目标检测与避障方法。本文的主要创新点如下：
1）设计了一种针对事件流的事件滤波方法，可以滤除背景噪声和热点噪声，并保持事件的异步性。
2）提出了一种融合事件图像和RGB图像的动态目标融合检测方法，在高动态场景中进行了仅依靠RGB相机和事件相机检测试验对比，体现了融合检测方法的鲁棒性。
3）根据无人机动力学模型和视场角约束改进了速度障碍法，求解出动态场景下的最优期望速度。并对比了文献[12]采用的人工势场法，在高速度动态障碍物的时该方法具有较稳定的效果。
4）搭载了飞机平台进行了实际飞行验证，成功躲避高速运动障碍物，验证了算法的可行性与在飞机平台上的实时性。
1 算法整体框架
本文主要针对高动态场景中，动态障碍物对四旋翼无人机飞行安全造成威胁的情况，躲避动态障碍物，即实现图1的躲避高速运动障碍物的场景。
为了实现图1的任务场景，设计了图2的算法框架，主要包括事件预处理、高动态场景目标检测和动态避障三部分。
1）事件预处理。设计的滤波算法对事件流处理，滤除事件的背景噪声和热点噪声。采用事件数量和固定时间双阈值的形式可视化事件，生成事件图像。根据IMU、深度信息以及无人机的里程计信息进行运动补偿，优化事件图像。
2）高动态场景目标检测。对事件图像进行动态目标分割获取检测结果，RGB相机的图像使用YOLO-tiny获取检测结果，通过置信度进行融合，获得最终检测结果。
3）动态避障。为了提高障碍物位置估计的精度，融合了检测结果和深度图像获得深度信息，并通过最小围椭球体体积（MVEE）将障碍物拟合为椭球，获得相机坐标系下的位置。通过Kalman滤波估计障碍物运动速度。最后根据任务场景特点改进了速度障碍（velocity obstacle，VO）法，在优化问题中，考虑了无人机的视场角约束和动力学模型。获取期望速度躲避动态障碍物。
2 事件流滤波及可视化算法
2.1 事件滤波
在一定的时空内，背景噪声事件数量小于某一阈值的概率较高，由环境中物体运动或者光强变化引起的真实事件数大于该阈值的概率较高。一个事件是真实事件或者噪声事件的概率需要一段事件的事件流来计算。对于待处理的事件e0(x0,y0,t0,p0)，使用二维高斯核：
G(d,t)=12πσ1σ2e−12((Δdi)2σ21+(Δti)2σ22)(1)
式中：Δdi=(xi−x0)2+(yi−y0)2−−−−−−−−−−−−−−−−−−√为该事件与其他事件的空间距离，Δti=|ti−t0|为该事件与其他事件的时间戳距离。
将事件流用二维高斯核进行卷积，得到该事件的真实事件概率。
Pe0=Estream(d,t)⊗G(d,t)(2)
Pe0=∑i=1N12πσ1σ2e−12((Δdi)2σ21+(Δti)2σ22)(3)
式中：⊗表示卷积运算，σ1、σ2是事件间的空间距离Δd及时间距离Δt的标准差，与事件相机分辨率和事件流的时间间隔相关。
如式(4)所示，当事件概率小于阈值λ时，认为该事件为背景事件；当事件数大于阈值λ时，认为该事件为真实事件。
ei={{xi,yi,ti,pi},null,Pei≥λPei<λ(4)
2.2 事件图像可视化方法
本文使用事件数据数量及时间阈值双限制的方式进行累计得到事件图像。如式(5)所示，这样产生的事件图像既可以保证高时间分辨率又可以使事件中具有足够的信息进一步处理。
T=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∫tendtstartEstream(tcur)dtcur,∑0Nei,∑Δtei<N∑Δtei>N(5)
2.3 运动补偿
首先将从t0开始某一个很短时间间隔Δt的事件存储为事件流Et0。利用IMU数据计算时间Δt内，在世界坐标系下的平均的角速度ω¯¯和相机坐标系到世界坐标系的旋转矩阵WRC。
旋转补偿的主要目的是滤除由于相机自身旋转所产生的事件。根据获得的平均角速度ω¯¯和罗德里格斯旋转公式（Rodrigues’ Rotation Formula）如下：
Re=cosθI+(1−cosθ)nnT+sinθn^(6)
式中：^为向量到反对称矩阵的转换符，Re为需求得的事件相机旋转矩阵，n为一个单位长度的旋转轴，旋转角度θ=ω¯¯(t−t0)，t是当前事件的时间戳。
由于事件数量较多，选择每一毫秒计算一次相机旋转矩阵。针对该时间段的事件进行旋转补偿(x,y,t,p)→(xr,yr,t0,p)。即保持事件的极性p不变，将原来的像素坐标(x,y)转换为旋转后像素坐标(xr,yr)，并且将时间戳归一化到t0时刻。运动补偿后的事件依旧是像素坐标系下，要把事件通过事件相机的内参矩阵转换到相机坐标系下，如下：
Zc⎡⎣⎢xy1⎤⎦⎥=⎡⎣⎢f000f0001000⎤⎦⎥⎡⎣⎢⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥⎥(7)
通过相机坐标系和世界坐标系的平移矩阵WTE，将事件在相机坐标系XE转换到世界坐标系下，然后乘以平移补偿矩阵，将事件重新转移到相机坐标系下，完成平移补偿。可以由式(8)表示上述平移补偿过程。
X′E=WT−1ETt−t0WTEXE(8)
式中：X′E表示平移运动补偿后事件在相机坐标系下的坐标，WT−1E表示由世界坐标系转换到相机坐标系的平移矩阵。Tt−t0为平移补偿矩阵，表示从t0时刻开始到t时间段内，相机在世界坐标系下的平移。
Tt−t0=[I0Tv⋅(t−t0)1](9)
式中：v为无人机里程计获得的线速度信息。
3 融合事件与RGB图像动态目标检测
3.1基于事件图像的检测
在运动补偿之后，需要对事件图像进行处理，通过均值滤波去除椒盐噪声。利用动态障碍物具有更高的平均时间戳的特性，检测动态障碍物。通过形态学操作将事件分成不同对象。每个像素点{i,j}∈T,Ti,j都和一个评价分数ρ(i,j)∈[−1,1]相关联，这样能够定量的表示每个动态障碍物与背景的区别，用评价分数ρ区分是动态障碍物Ok还是背景B。
ρ(i,j)=Ti,j−MΔt(10)
B={i,j|ρ(i,j)≤λ}O={i,j|ρ(i,j)>λ}(11)
式中：M表示该事件图像的平均时间戳，O=O1∪…On表示动态障碍物集合，n为独立动态障碍物的个数，λ为预定义的每个动态障碍物的最小置信值。为了检测独立的动态障碍物，利用简单的形态学操作（碰撞）对事件图像像素进行分组。针对每个动态障碍物生成一个检测框，包括中心点坐标COk=(x,y)和边长LOk=(w,h)，w和h分别表示检测框的宽和高。
3.2融合检测
由于事件相机工作原理限制，事件相机不能较好的检测静态目标。当相机或者目标高速运动的时候，基于事件相机动态目标检测效果会优于基于普通相机的一步法（one step）机动目标检测效果；而在相机或者目标运动非常缓慢的时候，基于普通相机的一步法机动目标检测效果会优于基于事件相机的动态目标检测效果，为了实现在高速运动以及缓慢运动时都具有良好的检测效果，提出根据置信度将事件相机的检测结果和普通相机的检测结果进行融合。
如图3所示，基于RGB相机的目标检测采用一步法的检测算法，下面简称为FD（frame-based detection），采用了YOLO-tiny[14]的网络框架，检测流程更加简化，检测速度会大幅度的提升，适合于无人机的高速目标检测，其输出包括置信度Pframe和检测框。基于事件相机的动态目标检测，下面简称为ED（event-based detection），由事件相机输出的事件流，经过事件滤波，进行运动补偿，通过2.1节所述方法完成动态目标检测。
在融合前需要解决两种检测通道的时间同步问题，通常RGB相机的输出帧速度较低，约为25Hz（时间间隔为40ms），所以FD的频率也约为25Hz。由于基于事件数据数量事件图像表示方法的频率不确定，所以在融合检测时ED采用时间阈值的方法，一般取20ms或10ms。当ED取20ms时，FD与ED的第一帧对齐，当ED取10ms时，FD与ED的第二帧对齐，如图4中红色框所示。
由于ED的检测过程没有置信度的输出，并且RGB图像的目标特征更丰富，因此本文认为在无人机与目标相对速度较小时，RGB图像的检测效果更可靠，相应的得到置信度Pframe越高；在无人机与目标相对速度较大时，RGB图像会出现运动模糊的情况，相应的置信度Pframe越小，ED的检测结果更可靠，因此融合策略如下：
式中：Bbox表示检测框，Pthreshold为设计参数，表示置信度阈值，本文采用的是0.5。即当Pframe≥Pthreshold将FD检测结果作为融合检测的输出，当Pframe<Pthreshold将ED检测结果作为融合检测的输出。
4 基于速度障碍法的动态避障算法
4.1动态障碍物的位置与速度估计
若已知当地重力加速度gW，并且假设球在过程中自由落体运动，忽略球在过程中受到的空气阻力。这样根据初始位置pWbt0和初始速度vWbt0就可以估计出球的运动轨迹。所以球的运动轨迹可以表示为
pWbt0+vWbt0Δt+12gWΔt2=pWet+dbtRWetubt(13)
式中：Δt=t−t0为第一次检测到球到当前时间的时间差，pWet为t时刻事件相机坐标原点在世界坐标中的位置，RWet为此时事件相机坐标系相对于世界坐标系的旋转矩阵，dbt为t时刻球到相机的深度信息，ubt为t时刻像素坐标系下球的坐标。
1）深度估计
动态障碍物的位置的确定需要深度信息，依靠单目相机测量深度一般需要目标的真实大小或者需要连续两帧以及两帧之间的平移与旋转运动信息，通常存在较大的扰动，于是提出一种融合检测结果与深度相机的深度估计方法。
根据相机内外参，可得事件相机像素到深度相机像素点的映射关系，如下：
⎡⎣⎢uv1⎤⎦⎥D=KDER−1DK−1E⎡⎣⎢ZCEZCD⎡⎣⎢uv1⎤⎦⎥E−KEETD⎤⎦⎥(14)
式中：下标E表示事件相机参数，下标D表示深度相机参数，ZCE表示事件相机坐标系下深度信息，ZCD表示深度相机坐标系下深度信息。K、ER−1D和ETD分别为相机内参矩阵、事件相机坐标系相对于深度相机坐标系的旋转矩阵与平移矩阵。
如图5所示，事件相机和深度相机上下放置，由刚体设备固定，所以事件相机相对深度相机的旋转矩阵ERD和偏移矩阵ETD可以通过相机间外参标定确定。
2）速度估计
在确定位置信息之后，需要对速度做出估计，使用了Kalman滤波[15]，因为对障碍物的位置信息的确定是有噪声的，尤其是障碍物距离无人机较远时；其次由于速度障碍法对速度的要求十分准确，需要确定生成的速度障碍，需要对速度做出较为准确的估计。把障碍物的位置信息作为输入量，并且引入时间延迟（Kalman是低通滤波器，通常时间延迟低于0.3ms），以障碍物的位置和速度作为输出量。
3）动态障碍物表示
用椭球来表示障碍物，因为椭球能很好地表示位置和大小的期望高斯误差[16]。从成像平面的事件图像数据构建世界参考系中的障碍物椭球。用迭代法在六个投影点周围拟合出一个最小体积椭球。
mininumAsubjecttologdet(A−1)(pi−c)TA(pi−c)≤1i=1,…,mA>0(15)
式中：A为n×n的椭圆方程的中心形式的矩阵，即满足(x−c)TA(x−c)=1；c为n维的向量表示椭圆的中心；pi表示矩阵P的第i个向量，矩阵P为包含m个点的n维数据矩阵。
上述方法直接针对累积的事件图像检测框内的事件进行拟合。根据拟合结果和深度信息以及深度统计的误差，将障碍物在相机坐标系下进行表示，算法1所示。
根据拟合的结果，确定椭球的两个轴长，再结合深度信息，以及深度信息的误差δd确定椭球的另外一个轴长（即2δd），根据式(7)获得动态障碍物在相机坐标系下的表示，即动态障碍物与相对的相对位置。
算法1 球的拟合与表示算法。
输入：事件图像、检测框、深度信息。
输出：相机坐标系的坐标、椭球的各轴长。
Begin
根据检测和事件图像，确定数据矩阵P={p1,p2,…,pm}
求解优化函数式(15)
根据相机内参与深度信息确定障碍物在相机坐标系的坐标与椭球的轴长
End
4.2考虑无人机动力学约束的速度障碍法
传统的速度障碍法[17]仅仅考虑了当前控制周期内可实现的速度集合进行的规划，没有充分考虑到碰撞前的无人机与障碍物间的距离和时间的影响，没有考虑无人机动力学约束下可达速度空间的合理选择问题，于是需要对传统的速度障碍法进行改进。
1）传统速度障碍法改进
如图6所示，首先对于运动的障碍物B，针对避障前的检测，考虑到碰撞前的无人机和障碍物之间的距离和时间约束，来改变障碍物的半径RB，如下：
RˆB=(h(λt)+h(λd))RB(16)
式中：RˆB表示更新后的障碍物半径，λt=tcT，λd=disABLsafe，tc=disABVA,B，其中tc称为碰撞时间，disAB表示无人机和障碍物之间的距离，VA,B表示无人机和障碍物之间的相对速度，Lsafe表示无人机飞行过程中的躲避动态障碍物的安全距离。h(*)为权重函数，当h(λt)+h(λd)>1时，使h(λt)+h(λd)=1，保证障碍物半径不被过度放大。
根据论文[2]中提到的，为了使无人机在高动态环境中对任务的较快响应，尽量使得无人机不改变纵向速度，即无人机前进方向速度大小不发生改变。如图7所示，确定安全距离Lsafe。图中e1方向为纵向运动方向，即速度VA不可改变方向。s为无人机的最大检测距离。感知延迟记为τdelay，表示当障碍物进入感知区域的时间与无人机开始执行避障动作时刻之间的间隔。安全距离Lsafe即为在e2方向完成横向运动的时间以及感知延迟时间段内，无人机在e1方向上最少飞行的距离。
Lsafe={l,l<ss,l≥s(17)
式中：l=VA(t+τdelay)无人机在e1方向上最少飞行的距离，t=2a2(RA+RB)−−−−−−−−−−−√表示在e2方向完成横向运动的时间，RA为无人机的安全半径，a2为e2方向上无人机的加速度。
最后针对无人机动力学约束下的可达速度空间，根据实际的无人机模型，确定无人机在Δt范围内，能够达到的速度变化和角度变化。在一个控制周期T内，速度变化的最大值和最小值分别为ΔVAmax、ΔVAmin，角度变化的最大值和最小值为ΔαAmax、ΔαAmin。
2）最优避障策略设计
①沿lMO或lNO。
为了保证无人机的安全飞行，可以使期望相对速度沿着相对碰撞堆的边缘，即此刻的无人机期望速度为vmax∠lMO或vmax∠lNO，且保证使得无人机速度改变最小。
②采用优化策略。
在无人机高动态飞行中，应尽快的响应任务，在保证无人机飞行安全的前提下，使得无人机的速度改变最小，偏离期望速度最小，所示设计的优化目标函数为J(ΔV)，其中障碍物速度VB已抵消，Vtarget表示无人机的期望速度（朝向目标点方向），Vcur表示无人机当前的飞行速度。
mininumAsubjecttoVtarget−(Vcur+ΔV)]2+λ⋅ΔV2ΔP⋅Vcur+ΔV|Vcur+ΔV|+(RA+RB)2−ΔP2≤0−τ⋅g≤ΔV≤τ⋅g(18)
约束条件如式(18)所示，其中第一个约束表示相对速度的方向要在锥面lMOAlNO外面，其中ΔP⋅Vcur+ΔV|Vcur+ΔV|表示相对位置在相对速度方向的投影。第一个约束等号成立时表示，此时的速度方向恰好落于射线lMO或lNO上。第二个约束表示无人机速度的变化受无人机动力学约束，其中τ为无人机推重比，g为1×3矢量，表示当地重力加速大小的向量。
5 试验与分析
本文提出的融合事件和RGB图像的融合检测算法具有一定鲁棒性，本文根据无人机动力学约束改进的速度障碍法具备躲避高速运动的动态障碍物。为了验证算法的有效性和性能，进行了仿真试验和手持试验，并设计无人机平台进行了飞行试验。
5.1仿真试验与手持试验
1）动态障碍物检测与定位
根据1.1节提出的事件流滤波方法，使用DAVIS 346 Color事件相机对一个碳素杆进行记录其左右运动产生的事件。如图8所示，滤波前时空图中沿时间轴一直存在的事件，为热点噪声，无规则散落在时空中的为背景噪声。本文滤波算法可以较好的滤除背景噪声和热点噪声。当前没有统一的滤波评价标准，因为无法分清某一事件为真实事件还是噪声事件，时空图的方式能较直观的反应滤波效果，保留了有关联的事件，同时保留了事件的异步性。
使用DAVIS 346 color相机，以累积事件数量N=15000和时间间隔20ms为例，进行运动补偿后的图像与运动补偿前的图像对比如图9所示，从左到右依次为传统图像、运动补偿前的事件累积图像、运动补偿后的事件图像。
在目标由运动到静止，过程中关闭照明再打开，过程中环境的光照强度由145Lux到15Lux，再变为145Lux。使用DAVIS 346 color相机，同时记录RGB图像和事件流进行目标检测。试验中整过程为17s，RGB图像的频率为25Hz，事件图像的频率为50Hz，融合检测的设计参数Pthreshold取0.6。试验结果如图10所示，图中融合结果的检测框颜色表示此结果来源不同（红色表示来源于事件图像检测，蓝色表示来源于RGB图像，绿色表示同时来源于两者），检测结果对比如表1所示（统计时以RGB图像频率为基准，总计431帧，其中黑暗环境占104帧、目标静止时间占32帧）。融合检测结果相比于仅依靠RGB图像检测结果相比，检测率提高了28.4%，相比于仅依靠事件图像检测结果相比，检测率提高了9.1%。
根据检测结果的检测框，将其长宽进行缩放（试验中缩放为原来的1/2），并在新的检测框中利用直方图进行统计，得出目标的深度信息。如图11所示为目标抛物运动时融合测距试验图。如图12所示，为目标在平行光轴运动时，对比了PnP、基于针孔相机模型测距和融合测距结果，统计结果如表2所示，融合测距结果无论在最大误差还是平均误差均为最小。
2）避障仿真
按照真实试验飞机平台参数设计，试验参数如表3所示。考虑视场角和传感器检测距离，设计的无人机高动态算法如算法2所示。
算法2 无人机高动态避障算法。
输入：无人机运动状态SA(t)、障碍物运动状态SB(t)。
输出：下一时刻的目标速度VB。
Begin
If disA,B<s and ∠(PB−PA,VA)<α then
确定绝对碰撞堆ACC与相对速度VA,B
If VA,B∈ACC then
由式(18)求得期望速度变化ΔV
Vcur←Vcur+ΔV
End if
End if
End
在二维仿真中设置初始位置(0,0)，目标位置为(0,15)，在(0,8)处抛掷动态障碍物，以图7尽量不改变e1方向的速度，以飞行时间为代价，进行避障仿真，并对比了文献[12]的人工势场法。仿真结果如图13所示，结果对比如表4所示。
根据仿真结果本文提出的方法在躲避动态障碍物时的路径优于文献[12]的避障方法，而且不要考虑斥力和吸引力的设计问题以及无人机的偏航角控制问题。
在三维仿真中设置初始位置(0,0,0)、目标位置(10,15,2)，并在沿途中设置两个障碍物，障碍物水平速度为9.6m/s，并做自由落体运动，如图14所示。
5.2实际飞行试验
1）试验系统架构
如图15所示，无人机为轴距330mm的四旋翼无人机，搭载CUAV V5+飞控、DJI Manifold-2G计算平台、Davis346 Color事件相机、Intel Realsense D435i深度相机以及主动捕捉系统定位球用于记录真实数据。软件平台基于机器人操作系统（Robot Operating System，ROS）用于各模块间的信息通信。
2）试验结果
由于无人机搭载的DJI Manifold-2G平台计算有限，进行飞行试验时，未采用优化的避障策略，而是采用的最优避障策略为策略①。
如图16所示进行实际飞行试验，无人机悬停，向无人机抛掷篮球，篮球的水平速度为7.018m/s，该过程的速度变化曲线与滚转角裱花曲线分别如图17和图18所示，过程中无人机最大速度变化为3.267m/s，表明能够有效的躲避动态障碍物。
6 结 论
本文设计的基于动态视觉传感器无人机目标检测与避障算法能够较好的在高动态场景下完成无人机的目标检测与躲避速度较高的动态障碍物。
1）文中提出的事件滤波算法能够有效的滤除热点噪声和背景噪声，并保持事件的异步性。
2）融合检测算法在动态场景中优于仅依靠RGB相机的目标检测和仅依靠事件相机的目标检测，具有一定的鲁棒性。
3）改进的速度障碍法能有效的躲避高速障碍物，在时间代价上优于基于人工势场的避障方法。
但依旧有很大的改进空间：
1）直接使用事件进行目标检测，利用事件的异步性完成目标检测。
2）设计端到端的系统框架，减少各模块之间通讯造成的感知延迟。
参考文献
[1] 王亭亭, 蔡志浩, 王英勋. 无人机室内视觉/惯导组合导航方法[J].北京航空航天大学学报, 2018, 44(1):11.
[2] FALANGA D, KIM S, SCARAMUZZA D. How fast is too fast? The role of perception latency in high-speed sense and avoid[J]. IEEE Robotics and Automation Letters, 2019, 4(2): 1884-1891.
[3] DELBRUCK T. Neuromorophic vision sensing and psrocessing[C] //Proceedings of the 2016 46th European Solid State Device Research Conference (ESSDERC). Lansanne, Switzerland.IEEE, 2016: 7-14.
[4] YANG M, DELBRUCK, et al. A 240 × 180 130 dB 3 μs latency global shutter spatiotemporal vision sensor[J]. IEEE Journal of Solid-State Circuits, 2014, 49(10):2333-2341.
[5] GALLEGO G , DELBRUCK T , ORCHARD G M , et al. Event-based vision: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, PP(99):1-1.
[6] KHODAMORADI A, KASTNER R. O(N)-Space spatiotemporal filter for reducing noise in neuromorphic vision sensors[J]. IEEE Transactions on Emerging Topics in Computing, 2018:1-1.
[7] FENG Y, LV H, LIU H, et al. Event density based denoising method for dynamic vision sensor[J]. Applied Sciences, 2020, 10(6):2024.
[8] 闫昌达, 王霞, 左一凡,等. 基于事件相机的可视化及降噪算法[J]. 北京航空航天大学学报, 2021, 47(2):9.
[9] MUEGGLER E, FORSTER C, BAUMLI N, et al. Lifetime estimation of events from dynamic vision sensors[C]//2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015: 4874-4881.
[10] MITROKHIN A, FERMÜLLER C, PARAMESHWARA C, et al. Event-based moving object detection and tracking[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 1-9.
[11] HE B, LI H, WU S, et al. FAST-Dynamic-Vision: Detection and tracking dynamic objects with event and depth sensing[C]//2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021:3071-3078.
[12] FALANGA D, KLEBER K, SCARAMUZZA D. Dynamic obstacle avoidance for quadrotors with event vameras[J]. Science Robotics 5.40(2020): eaaz9712.
[13] SANKET N J, PARAMESHWARA C M, SINGH C D, et al. Evdodgenet: Deep dynamic obstacle dodging with event cameras[C]//2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020: 10651-10657.
[14] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 779-788.
[15] JULIER S J, UHLMANN J K. Unscented filtering and nonlinear estimation[J]. Proceedings of the IEEE, 2004, 92(3): 401-422.
[16] MOSHTAGH N. Minimum volume enclosing ellipsoid[J]. Convex Optimization, 2005, 111(January): 1-9.
[17] BERG JPVD,LIN M C,MANOCHA D.Rediprocal veocty ostacesfo rea-time mut.agent aviatonC/ 208 E Tmemational confrence on Robotos and Automatio , 1CRA 2008,May 19-23,2008,Pasadena, California,USA.IEEE，2008.
上一篇：信息技术服务业股权激励现状浅议
下一篇：两相静止坐标系下并网逆变器的自抗扰控制
下一篇：两相静止坐标系下并网逆变器的自抗扰控制
