隨著無人機、無人車以及移動機器人的井噴式發(fā)展,導(dǎo)航技術(shù)成為了制約無人平臺廣泛應(yīng)用的瓶頸技術(shù)之一。在應(yīng)用需求的牽引下,視覺/慣性組合導(dǎo)航技術(shù),特別是視覺與微慣性傳感器的組合,逐漸發(fā)展成為當前自主導(dǎo)航及機器人領(lǐng)域的研究熱點。本文介紹的視覺/慣性組合導(dǎo)航技術(shù)側(cè)重于利用視覺和慣性信息估計載體的位置、速度、姿態(tài)等運動參數(shù)以及環(huán)境的幾何結(jié)構(gòu)參數(shù),而不包含場景障礙物檢測以及載體運動軌跡規(guī)劃等。

視覺/慣性組合導(dǎo)航具有顯著的優(yōu)點:1)微慣性器件和視覺傳感器具有體積小、成本低的優(yōu)點,隨著制造技術(shù)的不斷進步,器件越來越小,且成本越來越低。2)不同于衛(wèi)星和無線電導(dǎo)航,視覺和慣性導(dǎo)航均不依賴外部設(shè)施支撐,可以實現(xiàn)自主導(dǎo)航。3)慣性器件和視覺器件具有很好的互補性,慣性導(dǎo)航誤差隨時間累積,但是在短時間內(nèi)可以很好地跟蹤載體快速運動,保證短時間的導(dǎo)航精度;而視覺導(dǎo)航在低動態(tài)運動中具有很高的估計精度,且引入了視覺閉環(huán)矯正可以極大地抑制組合導(dǎo)航誤差,兩者的組合可以更好地估計導(dǎo)航參數(shù)。

視覺和慣性組合導(dǎo)航技術(shù)近年來取得了長足的發(fā)展。孫永全和田紅麗從同步定位與構(gòu)圖(Simultaneous Localization and Mapping,SLAM)的角度對視覺/慣性組合導(dǎo)航技術(shù)的基本原理和標志性成果進行了詳細分析。Huang對基于濾波技術(shù)的視覺/慣性組合導(dǎo)航技術(shù)進行了全面的描述,特別是對濾波器的可觀性和濾波狀態(tài)的一致性問題進行了深入的探討。Huang和Zhao等對基于激光和視覺傳感器的SLAM技術(shù)進行了全面的介紹,該文引用的文獻十分全面,但缺乏基本原理的闡述。當前隨著基于機器學(xué)習(xí)的視覺/慣性組合導(dǎo)航算法性能不斷提高,部分算法已達到甚至超過傳統(tǒng)的基于模型的組合導(dǎo)航算法性能。因此,非常有必要按照基于模型的算法和基于機器學(xué)習(xí)的算法對視覺/慣性組合導(dǎo)航技術(shù)進行詳細的分析。

1 視覺/慣性組合導(dǎo)航技術(shù)發(fā)展簡述

傳統(tǒng)的基于視覺幾何與運動學(xué)模型的視覺和慣性導(dǎo)航技術(shù)研究成果非常豐富。本文主要從純視覺導(dǎo)航以及組合導(dǎo)航2個層次梳理相關(guān)工作。

純視覺導(dǎo)航技術(shù)主要有2個分支:一個分支是視覺里程計(Visual Odometry,VO)技術(shù);而另一個分支是視覺同步定位與構(gòu)圖(Visual Simultaneous Localization and Mapping,VSLAM)技術(shù)。Scaramuzza教授對早期的VO技術(shù)進行了詳細的介紹,并闡述了VO技術(shù)與VSLAM技術(shù)的區(qū)別與聯(lián)系:VO側(cè)重于利用連續(xù)圖像幀之間的位姿增量進行路徑積分,至多包含滑動窗口內(nèi)的局部地圖;VSLAM側(cè)重于全局路徑和地圖的優(yōu)化估計,支持重定位和閉環(huán)優(yōu)化;通常VO可以作為VSLAM算法框架的前端。

目前,視覺里程計可以根據(jù)使用相機個數(shù)的不同分為單目、雙目和多目視覺里程計。其中最具有代表性和影響力的主要有三種算法,分別是視覺里程計庫(Library for Visual Odometry,LIBVISO)、半直接單目視覺里程計(Semi-Direct Monocular Visual Odometry,SVO)和直接稀疏里程計(Direct Sparse Odometry,DSO)。這三種算法由于代碼公開,易于使用,運動估計效果好,成為了研究者們廣泛使用和對比的算法。

對于VSLAM算法,目前主流的方法可以分為兩類:一類是基于濾波的方法;另一類是基于Bundle Adjustment的優(yōu)化算法。這兩類方法的開創(chuàng)性成果分別是Davison教授提出的Mono SLAM算法和Klein博士提出的并行跟蹤與構(gòu)圖(Parallel Tracking And Mapping,PTAM)算法。在2010年國際機器人和自動化大會(IEEE International Conference on Robotics and Automation,ICRA)上,Strasdat的文章指出優(yōu)化算法比濾波算法的性價比更高,從此以后基于非線性優(yōu)化的VSLAM算法就漸漸多起來。其中代表性的工作是ORB-SLAM和LSD-SLAM,二者的主要區(qū)別是ORB-SLAM的前端采用稀疏特征,而LSDSLAM的前端采用稠密特征。

當然,任何純視覺導(dǎo)航算法都存在無法避免的固有缺點:依賴于場景的紋理特征、易受光照條件影響以及難以處理快速旋轉(zhuǎn)運動等。因此,為了提高視覺導(dǎo)航系統(tǒng)的穩(wěn)定性,引入慣性信息是很好的策略。

視覺/慣性組合導(dǎo)航技術(shù)與VSLAM算法類似,主要采用兩種方案:一種是采用濾波技術(shù)融合慣性和視覺信息;另一種是采用非線性迭代優(yōu)化技術(shù)融合慣性和視覺信息。

基于濾波技術(shù)的視覺/慣性組合導(dǎo)航算法,可以進一步分為松組合和緊組合兩種框架。文獻[14-15]使用了卡爾曼濾波器來融合雙目相機和慣性器件輸出。作為一種松組合方式,組合中沒有充分使用慣性器件的輸出來輔助圖像特征點的匹配、跟蹤與野值剔除。2007年,Veth提出了一種視覺輔助低精度慣性導(dǎo)航的方法。該算法使用了多維隨機特征跟蹤方法,其最大的缺點是跟蹤的特征點個數(shù)必須保持不變。同年,Mourikis提出了基于多狀態(tài)約束的卡爾曼濾波器(Multi-State Constraint Kalman Filter,MSCKF)算法[,其優(yōu)點是在觀測模型中不需要包含特征點的空間位置;但是MSCKF算法中存在濾波估計不一致問題:不可觀的狀態(tài)產(chǎn)生錯誤的可觀性,如航向角是不可觀的,但MSCKF通過擴展卡爾曼濾波(ExtendedKalman Filter,EKF)線性化后會使航向角產(chǎn)生錯誤的可觀性。為了解決濾波估計不一致問題,李明陽等提出了首次估計雅可比EKF(the First Estimate Jacobian EKF,FEJ-EKF)算法;Huang等提出了基于可觀性約束的無跡卡爾曼濾波(Unscented Kalman Filte,UKF)算 法;Castellanos等提出了Robocentric Mapping濾波算法。這些算法均在一定程度上解決了濾波估計不一致問題。

2015年,Bloesch等提出了魯棒視覺慣性里程計(Robust Visual Inertial Odometry,ROVIO),該算法利用EKF將視覺信息和慣性測量單元(Inertial Measurement Unit,IMU)信息進行緊耦合,在保持精度的同時降低了計算量。Indelman等基于EKF,綜合利用了2幅圖像間的對極約束和3幅圖像之間的三視圖約束融合單目相機和慣性器件。基于相同的觀測模型,Hu等給出了基于UKF的實現(xiàn)方法。

近年來,基于優(yōu)化的算法得到了快速發(fā)展。Lupton和Sukkarieh于2012年首次提出了利用無初值條件下的慣性積分增量方法來解決高動態(tài)條件下的慣性視覺組合導(dǎo)航問題。文中采用了Sliding Window Forced Independence Smoothing技術(shù)優(yōu)化求解狀態(tài)變量。預(yù)積分理論的建立,使得基于優(yōu)化的視覺/慣性組合導(dǎo)航算法得以實現(xiàn)。受此思想啟發(fā),Stefan等采用Partial Marginalization技術(shù),通過優(yōu)化非線性目標函數(shù)來估計滑動窗口內(nèi)關(guān)鍵幀的位姿參數(shù)。其中,目標函數(shù)分為視覺約束和慣性約束2個部分:視覺約束由空間特征點的重投影誤差表示,而慣性約束由IMU運動學(xué)中的誤差傳播特性表示。該方法不適用于長航時高精度導(dǎo)航,因為沒有閉環(huán)檢測功能,無法修正組合導(dǎo)航系統(tǒng)的累積誤差。2017年,Forster等完善了計算關(guān)鍵幀之間慣性積分增量的理論,將該理論擴展到Rotation Group,并分析了其誤差傳播規(guī)律。該算法也未考慮閉環(huán)檢測問題。同樣基于預(yù)積分理論,沈劭劼課題組提出了視覺慣性導(dǎo)航(Visual-Inertial Navigation System,VINS)算法。該算法具備自動初始化、在線外參標定、重定位、閉環(huán)檢測等功能。ORB-SLAM的設(shè)計者Mur-Artal等利用預(yù)積分理論,將慣性信息引入ORB-SLAM框架,設(shè)計了具有重定位和閉環(huán)檢測等功能的視覺/慣性組合導(dǎo)航算法。關(guān)于預(yù)積分理論,目前還缺乏積分增量合并以及相應(yīng)的協(xié)方差矩陣合并方法。因此,文獻[28]去掉了ORB-SLAM中的關(guān)鍵幀刪除功能。表1匯總了基于視覺幾何與運動學(xué)模型的視覺和慣性導(dǎo)航技術(shù)的主要研究成果。

基于模型的視覺/慣性組合導(dǎo)航技術(shù)需要信噪比較高的輸入數(shù)據(jù),算法的整體性能不僅受制于算法的基本原理,還取決于參數(shù)的合理性與精確度。相對而言,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過大數(shù)據(jù)訓(xùn)練的方式自適應(yīng)地調(diào)節(jié)參數(shù),對輸入數(shù)據(jù)具有一定的容錯性,因此已有研究人員開發(fā)了一系列基于深度學(xué)習(xí)的視覺/慣性組合導(dǎo)航技術(shù),并已取得一定成果。

使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)替換傳統(tǒng)算法中的個別模塊是較為直接的算法設(shè)計思路,如利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實現(xiàn)里程計前端中的特征點識別與匹配。Detone等提出了SuperPoint算法,該算法首先使用虛擬三維物體的角點作為初始訓(xùn)練集,并將特征點提取網(wǎng)絡(luò)在此數(shù)據(jù)集上進行訓(xùn)練;對經(jīng)過訓(xùn)練的網(wǎng)絡(luò)在真實場景訓(xùn)練集中進行檢測得到自標注點,并將標注有自標注點的真實場景圖像進行仿射變化得到匹配的自標注點對,從而得到了最終的訓(xùn)練集;隨后使用對稱設(shè)計的特征點識別網(wǎng)絡(luò),將特征提取器讀入的原始圖像經(jīng)過多層反卷積層轉(zhuǎn)換為特征點響應(yīng)圖像,響應(yīng)區(qū)域為相鄰幀圖像匹配特征點的位置。幾何對應(yīng)網(wǎng)絡(luò)(Geometric Correspondence Network,GCN)則是利用相對位姿標簽值構(gòu)建的幾何誤差作為匹配特征點空間位置估計值的約束;隨后使用多視覺幾何模型結(jié)合低層特征提取前端網(wǎng)絡(luò)得到的匹配特征點,求解載體的運動信息。此類低層特征提取前端易于與傳統(tǒng)實時定位與建圖系統(tǒng)相結(jié)合,并且較為輕量,可植入嵌入式平臺進行實時解算。

另一種思路是使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實現(xiàn)從原始數(shù)據(jù)到導(dǎo)航參數(shù)的整個轉(zhuǎn)化過程。Kendall團隊基于圖像識別網(wǎng)絡(luò)GoogleNet開發(fā)了一種基于單張圖像信息的絕對位姿估計網(wǎng)絡(luò)PoseNet。首先,搭建絕對位姿回歸數(shù)據(jù)集,配合高精度姿態(tài)捕捉設(shè)備,為單目相機拍攝的每一幀圖像標注絕對位姿標簽值;然后使用多層全連接層替換GoogleNet的多個softmax層,并構(gòu)成位姿回歸器,回歸器的輸出維度與使用歐拉角表示的位姿維數(shù)相同;通過長時間的訓(xùn)練,PoseNet能較為準確地將訓(xùn)練數(shù)據(jù)集圖像投影為對應(yīng)位姿標簽,然而沒有額外的幾何約束,網(wǎng)絡(luò)收斂較為困難。Wang等在位姿估計網(wǎng)絡(luò)中引入相鄰幀圖像信息,構(gòu)建基于深度學(xué)習(xí)的單目視覺里程計Deep VO,為了能夠同時處理相鄰兩幀圖像的信息,將Flow Net網(wǎng)絡(luò)的主體作為視覺特征提取器,并使用輸入窗口大于1的長短時記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)聯(lián)合時間軸上相鄰多幀圖像的高層信息,以此來優(yōu)化里程計短時間內(nèi)的估計精度;最后使用全連接層綜合圖像高層信息,并轉(zhuǎn)化為相鄰幀圖像的相對位姿估計值。實驗結(jié)果表明,Deep VO相對于早期基于模型的視覺里程計LIBVISO性能具有一定提升,同時與同類型算法相比,也有明顯的性能提升。

與基于模型的視覺/慣性組合導(dǎo)航技術(shù)類似,為了提高導(dǎo)航算法的自主性與抗干擾能力,研究人員在基于深度學(xué)習(xí)的視覺導(dǎo)航技術(shù)中引入慣導(dǎo)數(shù)據(jù),并為其設(shè)計單獨的網(wǎng)絡(luò)來提取有用的數(shù)據(jù)特征。牛津大學(xué)的Clark團隊設(shè)計了一種端對端的視覺/慣性組合里程計網(wǎng)絡(luò)VINet,使用雙向光流提取網(wǎng)絡(luò)Flow Net-Corr提取相鄰幀圖像的高層特征,使用單層全連接層對圖像高層特征進行壓縮,并使用多節(jié)點LSTM網(wǎng)絡(luò)處理兩幀圖像間的慣性信息;隨后將兩種數(shù)據(jù)的高層特征在單維度上進行結(jié)合,構(gòu)成視覺/慣性信息融合特征;最后使用全連接層將融合特征投影至SE(3)空間中,得到相對位姿估計值。VINet在道路與無人機數(shù)據(jù)中都顯示出較為優(yōu)秀的性能,同時為基于深度學(xué)習(xí)的組合導(dǎo)航技術(shù)提供了基礎(chǔ)模板。

陳昶昊于2019年提出了基于注意力模型的視覺/慣性組合里程計網(wǎng)絡(luò)Attention-based VIO,網(wǎng)絡(luò)的基本框架與VINet類似,但視覺特征提取器使用更為輕量的Flow Netsimple卷積層,以此來提高網(wǎng)絡(luò)運行效率。借鑒自然語言處理領(lǐng)域的注意力機制,使用soft attention和hard attention兩種注意力網(wǎng)絡(luò)剔除融合特征中的噪聲高層特征,從而加快訓(xùn)練收斂,提高網(wǎng)絡(luò)性能。表2匯總了基于機器學(xué)習(xí)的視覺/慣性組合導(dǎo)航技術(shù)的主要研究成果。

在國內(nèi),清華大學(xué)、上海交通大學(xué)、浙江大學(xué)、哈爾濱工程大學(xué)、國防科技大學(xué)、北京航空航天大學(xué)、北京理工大學(xué)、南京航空航天大學(xué)、西北工業(yè)大學(xué)、電子科技大學(xué)、中國科學(xué)院自動化研究所等高校和科研機構(gòu)的多個研究團隊近年來在慣性/視覺組合導(dǎo)航領(lǐng)域開展了系統(tǒng)性的研究工作,取得了諸多研究成果。

2 視覺/慣性組合導(dǎo)航技術(shù)的典型應(yīng)用及發(fā)展趨勢

視覺/慣性組合導(dǎo)航技術(shù)是機器人、計算機視覺、導(dǎo)航等領(lǐng)域的研究熱點,在國民經(jīng)濟和國防建設(shè)中取得了廣泛的應(yīng)用,但也面臨著諸多挑戰(zhàn)。

2.1 視覺/慣性組合導(dǎo)航技術(shù)的典型應(yīng)用

國民經(jīng)濟領(lǐng)域,在無人機、無人車、機器人、現(xiàn)實增強、高精度地圖等應(yīng)用的推動下,視覺/慣性組合導(dǎo)航技術(shù)取得了快速發(fā)展。例如Google的Tango項目和無人車項目、微軟的Hololens項目、蘋果的ARKit項目、百度無人車項目、大疆無人機項目、高德高精度地圖項目等大型應(yīng)用項目都成立了視覺/慣性組合導(dǎo)航技術(shù)相關(guān)的研究小組,極大地促進了視覺/慣性組合導(dǎo)航技術(shù)在國民經(jīng)濟中的應(yīng)用。以Google的Tango項目為例,其導(dǎo)航定位核心算法是基于濾波框架的MSCKF算法;微軟的Hololens項目則是以KinectFusion為基礎(chǔ)的SLAM算法。

國防建設(shè)領(lǐng)域,由于視覺/慣性組合導(dǎo)航技術(shù)不依賴外部人造設(shè)施,在衛(wèi)星拒止環(huán)境中有著重要的應(yīng)用價值。例如美國陸軍研發(fā)的一種新型聯(lián)合精確空投系統(tǒng)采用慣性/視覺組合導(dǎo)航技術(shù)解決高精度定位問題。嫦娥三號巡視器也采用視覺與慣性組合實現(xiàn)定姿定位。李豐陽等總結(jié)了視覺/慣性組合導(dǎo)航技術(shù)在地面、空中、水下和深空等多種場景中的應(yīng)用。

2.2 視覺/慣性組合導(dǎo)航技術(shù)的未來發(fā)展趨勢

視覺/慣性組合導(dǎo)航技術(shù)取得了廣泛的應(yīng)用,但在復(fù)雜條件下的可靠性還有待加強,其未來的發(fā)展主要體現(xiàn)在以下4個方向:

1)提升信息源的質(zhì)量。首先是提升慣性器件(特別是基于微機電系統(tǒng)(Micro-Electro-Mechanical System,MEMS)工藝的微慣性器件)的零偏穩(wěn)定性和環(huán)境適應(yīng)性等性能指標;其次是提升視覺傳感器的光照動態(tài)適應(yīng)性、快速運動適應(yīng)性等性能指標;此外,還可以引入更多的傳感器,如磁傳感器、超聲波傳感器、激光雷達等,提升復(fù)雜條件下組合導(dǎo)航系統(tǒng)的綜合性能。

2)提升信息融合算法的水平。視覺和慣性信息各有特點,不同條件下信息的質(zhì)量也不盡相同,需要設(shè)計智能的信息融合機制。目前的算法大多是基于靜態(tài)場景假設(shè),但在實際應(yīng)用中,場景都有一定的動態(tài)性,動態(tài)環(huán)境下的視覺/慣性組合導(dǎo)航是提升復(fù)雜條件下導(dǎo)航可靠性的重要研究方向。此外,目前基于濾波的信息融合算法仍然存在濾波狀態(tài)發(fā)散或者狀態(tài)收斂到錯誤值的情況,需要對系統(tǒng)的可觀性進行分析,提升狀態(tài)估計的一致性。對于優(yōu)化框架的信息融合算法,目前的預(yù)積分理論還有待完善,特別是在SLAM的地圖管理中刪除關(guān)鍵幀時,與關(guān)鍵幀相關(guān)的積分增量及對應(yīng)的協(xié)方差需要合并,目前還缺乏協(xié)方差合并方法;而且基于BA的優(yōu)化算法計算量較大,對于大尺度的閉環(huán)優(yōu)化,計算耗時太久,存在錯失閉環(huán)優(yōu)化的情況,急需提升BA算法的效率。

3)發(fā)展新的導(dǎo)航理論。大自然中許多動物具有驚人的導(dǎo)航本領(lǐng),例如:北極燕鷗每年往返于相距數(shù)萬km遠的南北兩極地區(qū);信鴿能夠在距離飼養(yǎng)巢穴數(shù)百km遠的地方順利返回巢穴。模仿和借鑒動物導(dǎo)航本領(lǐng)的仿生導(dǎo)航技術(shù)逐漸成為了導(dǎo)航領(lǐng)域研究的熱點。胡小平等對仿生導(dǎo)航技術(shù)進行了全面的總結(jié)。此外,隨著多平臺集群應(yīng)用的普及,利用組網(wǎng)編隊中平臺間導(dǎo)航信息交互來提升位置、速度、姿態(tài)等參數(shù)估計精度的協(xié)同導(dǎo)航技術(shù)方興未艾。謝啟龍等從無人機、機器人、無人水下潛航器、導(dǎo)彈4個應(yīng)用層面梳理了協(xié)同導(dǎo)航技術(shù)的國內(nèi)外發(fā)展現(xiàn)狀。

4)擴充導(dǎo)航系統(tǒng)的功能。目前的視覺/慣性組合導(dǎo)航側(cè)重于導(dǎo)航參數(shù)的估計,對于引導(dǎo)和控制等關(guān)注較少。隨著機器學(xué)習(xí)技術(shù)在視覺/慣性組合導(dǎo)航領(lǐng)域的應(yīng)用,可以將機器學(xué)習(xí)在環(huán)境理解、避障檢測、引導(dǎo)控制等方面的成果融入到導(dǎo)航系統(tǒng)中。