隨著無(wú)人機(jī)、無(wú)人車(chē)以及移動(dòng)機(jī)器人的井噴式發(fā)展,導(dǎo)航技術(shù)成為了制約無(wú)人平臺(tái)廣泛應(yīng)用的瓶頸技術(shù)之一。在應(yīng)用需求的牽引下,視覺(jué)/慣性組合導(dǎo)航技術(shù),特別是視覺(jué)與微慣性傳感器的組合,逐漸發(fā)展成為當(dāng)前自主導(dǎo)航及機(jī)器人領(lǐng)域的研究熱點(diǎn)。本文介紹的視覺(jué)/慣性組合導(dǎo)航技術(shù)側(cè)重于利用視覺(jué)和慣性信息估計(jì)載體的位置、速度、姿態(tài)等運(yùn)動(dòng)參數(shù)以及環(huán)境的幾何結(jié)構(gòu)參數(shù),而不包含場(chǎng)景障礙物檢測(cè)以及載體運(yùn)動(dòng)軌跡規(guī)劃等。

視覺(jué)/慣性組合導(dǎo)航具有顯著的優(yōu)點(diǎn):1)微慣性器件和視覺(jué)傳感器具有體積小、成本低的優(yōu)點(diǎn),隨著制造技術(shù)的不斷進(jìn)步,器件越來(lái)越小,且成本越來(lái)越低。2)不同于衛(wèi)星和無(wú)線電導(dǎo)航,視覺(jué)和慣性導(dǎo)航均不依賴(lài)外部設(shè)施支撐,可以實(shí)現(xiàn)自主導(dǎo)航。3)慣性器件和視覺(jué)器件具有很好的互補(bǔ)性,慣性導(dǎo)航誤差隨時(shí)間累積,但是在短時(shí)間內(nèi)可以很好地跟蹤載體快速運(yùn)動(dòng),保證短時(shí)間的導(dǎo)航精度;而視覺(jué)導(dǎo)航在低動(dòng)態(tài)運(yùn)動(dòng)中具有很高的估計(jì)精度,且引入了視覺(jué)閉環(huán)矯正可以極大地抑制組合導(dǎo)航誤差,兩者的組合可以更好地估計(jì)導(dǎo)航參數(shù)。

視覺(jué)和慣性組合導(dǎo)航技術(shù)近年來(lái)取得了長(zhǎng)足的發(fā)展。孫永全和田紅麗從同步定位與構(gòu)圖(Simultaneous Localization and Mapping,SLAM)的角度對(duì)視覺(jué)/慣性組合導(dǎo)航技術(shù)的基本原理和標(biāo)志性成果進(jìn)行了詳細(xì)分析。Huang對(duì)基于濾波技術(shù)的視覺(jué)/慣性組合導(dǎo)航技術(shù)進(jìn)行了全面的描述,特別是對(duì)濾波器的可觀性和濾波狀態(tài)的一致性問(wèn)題進(jìn)行了深入的探討。Huang和Zhao等對(duì)基于激光和視覺(jué)傳感器的SLAM技術(shù)進(jìn)行了全面的介紹,該文引用的文獻(xiàn)十分全面,但缺乏基本原理的闡述。當(dāng)前隨著基于機(jī)器學(xué)習(xí)的視覺(jué)/慣性組合導(dǎo)航算法性能不斷提高,部分算法已達(dá)到甚至超過(guò)傳統(tǒng)的基于模型的組合導(dǎo)航算法性能。因此,非常有必要按照基于模型的算法和基于機(jī)器學(xué)習(xí)的算法對(duì)視覺(jué)/慣性組合導(dǎo)航技術(shù)進(jìn)行詳細(xì)的分析。

1 視覺(jué)/慣性組合導(dǎo)航技術(shù)發(fā)展簡(jiǎn)述

傳統(tǒng)的基于視覺(jué)幾何與運(yùn)動(dòng)學(xué)模型的視覺(jué)和慣性導(dǎo)航技術(shù)研究成果非常豐富。本文主要從純視覺(jué)導(dǎo)航以及組合導(dǎo)航2個(gè)層次梳理相關(guān)工作。

純視覺(jué)導(dǎo)航技術(shù)主要有2個(gè)分支:一個(gè)分支是視覺(jué)里程計(jì)(Visual Odometry,VO)技術(shù);而另一個(gè)分支是視覺(jué)同步定位與構(gòu)圖(Visual Simultaneous Localization and Mapping,VSLAM)技術(shù)。Scaramuzza教授對(duì)早期的VO技術(shù)進(jìn)行了詳細(xì)的介紹,并闡述了VO技術(shù)與VSLAM技術(shù)的區(qū)別與聯(lián)系:VO側(cè)重于利用連續(xù)圖像幀之間的位姿增量進(jìn)行路徑積分,至多包含滑動(dòng)窗口內(nèi)的局部地圖;VSLAM側(cè)重于全局路徑和地圖的優(yōu)化估計(jì),支持重定位和閉環(huán)優(yōu)化;通常VO可以作為VSLAM算法框架的前端。

目前,視覺(jué)里程計(jì)可以根據(jù)使用相機(jī)個(gè)數(shù)的不同分為單目、雙目和多目視覺(jué)里程計(jì)。其中最具有代表性和影響力的主要有三種算法,分別是視覺(jué)里程計(jì)庫(kù)(Library for Visual Odometry,LIBVISO)、半直接單目視覺(jué)里程計(jì)(Semi-Direct Monocular Visual Odometry,SVO)和直接稀疏里程計(jì)(Direct Sparse Odometry,DSO)。這三種算法由于代碼公開(kāi),易于使用,運(yùn)動(dòng)估計(jì)效果好,成為了研究者們廣泛使用和對(duì)比的算法。

對(duì)于VSLAM算法,目前主流的方法可以分為兩類(lèi):一類(lèi)是基于濾波的方法;另一類(lèi)是基于Bundle Adjustment的優(yōu)化算法。這兩類(lèi)方法的開(kāi)創(chuàng)性成果分別是Davison教授提出的Mono SLAM算法和Klein博士提出的并行跟蹤與構(gòu)圖(Parallel Tracking And Mapping,PTAM)算法。在2010年國(guó)際機(jī)器人和自動(dòng)化大會(huì)(IEEE International Conference on Robotics and Automation,ICRA)上,Strasdat的文章指出優(yōu)化算法比濾波算法的性?xún)r(jià)比更高,從此以后基于非線性?xún)?yōu)化的VSLAM算法就漸漸多起來(lái)。其中代表性的工作是ORB-SLAM和LSD-SLAM,二者的主要區(qū)別是ORB-SLAM的前端采用稀疏特征,而LSDSLAM的前端采用稠密特征。

當(dāng)然,任何純視覺(jué)導(dǎo)航算法都存在無(wú)法避免的固有缺點(diǎn):依賴(lài)于場(chǎng)景的紋理特征、易受光照條件影響以及難以處理快速旋轉(zhuǎn)運(yùn)動(dòng)等。因此,為了提高視覺(jué)導(dǎo)航系統(tǒng)的穩(wěn)定性,引入慣性信息是很好的策略。

視覺(jué)/慣性組合導(dǎo)航技術(shù)與VSLAM算法類(lèi)似,主要采用兩種方案:一種是采用濾波技術(shù)融合慣性和視覺(jué)信息;另一種是采用非線性迭代優(yōu)化技術(shù)融合慣性和視覺(jué)信息。

基于濾波技術(shù)的視覺(jué)/慣性組合導(dǎo)航算法,可以進(jìn)一步分為松組合和緊組合兩種框架。文獻(xiàn)[14-15]使用了卡爾曼濾波器來(lái)融合雙目相機(jī)和慣性器件輸出。作為一種松組合方式,組合中沒(méi)有充分使用慣性器件的輸出來(lái)輔助圖像特征點(diǎn)的匹配、跟蹤與野值剔除。2007年,Veth提出了一種視覺(jué)輔助低精度慣性導(dǎo)航的方法。該算法使用了多維隨機(jī)特征跟蹤方法,其最大的缺點(diǎn)是跟蹤的特征點(diǎn)個(gè)數(shù)必須保持不變。同年,Mourikis提出了基于多狀態(tài)約束的卡爾曼濾波器(Multi-State Constraint Kalman Filter,MSCKF)算法[,其優(yōu)點(diǎn)是在觀測(cè)模型中不需要包含特征點(diǎn)的空間位置;但是MSCKF算法中存在濾波估計(jì)不一致問(wèn)題:不可觀的狀態(tài)產(chǎn)生錯(cuò)誤的可觀性,如航向角是不可觀的,但MSCKF通過(guò)擴(kuò)展卡爾曼濾波(ExtendedKalman Filter,EKF)線性化后會(huì)使航向角產(chǎn)生錯(cuò)誤的可觀性。為了解決濾波估計(jì)不一致問(wèn)題,李明陽(yáng)等提出了首次估計(jì)雅可比EKF(the First Estimate Jacobian EKF,FEJ-EKF)算法;Huang等提出了基于可觀性約束的無(wú)跡卡爾曼濾波(Unscented Kalman Filte,UKF)算 法;Castellanos等提出了Robocentric Mapping濾波算法。這些算法均在一定程度上解決了濾波估計(jì)不一致問(wèn)題。

2015年,Bloesch等提出了魯棒視覺(jué)慣性里程計(jì)(Robust Visual Inertial Odometry,ROVIO),該算法利用EKF將視覺(jué)信息和慣性測(cè)量單元(Inertial Measurement Unit,IMU)信息進(jìn)行緊耦合,在保持精度的同時(shí)降低了計(jì)算量。Indelman等基于EKF,綜合利用了2幅圖像間的對(duì)極約束和3幅圖像之間的三視圖約束融合單目相機(jī)和慣性器件?；谙嗤挠^測(cè)模型,Hu等給出了基于UKF的實(shí)現(xiàn)方法。

近年來(lái),基于優(yōu)化的算法得到了快速發(fā)展。Lupton和Sukkarieh于2012年首次提出了利用無(wú)初值條件下的慣性積分增量方法來(lái)解決高動(dòng)態(tài)條件下的慣性視覺(jué)組合導(dǎo)航問(wèn)題。文中采用了Sliding Window Forced Independence Smoothing技術(shù)優(yōu)化求解狀態(tài)變量。預(yù)積分理論的建立,使得基于優(yōu)化的視覺(jué)/慣性組合導(dǎo)航算法得以實(shí)現(xiàn)。受此思想啟發(fā),Stefan等采用Partial Marginalization技術(shù),通過(guò)優(yōu)化非線性目標(biāo)函數(shù)來(lái)估計(jì)滑動(dòng)窗口內(nèi)關(guān)鍵幀的位姿參數(shù)。其中,目標(biāo)函數(shù)分為視覺(jué)約束和慣性約束2個(gè)部分:視覺(jué)約束由空間特征點(diǎn)的重投影誤差表示,而慣性約束由IMU運(yùn)動(dòng)學(xué)中的誤差傳播特性表示。該方法不適用于長(zhǎng)航時(shí)高精度導(dǎo)航,因?yàn)闆](méi)有閉環(huán)檢測(cè)功能,無(wú)法修正組合導(dǎo)航系統(tǒng)的累積誤差。2017年,Forster等完善了計(jì)算關(guān)鍵幀之間慣性積分增量的理論,將該理論擴(kuò)展到Rotation Group,并分析了其誤差傳播規(guī)律。該算法也未考慮閉環(huán)檢測(cè)問(wèn)題。同樣基于預(yù)積分理論,沈劭劼課題組提出了視覺(jué)慣性導(dǎo)航(Visual-Inertial Navigation System,VINS)算法。該算法具備自動(dòng)初始化、在線外參標(biāo)定、重定位、閉環(huán)檢測(cè)等功能。ORB-SLAM的設(shè)計(jì)者M(jìn)ur-Artal等利用預(yù)積分理論,將慣性信息引入ORB-SLAM框架,設(shè)計(jì)了具有重定位和閉環(huán)檢測(cè)等功能的視覺(jué)/慣性組合導(dǎo)航算法。關(guān)于預(yù)積分理論,目前還缺乏積分增量合并以及相應(yīng)的協(xié)方差矩陣合并方法。因此,文獻(xiàn)[28]去掉了ORB-SLAM中的關(guān)鍵幀刪除功能。表1匯總了基于視覺(jué)幾何與運(yùn)動(dòng)學(xué)模型的視覺(jué)和慣性導(dǎo)航技術(shù)的主要研究成果。

基于模型的視覺(jué)/慣性組合導(dǎo)航技術(shù)需要信噪比較高的輸入數(shù)據(jù),算法的整體性能不僅受制于算法的基本原理,還取決于參數(shù)的合理性與精確度。相對(duì)而言,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過(guò)大數(shù)據(jù)訓(xùn)練的方式自適應(yīng)地調(diào)節(jié)參數(shù),對(duì)輸入數(shù)據(jù)具有一定的容錯(cuò)性,因此已有研究人員開(kāi)發(fā)了一系列基于深度學(xué)習(xí)的視覺(jué)/慣性組合導(dǎo)航技術(shù),并已取得一定成果。

使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)替換傳統(tǒng)算法中的個(gè)別模塊是較為直接的算法設(shè)計(jì)思路,如利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)里程計(jì)前端中的特征點(diǎn)識(shí)別與匹配。Detone等提出了SuperPoint算法,該算法首先使用虛擬三維物體的角點(diǎn)作為初始訓(xùn)練集,并將特征點(diǎn)提取網(wǎng)絡(luò)在此數(shù)據(jù)集上進(jìn)行訓(xùn)練;對(duì)經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)在真實(shí)場(chǎng)景訓(xùn)練集中進(jìn)行檢測(cè)得到自標(biāo)注點(diǎn),并將標(biāo)注有自標(biāo)注點(diǎn)的真實(shí)場(chǎng)景圖像進(jìn)行仿射變化得到匹配的自標(biāo)注點(diǎn)對(duì),從而得到了最終的訓(xùn)練集;隨后使用對(duì)稱(chēng)設(shè)計(jì)的特征點(diǎn)識(shí)別網(wǎng)絡(luò),將特征提取器讀入的原始圖像經(jīng)過(guò)多層反卷積層轉(zhuǎn)換為特征點(diǎn)響應(yīng)圖像,響應(yīng)區(qū)域?yàn)橄噜弾瑘D像匹配特征點(diǎn)的位置。幾何對(duì)應(yīng)網(wǎng)絡(luò)(Geometric Correspondence Network,GCN)則是利用相對(duì)位姿標(biāo)簽值構(gòu)建的幾何誤差作為匹配特征點(diǎn)空間位置估計(jì)值的約束;隨后使用多視覺(jué)幾何模型結(jié)合低層特征提取前端網(wǎng)絡(luò)得到的匹配特征點(diǎn),求解載體的運(yùn)動(dòng)信息。此類(lèi)低層特征提取前端易于與傳統(tǒng)實(shí)時(shí)定位與建圖系統(tǒng)相結(jié)合,并且較為輕量,可植入嵌入式平臺(tái)進(jìn)行實(shí)時(shí)解算。

另一種思路是使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從原始數(shù)據(jù)到導(dǎo)航參數(shù)的整個(gè)轉(zhuǎn)化過(guò)程。Kendall團(tuán)隊(duì)基于圖像識(shí)別網(wǎng)絡(luò)GoogleNet開(kāi)發(fā)了一種基于單張圖像信息的絕對(duì)位姿估計(jì)網(wǎng)絡(luò)PoseNet。首先,搭建絕對(duì)位姿回歸數(shù)據(jù)集,配合高精度姿態(tài)捕捉設(shè)備,為單目相機(jī)拍攝的每一幀圖像標(biāo)注絕對(duì)位姿標(biāo)簽值;然后使用多層全連接層替換GoogleNet的多個(gè)softmax層,并構(gòu)成位姿回歸器,回歸器的輸出維度與使用歐拉角表示的位姿維數(shù)相同;通過(guò)長(zhǎng)時(shí)間的訓(xùn)練,PoseNet能較為準(zhǔn)確地將訓(xùn)練數(shù)據(jù)集圖像投影為對(duì)應(yīng)位姿標(biāo)簽,然而沒(méi)有額外的幾何約束,網(wǎng)絡(luò)收斂較為困難。Wang等在位姿估計(jì)網(wǎng)絡(luò)中引入相鄰幀圖像信息,構(gòu)建基于深度學(xué)習(xí)的單目視覺(jué)里程計(jì)Deep VO,為了能夠同時(shí)處理相鄰兩幀圖像的信息,將Flow Net網(wǎng)絡(luò)的主體作為視覺(jué)特征提取器,并使用輸入窗口大于1的長(zhǎng)短時(shí)記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)聯(lián)合時(shí)間軸上相鄰多幀圖像的高層信息,以此來(lái)優(yōu)化里程計(jì)短時(shí)間內(nèi)的估計(jì)精度;最后使用全連接層綜合圖像高層信息,并轉(zhuǎn)化為相鄰幀圖像的相對(duì)位姿估計(jì)值。實(shí)驗(yàn)結(jié)果表明,Deep VO相對(duì)于早期基于模型的視覺(jué)里程計(jì)LIBVISO性能具有一定提升,同時(shí)與同類(lèi)型算法相比,也有明顯的性能提升。

與基于模型的視覺(jué)/慣性組合導(dǎo)航技術(shù)類(lèi)似,為了提高導(dǎo)航算法的自主性與抗干擾能力,研究人員在基于深度學(xué)習(xí)的視覺(jué)導(dǎo)航技術(shù)中引入慣導(dǎo)數(shù)據(jù),并為其設(shè)計(jì)單獨(dú)的網(wǎng)絡(luò)來(lái)提取有用的數(shù)據(jù)特征。牛津大學(xué)的Clark團(tuán)隊(duì)設(shè)計(jì)了一種端對(duì)端的視覺(jué)/慣性組合里程計(jì)網(wǎng)絡(luò)VINet,使用雙向光流提取網(wǎng)絡(luò)Flow Net-Corr提取相鄰幀圖像的高層特征,使用單層全連接層對(duì)圖像高層特征進(jìn)行壓縮,并使用多節(jié)點(diǎn)LSTM網(wǎng)絡(luò)處理兩幀圖像間的慣性信息;隨后將兩種數(shù)據(jù)的高層特征在單維度上進(jìn)行結(jié)合,構(gòu)成視覺(jué)/慣性信息融合特征;最后使用全連接層將融合特征投影至SE(3)空間中,得到相對(duì)位姿估計(jì)值。VINet在道路與無(wú)人機(jī)數(shù)據(jù)中都顯示出較為優(yōu)秀的性能,同時(shí)為基于深度學(xué)習(xí)的組合導(dǎo)航技術(shù)提供了基礎(chǔ)模板。

陳昶昊于2019年提出了基于注意力模型的視覺(jué)/慣性組合里程計(jì)網(wǎng)絡(luò)Attention-based VIO,網(wǎng)絡(luò)的基本框架與VINet類(lèi)似,但視覺(jué)特征提取器使用更為輕量的Flow Netsimple卷積層,以此來(lái)提高網(wǎng)絡(luò)運(yùn)行效率。借鑒自然語(yǔ)言處理領(lǐng)域的注意力機(jī)制,使用soft attention和hard attention兩種注意力網(wǎng)絡(luò)剔除融合特征中的噪聲高層特征,從而加快訓(xùn)練收斂,提高網(wǎng)絡(luò)性能。表2匯總了基于機(jī)器學(xué)習(xí)的視覺(jué)/慣性組合導(dǎo)航技術(shù)的主要研究成果。

在國(guó)內(nèi),清華大學(xué)、上海交通大學(xué)、浙江大學(xué)、哈爾濱工程大學(xué)、國(guó)防科技大學(xué)、北京航空航天大學(xué)、北京理工大學(xué)、南京航空航天大學(xué)、西北工業(yè)大學(xué)、電子科技大學(xué)、中國(guó)科學(xué)院自動(dòng)化研究所等高校和科研機(jī)構(gòu)的多個(gè)研究團(tuán)隊(duì)近年來(lái)在慣性/視覺(jué)組合導(dǎo)航領(lǐng)域開(kāi)展了系統(tǒng)性的研究工作,取得了諸多研究成果。

2 視覺(jué)/慣性組合導(dǎo)航技術(shù)的典型應(yīng)用及發(fā)展趨勢(shì)

視覺(jué)/慣性組合導(dǎo)航技術(shù)是機(jī)器人、計(jì)算機(jī)視覺(jué)、導(dǎo)航等領(lǐng)域的研究熱點(diǎn),在國(guó)民經(jīng)濟(jì)和國(guó)防建設(shè)中取得了廣泛的應(yīng)用,但也面臨著諸多挑戰(zhàn)。

2.1 視覺(jué)/慣性組合導(dǎo)航技術(shù)的典型應(yīng)用

國(guó)民經(jīng)濟(jì)領(lǐng)域,在無(wú)人機(jī)、無(wú)人車(chē)、機(jī)器人、現(xiàn)實(shí)增強(qiáng)、高精度地圖等應(yīng)用的推動(dòng)下,視覺(jué)/慣性組合導(dǎo)航技術(shù)取得了快速發(fā)展。例如Google的Tango項(xiàng)目和無(wú)人車(chē)項(xiàng)目、微軟的Hololens項(xiàng)目、蘋(píng)果的ARKit項(xiàng)目、百度無(wú)人車(chē)項(xiàng)目、大疆無(wú)人機(jī)項(xiàng)目、高德高精度地圖項(xiàng)目等大型應(yīng)用項(xiàng)目都成立了視覺(jué)/慣性組合導(dǎo)航技術(shù)相關(guān)的研究小組,極大地促進(jìn)了視覺(jué)/慣性組合導(dǎo)航技術(shù)在國(guó)民經(jīng)濟(jì)中的應(yīng)用。以Google的Tango項(xiàng)目為例,其導(dǎo)航定位核心算法是基于濾波框架的MSCKF算法;微軟的Hololens項(xiàng)目則是以KinectFusion為基礎(chǔ)的SLAM算法。

國(guó)防建設(shè)領(lǐng)域,由于視覺(jué)/慣性組合導(dǎo)航技術(shù)不依賴(lài)外部人造設(shè)施,在衛(wèi)星拒止環(huán)境中有著重要的應(yīng)用價(jià)值。例如美國(guó)陸軍研發(fā)的一種新型聯(lián)合精確空投系統(tǒng)采用慣性/視覺(jué)組合導(dǎo)航技術(shù)解決高精度定位問(wèn)題。嫦娥三號(hào)巡視器也采用視覺(jué)與慣性組合實(shí)現(xiàn)定姿定位。李豐陽(yáng)等總結(jié)了視覺(jué)/慣性組合導(dǎo)航技術(shù)在地面、空中、水下和深空等多種場(chǎng)景中的應(yīng)用。

2.2 視覺(jué)/慣性組合導(dǎo)航技術(shù)的未來(lái)發(fā)展趨勢(shì)

視覺(jué)/慣性組合導(dǎo)航技術(shù)取得了廣泛的應(yīng)用,但在復(fù)雜條件下的可靠性還有待加強(qiáng),其未來(lái)的發(fā)展主要體現(xiàn)在以下4個(gè)方向:

1)提升信息源的質(zhì)量。首先是提升慣性器件(特別是基于微機(jī)電系統(tǒng)(Micro-Electro-Mechanical System,MEMS)工藝的微慣性器件)的零偏穩(wěn)定性和環(huán)境適應(yīng)性等性能指標(biāo);其次是提升視覺(jué)傳感器的光照動(dòng)態(tài)適應(yīng)性、快速運(yùn)動(dòng)適應(yīng)性等性能指標(biāo);此外,還可以引入更多的傳感器,如磁傳感器、超聲波傳感器、激光雷達(dá)等,提升復(fù)雜條件下組合導(dǎo)航系統(tǒng)的綜合性能。

2)提升信息融合算法的水平。視覺(jué)和慣性信息各有特點(diǎn),不同條件下信息的質(zhì)量也不盡相同,需要設(shè)計(jì)智能的信息融合機(jī)制。目前的算法大多是基于靜態(tài)場(chǎng)景假設(shè),但在實(shí)際應(yīng)用中,場(chǎng)景都有一定的動(dòng)態(tài)性,動(dòng)態(tài)環(huán)境下的視覺(jué)/慣性組合導(dǎo)航是提升復(fù)雜條件下導(dǎo)航可靠性的重要研究方向。此外,目前基于濾波的信息融合算法仍然存在濾波狀態(tài)發(fā)散或者狀態(tài)收斂到錯(cuò)誤值的情況,需要對(duì)系統(tǒng)的可觀性進(jìn)行分析,提升狀態(tài)估計(jì)的一致性。對(duì)于優(yōu)化框架的信息融合算法,目前的預(yù)積分理論還有待完善,特別是在SLAM的地圖管理中刪除關(guān)鍵幀時(shí),與關(guān)鍵幀相關(guān)的積分增量及對(duì)應(yīng)的協(xié)方差需要合并,目前還缺乏協(xié)方差合并方法;而且基于BA的優(yōu)化算法計(jì)算量較大,對(duì)于大尺度的閉環(huán)優(yōu)化,計(jì)算耗時(shí)太久,存在錯(cuò)失閉環(huán)優(yōu)化的情況,急需提升BA算法的效率。

3)發(fā)展新的導(dǎo)航理論。大自然中許多動(dòng)物具有驚人的導(dǎo)航本領(lǐng),例如:北極燕鷗每年往返于相距數(shù)萬(wàn)km遠(yuǎn)的南北兩極地區(qū);信鴿能夠在距離飼養(yǎng)巢穴數(shù)百km遠(yuǎn)的地方順利返回巢穴。模仿和借鑒動(dòng)物導(dǎo)航本領(lǐng)的仿生導(dǎo)航技術(shù)逐漸成為了導(dǎo)航領(lǐng)域研究的熱點(diǎn)。胡小平等對(duì)仿生導(dǎo)航技術(shù)進(jìn)行了全面的總結(jié)。此外,隨著多平臺(tái)集群應(yīng)用的普及,利用組網(wǎng)編隊(duì)中平臺(tái)間導(dǎo)航信息交互來(lái)提升位置、速度、姿態(tài)等參數(shù)估計(jì)精度的協(xié)同導(dǎo)航技術(shù)方興未艾。謝啟龍等從無(wú)人機(jī)、機(jī)器人、無(wú)人水下潛航器、導(dǎo)彈4個(gè)應(yīng)用層面梳理了協(xié)同導(dǎo)航技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀。

4)擴(kuò)充導(dǎo)航系統(tǒng)的功能。目前的視覺(jué)/慣性組合導(dǎo)航側(cè)重于導(dǎo)航參數(shù)的估計(jì),對(duì)于引導(dǎo)和控制等關(guān)注較少。隨著機(jī)器學(xué)習(xí)技術(shù)在視覺(jué)/慣性組合導(dǎo)航領(lǐng)域的應(yīng)用,可以將機(jī)器學(xué)習(xí)在環(huán)境理解、避障檢測(cè)、引導(dǎo)控制等方面的成果融入到導(dǎo)航系統(tǒng)中。