您的当前位置:首页正文

基于弱纹理检测及视差图融合的立体匹配

2023-11-10 来源:星星旅游
第34卷第9期 仪 器 仪 表 学 报 Chinese Journal of Scientific Instrument Vo1.34 No.9 Sep.2013 2013年9月 基于弱纹理检测及视差图融合的立体匹配 曹晓倩。’ ,马彩文 (1.中国科学院西安光学精密机械研究所西安710119;2.中国科学院大学北京100039) 摘要:为了在消除弱纹理区域匹配歧义性的同时保证纹理区域的匹配率,提m了一种基于弱纹理区域检测及视差图融合的 立体匹配算法。该算法首先根据输人图像的颜色(灰度)变化情况检测出弱纹理区域,然后基于这一检测结果,对输入图像对 应用改进的极线距离变换算法,以提高弱纹理区域像素的可区分性,接着,采用窗口匹配算法和置信度传播算法分别对原始输 入图像和极线距离变换后的图像计算视差图谱,最后,以弱纹理检测的结果为基准,对这2张视差图谱进行融合,以实现在弱纹 理区域和纹理区域的同步最优匹配。通过对弱纹理化后的Middlebury图像库中图像的实验表明,在几乎不增加计算复杂度的 同时,该算法的匹配率比当前先进算法提高至少20%,同时,实验还表明了该算法对照度不一致输入图像对匹配的鲁棒性。 关键词:图像处理;立体匹配;弱纹理;极线距离变换 中图分类号:TP391.41 文献标识码:A 国家标准学科分类代码:510.40 Stereo matching based on low-texture detection and disparity map fusion Cao Xiaoqian ,Ma Caiwen (J.Xi’an Institute of Optics and Precision Mechanics,CAS,Xi’an 710119,China; 2.University f oChinese Academy of Sciences,Belitng 100039,China) Abstract:In order to eliminate the ambiguity of low—texture region matching,while preserve the matching rate of the texture regions,a novel stereo matching algorithm based on low—texture region detection and disparity map fusion is proposed.The procedure is proceed in the following way:first of all,the low texture region is detected based on the color or the grayscale of the input image;based on this result the improved epipolar distance transformation algorithm is used on the input image pair to improve the distinguishing ability of the pixels in the low—texture regions;and then the window matching algorithm and belief propagation algorithm are adopted to respectively calculate the disparity map for the original input image and the image after the improved epipolar distance transformation.At last,the initial disparity maps calculated from the original and the transformed image pairs are fused according to the detection re- suits of the low—texture regions:and the synchronous optimal matching of the low-texture regions and the texture re— gions is achieved.The experiments on the low—textured images in the Middlebury image database indicate that the proposed algorithm improves the matching rate by at least 20%compared with the state of art algorithms,almost with- out increasing the calculation complexity;moreover,the algorithm also has robustness to the matching of the input im— age pair with luminance variation. Keywords:image processing;stereo matching;low—texture,epipolar distance transformation 收稿日期:2013-04 Received Date:2013-04 基金项目:国家863计划(2010AA7080302)资助项目 第9期 曹晓倩等:基于弱纹理检测及视差图融合的立体匹配 2O75 同时取得对纹理区域和弱纹理区域的高准确率匹配。与 1 引 言 现有的大多数立体匹配算法一样,本文算法假设实际场 景是由一些三维平面拼接而成,且同色(弱纹理)区域中 的像素位于同一块三维斜面上,phone illumination 14]模 型对这一假设给出了理论支持。 在基于颜色(灰度)的立体匹配算法中,丰富的纹理 立体视觉在表面建模 、三维目标识别 ,视觉导航 等方面的应用前景得到了高度重视和广泛研究,目前已 有相关成果面世,但是其性能距离满足实际应用的需求 还有很大的差距。其中最主要的原因是立体视觉的核心 技术——立体匹配算法——的匹配准确率不高,特别是 遮挡区域、视差不连续区域和弱纹理区域的准确匹配更 是高匹配率的保障,因而对于纹理丰富的区域,简单的窗 口匹配算法就能取得理想的匹配率,更加复杂算法的匹 配效果并不能有所提高,甚至会通过牺牲纹理区域的匹 配效果来提高病态区域的匹配率,所以需要将窗口匹配 是很大的挑战。针对遮挡区域 和视差不连续区域的匹 配已有相对成熟的算法,本文的研究重点在于弱纹理区 域的匹配。弱纹理区域南于其像素的不可区分性通常会 导致错误匹配,以至于在立体匹配的早期算法中,认为弱 纹理区域无法实现匹配。基于窗口的匹配算法试图通过 扩大窗口来增强弱纹理区域的可区分性,然而却引起了 视差不连续区域的过分平滑,}H现“前景肥大”效应。基 于能量函数优化的全局算法 虽然能在平滑约束项的 作用下,在一定程度上提高弱纹理区域的匹配率,然而面 对较大的弱纹理区域,就显得能力不足。自适应权值算 法及其衍生算法 的 现解决了提高弱纹理区域的可 区分性与保护视差边缘之间的冲突,然而,一味地增加窗 口在斜面弱纹理区域的匹配会产生很大的误差。近年来 得到广泛关注的基于颜色分割的算法 在小面积弱 纹理区域匹配中表现 了优越的性能,但是,其对不稳定 的图像分割算法和准确率不高的初始视差的依赖使得当 弱纹理区域过大时,其优越性逐渐消退。还有文献提出 采用区域生长和视差扩散 的方式将纹理区域高可靠 性的视差值传播到弱纹理区域,但是这类算法要求可靠 视差的分布要相对密集一些。Yangl121提出的基于极线 距离变换的算法,使得弱纹理区域中的每一个像素有了 独特的标志,但是这种基于固定窗口的算法存在着窗口 选择的问题,而且图像中各个区域有着不一样的最优窗 口。再者,即使为每一个区域选择到了最优的窗口,该变 换算法还是会降低纹理丰富区域的匹配率。本文算法基 于“cross—based”自适应支撑域 的思想,首先提出了改 进的极线距离变换算法,为弱纹理区域中的每一个像素 自适应地选择变换窗口。然后,提出视差图融合的思想, 将基于窗口匹配的初始视差图与基于改进的极线距离变 换的变换视差图进行融合,融合以弱纹理区域检测的结 果为基准。 2算法基本假设及整体流程 在自动导航,三维场景重建及复杂背景下的目标识 别等应用中,总是出现大面积的弱纹理区域,同时又存在 纹理丰富区域。本文算法的目标就是要在这类环境下, 的结果(初始视差图)作为纹理丰富区域的最终视差。 而对于弱纹理区域,需要通过极线距离变换来提高像素 的可区分性,为了增强算法的鲁棒性和环境适应性,本文 将Yang提出的算法进行了改进,提 了自适应极线距离 变换算法,并对变换后的图像对采用置信度传播算法计 算变换视差图。最后,基于弱纹理区域检测及其二值化 分割的结果,将初始视差图和变换视差图进行融合,以获 得能同时在弱纹理区域和纹理丰富区域取得高准确率匹 配的视差图。算法的流程框图如图1所示。需要说明的 是,本文算法并未对输入图像做抗噪处理,也没有做遮挡 检测和视差填充等后续处理,是因为这些并非本文算法 的重点,而且这些部分在实际应用中也很容易融合到已 有算法中。 图1算法流程图 Fig.1 Flow chan of the proposed algorithm 3弱纹理区域检测及分割 在局部立体匹配算法中,计算所得视差值的可靠性 与当前像素邻域的纹理丰富程度息息相关,根据这一特 性,Q.X.Yang等人 提出了基于当前视差值下累积匹 配代价的可区分性(匹配可靠性)的检测算法,M.V.Ro. hifh 提出了基于前十位最优视差统计特性的检测算 法。虽然这些检测方法有一定的理论支持且在立体匹配 领域具有一定的物理意义,但是关于匹配可靠性的检测 函数还是不够成熟,总是会受到视差范围、图像纹理分布 等的影响,分割结果并不理想。 所谓弱纹理,即图像中像素的灰度不发生变换或者 变换很微弱,而这种变化就体现在像素灰度的梯度和特 定窗口下像素灰度的统计特性上,这种直观的理解为弱 纹理检测提供了思路,文献[14]对这种分割算法做了详 2076 仪器仪表学报 第3 4卷 细说明,这里只是简单地引用。 各点在斜面上的相对位置保持不变,这是极线距离变换 的理论依据。 如图3(a)所示,PQ是三维欧式空间中的一条直线 段,O是线段PQ上一点,它们在左右2个摄像机c ,C 上 设像素p( ,Y)是图像,中的任意像素,则像素P属于弱 纹理区域像素,如果像素p(x,Y)及其邻域像素满足: f占 ( ,Y)<占r ,.、 Ig( )<g, 式中: ( ,),)= 1∑(,(u, )一,(u, )) 对应的像素分别为P 、O 、Q 和P 、O 、Q ,则它们之间 (2) 的线段满足如下关系: ’LⅡ,0j Ew  c. g( ,y)= 1∑(1,(M, )一,(M+1, )I+ ’(H, J∈  、l,(u, )一,(M, +1)I) (3) 式中:Ⅳ表示窗口中像索的个数, 表示以像素( ,Y) 为中心的窗口,,(“, )在灰度图像中表示像素的灰度 值,在彩色图像中用RGB 3个通道的灰度向量某种范数 来表示。 为了明确显示本文算法在弱纹理匹配中的优越性, 将原有的map图像做了弱纹理化,根据“ground disparity” 定位,将前面挡板部分的灰度值全部置零,生成了大面积 的弱纹理区域,但是输入图像对的基准视差并没有发生 变化。如图2所示,图(a)是经过弱纹理化之后的参考输 入图像,图(b)是其对应的弱纹理检测阈值分割的结果, 其中白色代表弱纹理区域,黑色代表纹理区域,检测结果 中有零星的弱纹理分布,为了便于后续处理,采用形态学 的闭操作进行空洞填充,只保留了大面积的弱纹理,结果 如图(c)所示。 _几n (a) (b) (c) 图2图像的弱纹理检测结果 Fig.2 Image low—texture region detection result 4改进的极线距离变换 为了增强弱纹理区域像素的可区分性,Yang提出了 极线距离变换算法,该算法将像素的灰度值转换为该像 素在其所在平面与极线相交所形成线段上的相对位置参 数,为弱纹理区域中的每一个像素分配了一个特殊的标 志。Yang在其论文中对该算法的仿射不变性做了理论 证明,证明这一相对位置数据的不变性可以代替像素灰 度实现像素之间的一一匹配。本章首先列出极线距离变 换的基本理论,然后针对其存在的不足提出改进措施,得 到自适应极线距离变换算法。 4.1极线距离变换 空间斜面在通过仿射变换投影到摄像机时,斜面上 lI P 一O II l IP 一o l l,.、 l1 P 一Q l 】l】P 一Q l l0 (a) (b) 图3极线距离变换(a)和自适应支撑域(b) Fig.3 Epipolar distance transform(a)and adaptive support region(b) 由此可知,当前像素O 对线段P。 Q 的分割系数也 是2个视角图像下的不变量,可以作为立体匹配的匹配 基元。问题是如何计算这一分割系数,显然,首要及关键 的问题是如何获取线段的端点。比较直接的做法是利用 颜色分割的结果获取端点,将2个像素之间的像素个数 作为线段的长度。但是,正如引言部分所描述的,分割算 法本身具有一定的不确定性,会在输入图像对中引入不 同的分割结果,所以Yang提出了更具鲁棒性的固定窗口 (一维)下的分割系数计算方法: F(Ok)= = y e一( ( )一 ( )) ̄/2o- .1 J一 min( w I一 (5), ) ————一 、 ,  e一( ( )一 。))2/2 .1 式中:F(O )表示像素O 对线段的分割系数,也即极线 距离变换值, 表示像素O 在极线上的坐标,,( )表示 像素的灰度(颜色)值, ,调节着算法的鲁棒性,co是输 入图像对的宽度,or 是变换窗口的调节系数,决定着变换 窗口的大小。 这种处理方式很好地避免了引入图像分割,同时又 有较强的鲁棒性和对纹理区域的适应性。但是,Yang在 其算法中总是假设弱纹理区域的宽度不大于2o" cc,+1, 这就决定了其算法在大面积弱纹理区域上性能的衰减, 而且当场景中包含不同尺度的弱纹理区域时,对于尺度 系数的选择显得有些无所适从:尺度太小,会引入二次弱 第9期 曹晓倩等:基于弱纹理检测及视差图融合的立体匹配 2079 stnrment,2013,27(1):1-7. [2]傅卫平,秦川,刘佳,等.基于SIFT算法的图像目标 匹配与定位[J].仪器仪表学报,2011,32(1): 163.169. FU W P,QIN CH,LIU J,et a1.Matching and location of image object based on SIFT algorithm[J].Chinese Jour— nal of Science Instrument,2011,32(1):163—169. [3] ZITNIK C L,KANADE T A.Cooperative algorithm for stereo matching and occlusion detection[J].IEEE Trans— actions Oil Pattern Analysis and Machine Intelligence, 2000,22(7):675-684. [4]DE—MAEZTU L,VILLANUEVA A.Near real—time stereo matching using geodesic diffusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012, 34(2):410—416. [5] CHEN S Y,WANG Z J.Acceleration strategies ingenerla— ized belief propagation[J].IEEE Transactions on Indus— tiral Informatics,2012,8(1):41—48. [6]DELONG A,OSOKIN A,ISACK H N,et a1.Fast approxi— mate energy minimization with label cost[J].International Journal of Computer Vision,2012,96(1):1—27. [7] 刘天亮,戴修斌,霍智勇,等.采用光照不变特征改进 支持权重快速立体匹配[J].仪器仪表学报,2012, 33(9):2030—2036. LIU T L,DAI X B,HUO ZH Y,et a1.Fast stereo marc— hing via illumination invariant features and modified sup— port weights[J].Chinese Journal of Science Insturment, 2012,33(9):2030-2036. [8] 李小红,武敬飞,张国富,等.结合分水岭和区域合并 的彩色图像分割[J].电子测量与仪器学报,2013, 27(3):247-252. U X H,WU J F,ZHANG G F,et a1.New color image seg- mentation based off watershed and region merigng[J].Jour- hal of Electronic Measurement and Insturment,2013,27(3): 247-252. [9]倪炜基,徐贵力,田裕鹏,等.基于色彩分割和自适应 窗口的快速立体匹配[J].仪器仪表学报,2011, 32(1):194—200. NI W J,XU G L,TIAN Y P,et a1.Fast stereo matching based on color segmentation and adaptive window[J]. Chinese Journal of Science Instrument,2011,32(1):194— 200. [10] WEI X,HIN S C,JIAYA J,Fractional stereo matching using expectation—maximization[J].IEEE Transactions off Pattern Analysis and Machine Intelligence,2009, 31(3):428.443. [11] 霍智勇,朱秀昌,刘天亮.基于线性生长的区域立体匹 配算法研究[J].仪器仪表学报,2011,32(4):819—824. HUO ZH Y.ZHU X CH.LIU T L.Region based stereo matching algorithm using line growing method[J].Chi— nese Journal of Science Insturment,2011,32(4): 819—824. [12] YANG Q x,AHUJA N,Stereo matching using epipolar distance transform[J].IEEE Transactions on Image Pro— cessing.2012,21(10):4410—4419. f 13] ZHANG K,LU J B,LAFRUIT G.Cross.based local stereo matching using orthogonal integral images[J].IEEE Trans— actions on Circuits and System for Video Technology, 2009,19(7):1073—1079. [14]HU T B,WU T,HE H G.Stereo matching—based low—tex— tured scene reconstruction for ALV navigation f C 1.3rd International Conference Oil Image Analysis and Signal Processing(IASP),201 l:204—209. [15] YANG Q x,ENGELS C,AKBARZADEH A.Near real—time stereo ofr weakly—textured scenes[C].Proceedings Oll the British Machine Vision Conference,2008,72:1-72. [16] ROHITH M V,GOWRI S,CHANDRA,K,et a1.Towards estimation of dense disparities from stereo images contai. ning large textureless regions[C].19th int~一er n一ational一~ COI~一 1.~ ference oil pattern recognition,IEEE,2008:1—5. 作者简介 霸篓目一一珊一 一 一一~western Polytechnical University in 2005.He is currently a re— search Mlow and Ph.D.supervisor in Xi’an Institute of Optics and Precision Mechanics,Chinese Academy of Sciences.His main research directions are high speed photograph,image processing and pattern recognition. 一舡~酰一 一

因篇幅问题不能全部显示,请点此查看更多更全内容