1.本发明主要涉及到工业视觉检测技术领域，基于建方特指一种应用于工业多目测量场景下的多目的深度学深度学习超分辨率图像重建方法及装置
。
背景技术：
2.超分辨率
(super resolution)
是测量从一种提高图像分辨率的过程，在无损图像质量的习超像重情况下从给定低分辨率
(lr)
图像变成高分辨
(hr)
图像
,
是计算机一个非常重要的应用，可应用于视频复原
、分辨法及
数字高清等领域
。率图流程
现有技术中通常都是装置通过对图像的超分辨率重建来提升观感
。
目前图像超分辨率重建方法主要分为两类：基于手工先验的基于建方方法以及基于深度学习的方法，但基于手工先验的多目的深度学方法无法获得令人满意的性能，而基于深度学习的测量图像超分辨率重建方法可以通过构建更宽或更深的网络来提升超分图像效果
。
3.在多目视觉测量系统中高分辨率三维重建的习超像重准确性直接影响其测量精度
。
以一个在工业测量中具体的分辨法及应用为例，如采用多目视觉测量系统来检测工业加工的率图流程孔状构件；首先，多目视觉测量系统通过获取一个孔在不同相机图像上的装置孔心坐标，重建出对应三维坐标，基于建方达到非接触即可进行孔位置度等测量指标的高精度测量
。
参见图1中
(a)
～
(d)
，即为一个孔在不同相机下的成像以及匹配结果
。
采用上述检测方式，因为相机成像有可能出现景深无法完全满足所有不同相机距离下的成像以及相机本身
ccd
的感光元器件的尺寸差异，就会直接导致孔心检测的精度会受到影响；而如果不同视角下的孔心检测不准，将会进一步导致三维重建有误，直接影响到最终测量的结果
。
4.将超分辨模型应用到多目测量中可以提升对应图像的精细程度
(
如图2所示，其中图2中
(a)
对应为原始图片，图2中
(b)
对应为超分辨率图片
)
，以上述检测孔状构件为例，可以使得获得的孔心坐标更加精准以达到高精度视觉测量的目标
。
但是现有技术中深度学习超分模型存在一个两难的问题，特别是针对工业上工件检测的纹理信息较少，深度学习容易出现梯度消失等问题，而想要通过超分辨率实现性能提升
(psnr
等评价指标高，图像信噪比好
)
，那么深度学习超分模型的深度以及参数量也需要提升，这样必然会大大增加无论是训练还是推理的时间，致使实用性和适用性大大降低
。
特别是对于现代化
、
智能
、
高速工业检测来说，能否做到应检尽检，其中匹配的时间尤为重要，而如果使用超分辨模型又必然会导致时间增加
。
因此，针对于基于深度学习的超分辨率图像重建，如何在确保超分辨率图像重建性能的基础上尽可能减少消耗时间是亟待解决的问题
。
技术实现要素：
5.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单
、
重建精度与效率高的基于多目测量的深度学习超分辨率图像重建方法及装置，能够在确保重建超分辨率图像性能的基础上，尽可能的减少所需时间
。
6.为解决上述技术问题，本发明采用以下技术方案：
7.一种基于多目测量的深度学习超分辨率图像重建方法，步骤包括：
8.获取多目测量系统对待测物通过不同相机拍摄的图像进行投影得到对应的模板并对应截取出
roi
区域；
9.将截取的所述
roi
区域输入至构建的超分辨率卷积神经网络
srcnn
中进行特征提取；
10.所述超分辨率卷积神经网络
srcnn
进行特征提取时，使用多个递归块分别进行不同尺度的特征提取，其中由各个所述递归块通过多尺度特征金字塔结构融合不同分辨率下的特征图像，提取出不同尺度的特征，并将提取出的不同尺度的特征分别与前一次递归块的输入特征进行特征融合得到最终的超分辨率特征图输出；
11.使用提取出的所述超分辨率特征图进行图像重建
。
12.作为本发明的进一步改进，所述超分辨率卷积神经网络
srcnn
进行特征提取时，各个递归块通过所述多尺度特征金字塔结构执行空洞卷积操作对输入特征图进行下采样以提取不同尺度的特征
。
13.作为本发明的进一步改进，所述超分辨率卷积神经网络
srcnn
进行特征提取时，在最后输出层进行去卷积操作
。
14.作为本发明的进一步改进，每个所述递归块为具有多尺度特征金字塔结构的多尺度特征融合模块
(multi scale feature fusion block
，
msffb)
，所述多尺度特征融合模块包括多尺度特征提取单元以及特征融合单元，所述多尺度特征提取单元包括依次连接的多个卷积层子模块，由各个所述卷积层子模块分别接入前一次递归块的输入特征以及上一个卷积层子模块输出的特征进行合并以及卷积计算，得到对应尺度的特征输出，所述特征融合单元将多尺度特征提取单元提取出的不同尺度的特征分别与前一次递归块的输入特征进行特征融合得到融合特征输出
。
15.作为本发明的进一步改进，所述多尺度特征融合模块中，第一个卷积子模块包括一个
3*3
卷积层，除第一个卷积子模块以外的其余卷积层子模块均包括一层合并连接层
、
一层
1*1
卷积以及一层
3*3
卷积层，由所述合并连接层将前一次递归块的输入特征以及上一个卷积层子模块输出的特征进行合并后，依次经过所述
1*1
卷积进行
1*1
卷积
、
所述
3*3
卷积层进行
3*3
卷积得到对应尺度的特征输出
。
16.作为本发明的进一步改进，所述超分辨率卷积神经网络
srcnn
进行特征提取时，各个所述递归块通过多尺度特征金字塔结构提取不同尺度特征的计算过程包括：
17.按照下式计算出每个尺度下的特征图：
[0018][0019]
将提取出的不同尺度的特征图进行合并以及卷积计算：
[0020][0021]
[0022]
其中，
concat
表示合并操作，
fb为递归块输出的特征图，fb-1
为递归块输入的特征图，分别为得到的不同尺度的特征图
。
[0023]
一种多目测量中模型匹配方法，步骤包括：
[0024]
由多目测量系统对待测物通过不同相机进行图像拍摄；
[0025]
按照上述深度学习超分辨率特征检测方法对多目测量系统拍摄的图像进行图像重建，以将待测物的
roi
区域进行超分放大预设倍数；
[0026]
将待测物的投影得到的对应的模板对应放大预设倍数，并与进行超分放大后的
roi
区域进行匹配；
[0027]
将匹配后待测物的图像坐标缩小预设倍数后作为最终匹配结果输出
。
[0028]
一种基于多目测量的深度学习超分辨率图像重建装置，包括：
[0029]
获取模块，用于获取多目测量系统对待测物通过不同相机拍摄的图像进行投影得到对应的模板并对应截取出
roi
区域；
[0030]
特征提取模块，用于将截取的所述
roi
区域输入至构建的超分辨率卷积神经网络
srcnn
中进行特征提取；所述超分辨率卷积神经网络
srcnn
进行特征提取时，使用多个递归块分别进行不同尺度的特征提取，其中每个所述递归块包括多尺度特征提取单元以及特征融合单元，所述多尺度特征提取单元通过多尺度特征金字塔结构融合不同分辨率下的特征图像，提取出不同尺度的特征，所述特征融合单元将提取出的不同尺度的特征分别与前一次递归块的输入特征进行特征融合得到最终的超分辨率特征图输出；
[0031]
图像重建模块，用于使用提取出的所述超分辨率特征图进行图像重建
。
[0032]
一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法
。
[0033]
一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现如上述方法
。
[0034]
与现有技术相比，本发明的优点就在于：
[0035]
1、
本发明通过采用超分辨率卷积神经网络
srcnn
提取超分辨率特征进而实现超高分辨率图像重建，同时网络中通过多尺度特征金字塔结构融合不同分辨率下的特征图像，能够有效挖掘出不同尺度的高维特征信息，提升超分辨率卷积神经网络
srcnn
的性能，从而确保超分辨率图像重建性能，同时基于多尺度特征金字塔结构，还能够有利于减少递归块的个数，使得可以减少对应的模型深度，提升训练
、
推理等的时间效率，从而在确保重建超分辨率图像性能的基础上，还能够尽可能的减少所需时间，提高重建效率以及精度
。
[0036]
2、
本发明基于递归多尺度特征融合网络结构进行超分辨率特征提取，能够在保证超分精度的同时大大减少对应的网络参数，使得使用轻量级的网络结构就能达到相应的超分重建效果
。
[0037]
3、
本发明进一步通过融合
dsrn
网络结构与
drudn
网络的优势，在直接输入低分辨率原图至超分辨率卷积神经网络
srcnn
的基础上，同时采用下采样的方式构造递归网络，递归网络的每个递归块通过执行空洞卷积操作对输入的特征图进行下采样，使得能够提高卷积神经网络的接受率，从而充分挖掘不同尺度下的特征，进一步提升网络性能
。
[0038]
4、
本发明进一步通过将去卷积放在最后输出层，而在递归块中只包含卷积操作，避免在递归过程中进行耗时较大的去卷积操作，使得可以进一步提高整体重建的时间效
率
。
附图说明
[0039]
图1是在具体工业测量应用中得到的一个孔在不同相机下的成像以及匹配结果示意图
。
[0040]
图2是在具体工业测量应用中经过超分辨率处理前后的图像对比示意图
。
[0041]
图3是图像金字塔的原理示意图
。
[0042]
图4是本发明基于多目测量的深度学习超分辨率图像重建方法的实现流程示意图
。
[0043]
图5是三种递归神经网络的结构原理示意图
。
[0044]
图6是本发明在具体应用实施例中递归模块的结构原理示意图
。
[0045]
图7是本发明在具体应用实施例中实现深度学习超分辨率图像重建的流程示意图
。
[0046]
图8是本发明具体应用实施例中对多目测量系统进行模型匹配前后的结果对比示意图
。
[0047]
图9是在具体应用实施例中采用传统方法与本发明进行超分辨率图像重建的时间效率和
psnr
的对比示意图
。
具体实施方式
[0048]
以下将结合说明书附图和具体实施例对本发明做进一步详细说明
。
[0049]
在本技术的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位
、
以特定的方位构造和操作，因此不能理解为对本技术的限制
。
[0050]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量
。
由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征
。
在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定
。
[0051]
在本技术中，除非另有明确的规定和限定，术语“装配”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系
。
对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义
。
[0052]
在多目测量系统中，匹配的好坏直接决定了测量的精度，而为确保匹配精度需要借助于超分辨率放大
。
以检测工业加工的孔状构件为例，如果采用模板匹配的匹配方法，通过标定好的多目测量系统直接转系到工件
cad
数模坐标系上进行对应待测孔的投影得到对应的模板，而该模板的分辨率是任意可调且精度很高，但对应截取对应孔
roi
因为相机景深以及自身硬件限制
(
例如相机每个像素对应的实际距离可能是
0.2mm
左右
)
，匹配结果很难
达到高精度的要求
。
为提高精度，需要对截取出来的待测物
roi
进行超分放大n倍
(
具体可根据实际需求配置
)
，对应模板也对应放大n倍，进行匹配后再把对应孔心的图像坐标缩小n倍后作为最终这个孔心匹配的结果进行后续的测量
。
[0053]
图像金字塔即为以金字塔形状排列
、
自底向上分辨率逐渐降低的图像集合，金字塔的底部是待处理的高分辨率图
(
原始图像
)
，而顶部则为低分辨率的近似图像，如图3所示
。
类似于图像金字塔的形成原理，本发明通过采用超分辨率卷积神经网络
srcnn
提取超分辨率特征进而实现超高分辨率图像重建，网络中递归块通过多尺度特征金字塔结构融合不同分辨率下的特征图像，形成递归多尺度特征融合网络结构，能够有效挖掘出不同尺度的高维特征信息，提升超分辨率卷积神经网络
srcnn
的性能，从而确保超分辨率图像重建性能，同时基于多尺度特征金字塔结构，还能够有利于减少递归块的个数，使得可以减少对应的模型深度，提升训练
、
推理等的时间效率，从而在确保重建超分辨率图像性能的基础上，还能够尽可能的减少所需时间，提高重建效率以及精度
。
[0054]
如图4所示，本发明基于多目测量的深度学习超分辨率图像重建方法的步骤包括：
[0055]
步骤
s1
：获取多目测量系统对待测物通过不同相机拍摄的图像进行投影得到对应的模板并对应截取出
roi
区域；
[0056]
步骤
s2
：将截取的
roi
区域输入至构建的超分辨率卷积神经网络
srcnn
中进行特征提取；超分辨率卷积神经网络
srcnn
进行特征提取时，使用多个递归块分别进行不同尺度的特征提取，其中各个递归块通过多尺度特征金字塔结构融合不同分辨率下的特征图像，提取出不同尺度的特征，并将提取出的不同尺度的特征分别与前一次递归块的输入特征进行特征融合得到最终提取的超分辨率特征图输出；
[0057]
步骤
s3
：使用提取出的超分辨率特征图进行图像重建
。
[0058]
如图5中
(a)
所示，超分辨率卷积神经网络
srcnn
如果采用传统利用递归神经网络
(drrn)
来进行超分，其递归块
(
外部虚线框所示
)
是使用局部和全局残差学习来建立一个非常深的网络，并在递归块中引入递归学习以保证模型的紧凑性，同时每个递归块中使用跳跃连接
(skip connection)
来连接卷积残差单元
(
第一
、
三个卷积单元
)
来促进反向传播中的信息流，防止网络具有梯度消失问题，递归块数量不一样可以得到不同深度的
drrn。
但是如果要得到较高分辨率则需要增加递归块的个数和残差单元，以使得网络的表示能力变得足够高，这会导致模型增大
。
本发明通过采用多尺度特征金字塔结构构建递归网络，可以充分融合不同尺度的特征提取出超分辨率特征，而无需设置大量的递归块，使用轻量级的网络结构就能达到相应的超分重建效果
。
[0059]
在本发明中，步骤
s2
具体直接输入低分辨率原图至超分辨率卷积神经网络
srcnn
而不是插值图像，可以进一步减少模型参数
。
[0060]
在本发明中，超分辨率卷积神经网络
srcnn
进行特征提取时，各个递归块通过多尺度特征金字塔结构执行空洞卷积操作对输入特征图进行下采样以提取不同尺度的特征
。
[0061]
如图5中
(b)
所示，
dsrn
网络结构中通过输入低分辨率原图而不是插值图像来减少模型参数，但是其卷积神经网络的接受率不高
。
如图5中
(c)
所示，为了提高卷积神经网络的接受率，
drudn
网络中引入了上下
(up-down)
采样块
(
外部虚线框所示
)
，通过上下采样块的方法来构造递归网络，该上下
(up-down)
采样块包含多个卷积和反卷积层，可以实现对输入特征图进行放大，使用公式可以表示为：y＝
(rb(r
b-1
(
…
(r1(f(x))
…
)))+x
，其中ri
是第i层
递归块
(
黑色框
)
，fr
是最后一层卷积层
(
最后边
conv
单元
)
，f是第一层卷积层
(
最左边
conv
单元
)
，
x
是输入的低分辨率图
。
而
drudn
结构的递归块中由于同时包含上下采样操作，而去卷积操作时间效率不高，会导致降低整体时间效率
。
[0062]
本发明通过融合
dsrn
网络结构与
drudn
网络的优势，直接输入低分辨率原图至超分辨率卷积神经网络
srcnn
的基础上，采用下采样的方式构造递归网络，递归网络的每个递归块通过执行空洞卷积操作对输入的特征图进行下采样，使得能够提高卷积神经网络的接受率，从而进行不同尺度下的特征学习
。
在具体应用实施例中，每个递归块中的卷积为
conv-1
为空洞卷积操作会对输入的特征图进行下采样
。
进一步的，本发明通过将去卷积放在最后输出层，如图6所示，而在递归块中只包含卷积操作，避免在递归过程中进行耗时较大的去卷积操作，使得可以进一步提高整体重建的时间效率
。
[0063]
在本发明中，如图6所示，每个递归块具体采用具有多尺度特征金字塔结构的多尺度特征融合模块
msffb
，由各个多尺度特征融合模块
msffb
提取不同尺度的特征，以融合不同分辨率下的特征图像
。
如图7所示，多尺度特征融合模块具体包括多尺度特征提取单元以及特征融合单元，多尺度特征提取单元包括多个依次连接的卷积层子模块，每个卷积层子模块分别接入前一次递归块的输入特征以及上一个卷积层子模块输出的特征进行合并以及卷积计算，得到对应尺度的特征输出；特征融合单元将多尺度特征提取单元提取出的不同尺度的特征分别与前一次递归块的输入特征进行特征融合得到最终提取的超分辨率特征图输出，以形成多尺度特征金字塔结构
。
通过采用上述多尺度特征金字塔结构进行特征提取，可以融合不同分辨率下的特征图像，提取出不同尺度的特征，使得能够进行不同尺度下的特征学习
。
同时由于在每个递归块的输出都进行一个特征融合，每个递归块不仅仅有前一次输入的特征信息，还有对应这一次递归的多尺度特征信息，从而能够充分挖掘出高维的特征信息
。
[0064]
参见图7，在具体应用实施例中，多尺度特征融合模块
msffb
中第一个卷积层子模块具体包括一个
conv-3
层以执行
3*3
卷积，除第一个卷积层子模块以外的其余卷积层模块均包括一个合并连接层
(concat)
以及一个
conv-1
层
(1*1
卷积
)、
一个
conv-3
层
(3*3
卷积
)
，各卷积层子模块将提取出的特征和前一次递归块的输入fb-1
进行合并后分别进行
1*1
卷积和
3*3
卷积
。
特征融合单元包括一个合并连接层
(concat)
以及一个
conv-1
层
(1*1
卷积
)、
一个
conv-3
层
(3*3
卷积
)
，将各个卷积层子模块提取的不同尺度特征进行合并后执行
1*1
卷积和
3*3
卷积得到融合特征然后将融合特征再与前一次递归块的输入fb-1
融合得到最终的特征
fb。
[0065]
在具体应用实施例中，每个多尺度特征融合模块
msffb
的详细计算流程为：
[0066]
首先由多尺度特征提取单元中各个卷积层子模块计算出每个尺度下的特征图，计算表达式可表示为：
[0067][0068]
其中，
concat
表示合并操作，
fb为递归块输出的特征图，fb-1
为递归块输入的特征图，分别为得到的不同尺度的特征图，c为卷积层模块的数量
。
[0069]
然后特征融合单元利用每个尺度下得到特征图进行合并
(concat)
和卷积以实现特征融合，可表示为：
[0070][0071]
最终按下式计算出最终的特征：
[0072][0073]
本发明首先利用超分辨率卷积神经网络
(srcnn)
从直接插值的低分辨率图像中提取特征，然后映射生成高分辨率特征图，最后使用高分辨率特征图来重建高分辨率图像
。
本发明通过引入特征金字塔构建递归多尺度特征融合网络结构，能够充分获取不同尺度下的高频特征信息，同时可以有利于减少递归块的个数，从而减少对应的模型深度以及训练
、
推理等的时间效率
。
[0074]
本实施例还提供多目测量中模型匹配方法，步骤包括：
[0075]
由多目测量系统对待测物通过不同相机进行图像拍摄；
[0076]
按照上述深度学习超分辨率特征检测方法对多目测量系统拍摄的图像进行图像重建，以将待测物的
roi
区域进行超分放大预设倍数；
[0077]
将待测物的投影得到的对应的模板对应放大预设倍数，并与进行超分放大后的
roi
区域进行匹配；
[0078]
将匹配后待测物的图像坐标缩小预设倍数后作为最终匹配结果输出
。
[0079]
多目测量系统本身尺寸较大，而在工业场景下由于工件的纹理特征少，相应数据也难收集，均会影响系统性能以及时间效率
。
本发明在使用多目测量系统进行模型匹配的过程中，通过提取出图像的超分辨率特征图进行图像重建，可以充分利用深度学习高分辨率模型提高系统的测量精度以及时间效率
。
[0080]
在具体应用实施中，通过对标定好的多目测量系统直接转系到工件
cad
数模坐标系上进行对应待测孔的投影得到对应的模板后，对截取出来的孔
roi
进行超分放大4倍
(
具体倍数可以根据深度学习模型确定
)
，对应模板也对应放大4倍，进行匹配后再把对应孔心的图像坐标缩小4倍后作为最终这个孔心匹配的结果进行后续的测量，得到的效果如图8所示
。
由图8可得，经过超分放大后可以便于精准实现后续测量
。
[0081]
为验证本发明的有效性，在具体应用实施例中分别采用现有技术中双三次插值
、srcnn
网络以及本发明方法进行超分辨率图像重建，其中放大倍数为4倍，得到的超分的时间效率和
psnr
结果如图9所示，其中运行时间为单张分辨率为
128*128
的图片处理成
512*512
的时间
。
由图9可以看出，相比于传统算法，本发明能够有效提升重建高分辨率图像的
psnr
，还能够有效提高相应时间效率
。
[0082]
本实施例进一步提供计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法
。
[0083]
本实施例进一步提供存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现如上述方法
。
[0084]
本领域内的技术人员应明白，本技术的上述实施例可提供为方法
、
系统
、
或计算机程序产品
。
因此，本技术可采用完全硬件实施例
、
完全软件实施例
、
或结合软件和硬件方面的实施例的形式
。
而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质
(
包括但不限于磁盘存储器
、cd-rom、
光学存储器等
)
上实施的计算机程序产品的形式
。
本技术是参照根据本技术实施例的方法
、
设备
(
系统
)、
和计算机程序产品的流程图和
/
或方框图来描述的
。
应理解可由计算机程序指令实现流程图和
/
或方框图中的每一流程和
/
或方框
、
以及流程图和
/
或方框图中的流程和
/
或方框的结合
。
可提供这些计算机程序指令到通用计算机
、
专用计算机
、
嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和
/
或方框图一个方框或多个方框中指定的功能的装置
。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和
/
或方框图一个方框或多个方框中指定的功能
。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和
/
或方框图一个方框或多个方框中指定的功能的步骤
。
[0085]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围
。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围
。