dz多语言企业网站,c2c代表平台有哪些,成都响应式网站开发,莆田企业免费建站基于目标检测的海上舰船图像超分辨率研究
人工智能技术与咨询 来源#xff1a;《 图像与信号处理》 #xff0c;作者张坤等
关键词: 目标检测#xff1b;生成对抗网络#xff1b;超分辨率
摘要: 针对海上舰船图像有效像素在整体像素中占比小的问题#xff0c;提出一种…基于目标检测的海上舰船图像超分辨率研究
人工智能技术与咨询 来源《 图像与信号处理》 作者张坤等
关键词: 目标检测生成对抗网络超分辨率
摘要: 针对海上舰船图像有效像素在整体像素中占比小的问题提出一种基于目标检测网络的超分辨率方法。该方法包含两个阶段结合bicubic变换逐步地将图像的清晰度从粗到细地进行恢复。首先第一阶段通过目标检测网络检测出原图像中需要超分辨率的区域然后第二阶段将对应区域通过bicubic变换调整至指定分辨率而后通过生成对抗网络增强图像细节。最终在自建数据集上的实验结果表明与传统方法和现有基于深度神经网路的超分辨率重建算法相比该算法不仅图像视觉效果最好而且在数据集上的峰值信噪比(PSNR)平均提高了0.79 dB结构相似性(SSIM)平均提高了0.04证明了该算法的有效性。
1. 引言
近年来图像超分辨率技术得到了长足的发展结合比较有效的深度学习技术该方法的精度已经得到了较大的提高并已经广泛应用于各种领域如视频监控、医学成像、高清晰度电视、遥感、手机与数码相机等 [1] [2]。本文算法的应用背景为提高海上远距离舰船目标图像的分辨率主要应用于单幅海上舰船图像的超分辨率该问题是一个不适定的逆问题旨在从低分辨率(Low-Resolution, LR)图像中恢复出一个高分辨率(High-Resolution, HR)图像。如图1。 Figure 1. Marine ship image
图1. 海上舰船图像
目前传统超分辨率算法在运行时存在以下问题1) 由于远距离舰船图像的像素在整体图像所占比例较少大部分像素为用户并不关心的海浪天空等区域因此在运行传统算法的时大部分运算时间应用到了无关的区域不符合使用者的使用意图而且运行效率低下。2) 在应用深度学习技术的超分辨率算法中如果对整张图像进行学习则算法使用的卷积神经网络不能有效学习舰船目标的特征而很有可能把海浪天空的特征误认为舰船的特征从而无法有效对舰船图像进行重建。基于以上两点原因本文提出一种基于目标检测网络的超分辨率算法。
2. 研究背景及现状
2.1. 目标检测算法
自从AlexNet在比赛中使用卷积神经网络进而大幅度提高了图像分类的准确率便有学者尝试将深度学习应用到目标检测中。在这方面主要有两种主流的算法一类是结合region proposal、CNN网络的基于分类的R-CNN系列目标检测框架(two stage)另一类则是将目标检测转换为回归问题的算法(single stage) [3]。虽然FasterRCNN算法是目前主流的目标检测算法之一但是速度上并不能满足实时的要求。随后出现像YOLOSDD这一类的算法逐渐凸显出其在速度上的优势。YOLO [4] 算法的网络设计策略延续了GoogleNet [5] 的核心思想真正意义上实现了端到端的目标检测且发挥了速度快的优势。YOLO采用以cell为中心的多尺度区域取代region proposal舍弃了一些精确度以换取检测速度的大幅提升检测速度可以达到45 f/s足以满足实时要求。
2.2. 超分辨率算法
传统的SISR的方法包括基于插值的算法基于凸集投影法的算法等但由于深度学习在计算机视觉领域的突破性进展人们尝试在超分辨率问题中引入深度神经网络通过构建深层次的网络进行端到端的训练来解决图像超分辨率重建问题 [6]。SRCNN (super-resolution convolutional neural network) [7] 是最早运用深度学习方法在LR与HR之间建立端到端映射的SISR模型其输入图像采用了插值预处理的方法。Ledig等人 [8] 基于GAN提出了一种用于图像超分辨率的生成对抗网络SRGAN通过生成式和判别器的交替执行充分提取高频信息。由于海上舰船图片成对采集因此适用于使用建立像素到像素映射关系的超分辨率算法 [9]论文借鉴pix2pix [10] 的算法设计。
3. 基于目标检测网络的超分辨率重建模型
本文所设计的模型是一种基于目标检测算法的模型目的在于检测出整幅中用户感兴趣的区域而后再对指定区域进行超分辨率放大从而减少算法运行的时间并更好的重建目标区域图像的边缘和纹理本文的方法由两阶段组成如图2所示。 Figure 2. Model structure
图2. 模型结构
X为原图 X′X′ 为X的退化图像Y为X中用户感兴趣的区域x为 中用户感兴趣的区域y为生成网络生成的图像。T为目标检测网络用于获取X中的(x, y, h, w, confidence)信息G为图像生成网络D为鉴别网络。
3.1. 目标检测卷积神经网络结构设计
目标检测网络T的结构设计借鉴了yoloV3中Darknet-53的神经网络设计其候选框基于anchor候选框机制其原理图如图3
网络实际的预测值为tx、ty、tw、bh根据上图中的四个公式计算得到预测框的中心点坐标和宽高bxbybwbh。其中cx、cy为当前grid相对于左上角grid偏移的grid数量。
图3所示σ(t)函数为logistic函数将坐标归一化到0~1之间。最终得到的bxby为归一化后的相对于gridcell的值。pwph与groundtruth重合度最大的anchor框的宽和高。实际在使用中将bwbh也归一化到0~1实际程序中的pwph为anchor的宽高和feature map的宽高的比值。最终得到的bwbh为归一化后相对于anchor的值。 Figure 3. Anchor Candidate Box
图3. Anchor候选框
卷积神经网络结构如图4 Figure 4. Convolutional neural network architecture
图4. 卷积神经网络结构
该网络的特点在于使用了连续的3 × 3和1 × 1的卷积基层简化了resnet神经网络减少了检测时间。
在yoloV3损失函数中需要关注4个信息分别为位置信息(x, y)选中框的长宽(w, h)识别的置信度confidence识别出物体的类别class。由于在舰船的超分辨率任务中识别的目标只有舰船一类所以为了简化算法提高运算速度本文算法只是用前三项作为算式函数内容因此的到如下公式 其中 λcoordλcoord 为位置错误的权重 λnoobjλnoobj 为没有object的候选框的置信度权值 λobjλobj 为有object的候选框的置信度权值 1objij1ijobj 判断第i个栅格中的第j个候选框是否包含物体判断是否有物体的中心落在i中 xi,yixi,yi 为实际的坐标值 xˆi,yˆix^i,y^i 为预测的坐标值 wi,hiwi,hi 为实际候选框的宽和高 wˆi,hˆiw^i,h^i 为预测候选框的宽和高 CiCi 为实际的类别为预测的类别。
3.2. 图像生成卷积神经网络结构设计
图像生成网络G的设计为U-Net结构U-Net [11] 是德国Freiburg大学模式识别和图像处理组提出的一种全卷积结构。和常见的先降采样到低维度再升采样到原始分辨率的编解码(Encoder-Decoder)结构的网络相比U-Net的区别是加入skip-connection对应的featuremaps和decode之后的同样大小的featuremaps按通道拼(concatenate)一起用来保留不同分辨率下像素级的细节信息U-Net对提升细节的效果非常明显。
3.3. 图像判别卷积神经网络结构设计
图像判别网络G为PatchGAN [12]该网络不是以整个图像的作为输入而是以小的patch来进行的。把一副图像划分为N × N个patch后对于每一块进行上述的那个操作。可以发现当N 1的时候相当于逐像素进行了当N 256 (图像大小为256的话)就是一幅图像的操作。最后将一张图片所有patch的结果取平均作为最终的判别器输出。实验发现当N 70的时候效果最好 [10]。
3.4. 超分辨网络的目标函数
构建好生成网络和判别网络结构后设定目标函数。生成器G不断的尝试最小化下面的目标函数而D则通过不断的迭代去最大化这个目标函数。目标函数分为两个部分第一部分为生成对抗网络的损失函数公式为 4. 实验结果与分析
由于目前并没有针对舰船的图片数据集本文实验使用项目自行采集的数据集作为训练集该数据集由实际采集的舰船照片和网络爬取的舰船照片组成。其中实际采集的舰船照片为同一目标不同分辨率的图像经测算高分辨率图像经双线性差值与高斯模糊函数相叠加的方式作为退化函数能有效的模拟低分辨率图像而后将此退化函数应用到采集的舰船照片上得到本文使用的数据集。舰船图像的原始像素大小的256 × 256经退化函数处理得到不同分辨率的低分辨率图像。在4倍缩小尺度下低分辨率图像像素为128 × 128在9倍缩小尺度下低分辨率图像像素为85 × 85在16倍缩小尺度下低分辨率图像像素为64 × 64。一张高分辨舰船图像和一张对应的低分辨率图像为一组图像。数据集分为训练图像、验证图像和测试图像三个子集其中训练图像包含3000组图像验证图像包含50组图像测试图像包含50组图像。
本文实验通过Adam优化方法对网络进行训练。利用“步长”(step)策略调整学习率初始学习率权重为2e−5指数衰减率为0.999调整系数gamma为0.5最大迭代次数为10000。训练网络用机器配置为i7-770016G内存GTX1070Ti8G。
本文所提出的算法与现有的5种超分辨率的方法相比较分别为bilinearbicubic [13]discogan [14]pix2pix [10]pocs [15]。由于本文使用的算法只对选定的图像位置进行超分比率因此进行图像质量评价时为保证评价的公平性也仅对选定区域进行比较评价。利用本文算法得到的位置信息对各类算法得的图像进行截取而后利用峰值信噪比(PSNR)和结构相似度(Structual Similarity, SSIM)对截取的原图像和生成图像进行比较得到重建图像的评价值比较×4×9×16不同尺度下的效果结果如表1所示。 算法 重建倍数 Psnr Ssim Time (ms) Yolo2pix ×4 24.549 0.791 77.8 discogan 23.401 0.724 13.2 pix2pix 23.891 0.731 12.9 pocs 18.948 0.631 2034 bilinear 23.266 0.752 8.8 bicubic 23.864 0.777 13.6 Yolo2pix ×9 22.791 0.715 78.2 discogan 22.031 0.647 13.3 pix2pix 22.154 0.652 13.1 pocs 17.549 0.581 2154 bilinear 21.815 0.682 8.8 bicubic 22.148 0.699 14.8 Yolo2pix ×16 21.746 0.675 78.3 discogan 21.050 0.627 13.3 pix2pix 21.047 0.636 13.2 pocs 16.758 0.532 2253 bilinear 20.958 0.629 9.6 bicubic 21.241 0.645 15.2
Table 1. Test results on datasets using different super-resolution methods
表1. 使用不同超分辨率方法在数据集上的测试结果
从表1中可以看出本文算法在测试集上的PSNRSSIM超过了其他超分辨率方法但是相比于传统算法有一步选定区域的运算因此相比于其他超分辨率算法运行时间稍长。但这种劣势会随着舰船在所述图像中所占像素的减小而抵消。
为了直观的比较成像效果将本算法的生成图像和其他算法生成的图像排列对比实验结果如图5、图6、图7所示。 Figure 5. Comparison of results of different super-resolution methods at 4-fold scaling ratio
图5. 4倍缩放比率下不同超分辨率方法的结果比对 Figure 6. Comparison of results of different super-resolution methods at 9-fold scaling ratio
图6. 9倍缩放比率下不同超分辨率方法的结果比对 Figure 7. Comparison of results of different super-resolution methods at 16-fold scaling ratio
图7. 16倍缩放比率下不同超分辨率方法的结果比对
从数据上看排除效果较差的凸集投影(pocs)算法本文算法相比于其他算法在重建倍数4下PSNR最少提高0.658 dB平均提高0.94 dBSSIM最少提高0.014平均提高0.045。在重建倍数9下PSNR最少提高0.637 dB平均提高0.75 dBSSIM最少提高0.016平均提高0.045。在重建倍数16下PSNR最少提高0.505 dB平均提高0.67 dBSSIM最少提高0.03平均提高0.04。总体来说在数据集上的峰值信噪比(PSNR)平均提高了0.79 dB结构相似性(SSIM)平均提高了0.04。人工观察效果来看本文方法的整体视觉效果更好在重建倍数4下本文算法恢复了更多的船艇结构细节其船体部分棱角更加分明在重建倍数16下船体上部分窗户细节恢复的比较真实。但是船体的侧面细节纹理没有有效重建。
5. 结语
本文提出基于目标检测网络的图像超分辨率重建方法该方法首先框选出需要超分辨率的区域而后对选定区域使用基于GAN的超分辨率算法从而达到提升图像清晰度的目的。第一阶段利用Darknet-53网络快速检测目标获得目标的位置尺寸和置信度信息。第二阶段利用生成对抗模型利用U-Net结构和PatchGAN构建了端对端的超分辨率模型。结合自建舰船数据库让网络更有针对性的学习舰船结构特征从而从低分辨率图像中恢复出拥有更多纹理信息的高分辨率图像。本文方法与其他超分辨率算法相比不论是在主观重建效果还是客观评价标准上都有所提高的且重建出的图像具有更高的质量并显示更精细的细节。在实际应用中一幅画面中可能出现不止一艘船艇本文使用的Darknet-53网络对图像不同部分一次性给出全部置信度参数可以一次检测多艘船艇因此本文算法可以满足实际使用的需求但在检测小目标时算法效果有待考证此为下一步研究方向。 我们的服务类型
公开课程
人工智能、大数据、嵌入式
内训课程
普通内训、定制内训
项目咨询
技术路线设计、算法设计与实现图像处理、自然语言处理、语音识别
