失眠网 > 【Opencv】Python+openCV实现全景图拼接（左右两张图片拼接成一张全景图）

【Opencv】Python+openCV实现全景图拼接（左右两张图片拼接成一张全景图）

时间：2021-05-07 14:32:41

Python+openCV实现全景图拼接（左右两张图片拼接成一张全景图）

全景图拼接思路具体步骤代码与结果代码效果测试1效果测试2

全景图拼接

思路

这个就是简单对左右两张图进行拼接，希望实现下面效果：

这里不是指严丝合缝的可以直接拼接的图，比如

如下面两个图：（以中间那个仙人掌（貌似）为指标，可见第一张图应该位于全景图的左边，第二张图位于全景图右边）

想要实现效果（简单拼接成全景图，其实融合的不太好）：

我们需要：

找两张图片中相似的点，计算变换矩阵变换一张图片放到另一张图片合适的位置

1.SIFT确定关键点

2.对两张图做特征匹配

3.要实现两张图片的简单拼接，其实只需找出两张图片中相似的点 (至少四个，因为 homography 矩阵的计算需要至少四个点)，计算一张图片可以变换到另一张图片的变换矩阵(homography 单应性矩阵)，用这个矩阵把那张图片变换后放到另一张图片相应的位置 ( 就是相当于把两张图片中定好的四个相似的点給重合在一起)。如此，就可以实现简单的全景拼接。

注意：下面代码都是对右图计算变换矩阵的，最终将左图拼接上去即可实现简单的全景拼接

具体步骤

（1）检测左右2图片的SIFT关键特征点，并计算特征描述

（2）使用KNN检测来自左右2图的SIFT特征，进行匹配

（3）计算视角变换矩阵H，用变换矩阵H对右图进行变换

（4）左图加入到变换后的图像获得最终图像

代码与结果

代码

import cv2import numpy as npdef cvshow(name,img):cv2.imshow(name,img)cv2.waitKey(0)cv2.destroyAllWindows()def sift_kp(image):gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)sift = cv2.xfeatures2d.SIFT_create()kp, des = sift.detectAndCompute(image, None)kp_image = cv2.drawKeypoints(gray_image, kp, None)return kp_image, kp, desdef get_good_match(des1, des2):bf = cv2.BFMatcher()matches = bf.knnMatch(des1, des2, k=2) # des1为模板图，des2为匹配图matches = sorted(matches, key=lambda x: x[0].distance / x[1].distance)good = []for m, n in matches:if m.distance < 0.75 * n.distance:good.append(m)return gooddef drawMatches(imageA, imageB, kpsA, kpsB, matches, status):# 初始化可视化图片，将A、B图左右连接到一起(hA, wA) = imageA.shape[:2](hB, wB) = imageB.shape[:2]vis = np.zeros((max(hA, hB), wA + wB, 3), dtype="uint8")vis[0:hA, 0:wA] = imageAvis[0:hB, wA:] = imageB# 联合遍历，画出匹配对for ((trainIdx, queryIdx), s) in zip(matches, status):# 当点对匹配成功时，画到可视化图上if s == 1:# 画出匹配对ptA = (int(kpsA[queryIdx][0]), int(kpsA[queryIdx][1]))ptB = (int(kpsB[trainIdx][0]) + wA, int(kpsB[trainIdx][1]))cv2.line(vis, ptA, ptB, (0, 255, 0), 1)# 返回可视化结果return vis# 全景拼接def siftimg_rightlignment(img_right, img_left):_, kp1, des1 = sift_kp(img_right)_, kp2, des2 = sift_kp(img_left)goodMatch = get_good_match(des1, des2)# 当筛选项的匹配对大于4对时：计算视角变换矩阵if len(goodMatch) > 4:# 获取匹配对的点坐标ptsA = np.float32([kp1[m.queryIdx].pt for m in goodMatch]).reshape(-1, 1, 2)ptsB = np.float32([kp2[m.trainIdx].pt for m in goodMatch]).reshape(-1, 1, 2)ransacReprojThreshold = 4H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, ransacReprojThreshold)# 该函数的作用就是先用RANSAC选择最优的四组配对点，再计算H矩阵。H为3*3矩阵# 将图片右进行视角变换，result是变换后图片result = cv2.warpPerspective(img_right, H, (img_right.shape[1] + img_left.shape[1], img_right.shape[0]))cvshow('result_medium', result)# 将图片左传入result图片最左端result[0:img_left.shape[0], 0:img_left.shape[1]] = img_leftreturn result# 特征匹配＋全景拼接import numpy as npimport cv2# 读取拼接图片（注意图片左右的放置）# 是对右边的图形做变换img_right = cv2.imread(r'd:/right1.jpg')img_left = cv2.imread(r'd:/left1.jpg')img_right = cv2.resize(img_right,None,fx=0.5,fy=0.3)# 保证两张图一样大img_left = cv2.resize(img_left,(img_right.shape[1],img_right.shape[0]))kpimg_right, kp1, des1 = sift_kp(img_right)kpimg_left, kp2, des2 = sift_kp(img_left)# 同时显示原图和关键点检测后的图cvshow('img_left',np.hstack((img_left,kpimg_left)))cvshow('img_right',np.hstack((img_right,kpimg_right)))goodMatch = get_good_match(des1, des2)all_goodmatch_img= cv2.drawMatches(img_right, kp1, img_left, kp2, goodMatch, None, flags=2)# goodmatch_img自己设置前多少个goodMatch[:10]goodmatch_img = cv2.drawMatches(img_right, kp1, img_left, kp2, goodMatch[:10], None, flags=2)cvshow('Keypoint Matches1', all_goodmatch_img)cvshow('Keypoint Matches2', goodmatch_img)# 把图片拼接成全景图result=siftimg_rightlignment(img_right,img_left)cvshow('result',result)