本文共 4785 字，大约阅读时间需要 15 分钟。
双目相机标定与深度计算方法
前言
双目相机标定是一项重要的前沿技术，广泛应用于机器人、自动驾驶和3D重建等领域。该方法通过同时捕捉左右两摄像头的图像，利用几何和光学知识，计算出相机的内外参数，并最终生成深度图。本文将详细介绍双目相机标定的实现过程及深度计算方法。原理介绍
双目相机标定基于几何学和光学学的原理。通过捕捉左右两摄像头的图像，计算出两摄像头的内外参数，进而求解两个相机的相对位置和方向。这种方法通常采用标定板作为校准目标，通过识别标定板上的角点，计算出相机的内参数（如焦距、中心点）和畸变参数。实现教程
一、左右摄像头同时拍照并保存于本地
#include#include #include #include using namespace std;using namespace cv;// 单次拍摄并保存图像void captureImages() { Mat frame, frame1; bool stop = false; while (!stop) { cap.read(frame); cap1.read(frame1); imshow("camera0", frame); imshow("camera1", frame1); int delay = 30; if (delay >= 0 && waitKey(delay) >= 0) { waitKey(0); } imwrite("left1.jpg", frame1); imwrite("right1.jpg", frame); } cap.release(); cap1.release();}
二、单目标定
单目标定是双目标定的基础步骤。通过单目标定计算出每个相机的内参数。以下是一个单目标定代码示例：#include "opencv2/core/core.hpp"#include "opencv2/imgproc/imgproc.hpp"#include "opencv2/calib3d/calib3d.hpp"#include "opencv2/highgui/highgui.hpp"using namespace std;using namespace cv;// 单目相机标定void guessCameraParam() { // 相机内参数 intrinsic.create(3, 3, CV_64FC1); distortion_coeff.create(5, 1, CV_64FC1); // 示例内参数值（需根据实际相机测量得出） intrinsic.at (0, 0) = 256.8093262; // fx intrinsic.at (0, 2) = 160.2826538; // cx intrinsic.at (1, 1) = 254.7511139; // fy intrinsic.at (1, 2) = 127.6264572; // cy // 示例畸变参数（需根据实际相机测量得出） distortion_coeff.at (0, 0) = -0.193740; // k1 distortion_coeff.at (1, 0) = -0.378588; // k2 distortion_coeff.at (2, 0) = 0.028980; // p1 distortion_coeff.at (3, 0) = 0.008136; // p2} 三、双目标定
双目标定是基于单目标定的基础上，结合左右两个相机的数据，计算出两相机的相对位置和外参数。以下是一个双目标定代码示例：#include "opencv2/core/core.hpp"#include "opencv2/imgproc/imgproc.hpp"#include "opencv2/calib3d/calib3d.hpp"#include "opencv2/highgui/highgui.hpp"using namespace std;using namespace cv;// 双目相机标定void stereoCalibrate() { // 输入参数 vector objPoints; // 标定板实际坐标 vector leftPoints; // 左相机角点坐标 vector rightPoints; // 右相机角点坐标 // 输出参数 Mat cameraMatrixL, cameraMatrixR; // 相机内参数矩阵 Mat distCoeffL, distCoeffR; // 相机畸变参数 vector rvecs, tvecs; // 旋转向量和平移向量 // 示例参数值（需根据实际测量得出） cameraMatrixL.create(3, 3, CV_64FC1); cameraMatrixR.create(3, 3, CV_64FC1); distCoeffL.create(5, 1, CV_64FC1); distCoeffR.create(5, 1, CV_64FC1); // 示例内参数值（需根据实际相机测量得出） cameraMatrixL.at (0, 0) = 462.279595; // fx cameraMatrixL.at (1, 1) = 460.220741; // fy cameraMatrixL.at (0, 2) = 312.781587; // cx cameraMatrixL.at (1, 2) = 208.225803; // cy // 示例畸变参数（需根据实际相机测量得出） distCoeffL.at (0, 0) = -0.054929; // k1 distCoeffL.at (1, 0) = 0.224509; // k2 distCoeffL.at (2, 0) = 0.000386; // p1 distCoeffL.at (3, 0) = 0.001799; // p2 distCoeffL.at (4, 0) = -0.302288; // k3 // 示例右相机参数 cameraMatrixR.at (0, 0) = 463.923124; // fx cameraMatrixR.at (1, 1) = 462.203276; // fy cameraMatrixR.at (0, 2) = 322.783959; // cx cameraMatrixR.at (1, 2) = 256.100655; // cy // 示例畸变参数（需根据实际相机测量得出） distCoeffR.at (0, 0) = -0.049056; // k1 distCoeffR.at (1, 0) = 0.229945; // k2 distCoeffR.at (2, 0) = 0.001745; // p1 distCoeffR.at (3, 0) = -0.001862; // p2 distCoeffR.at (4, 0) = -0.321533; // k3 // 标定板实际坐标（需根据实际标定板得出） for (int i = 0; i < 15; i++) { Point3f point(i * 25, i * 25, 0); objPoints.push_back(point); }} 四、深度计算
通过双目标定得到的外参数和深度函数，可以计算出深度图。以下是一个深度计算代码示例：import numpy as npimport cv2# 假设已经完成双目标定，得到了Q矩阵Q = np.array([ [1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0]], dtype=np.float32)# 读取左右两摄像头图像left_img = cv2.imread("left.jpg")right_img = cv2.imread("right.jpg")# remap图像到校正后的图像rectified_left = cv2.remap(left_img, camera_configs.left_map1, camera_configs.left_map2, cv2.INTER_LINEAR)rectified_right = cv2.remap(right_img, camera_configs.right_map1, camera_configs.right_map2, cv2.INTER_LINEAR)# 将图像转换为灰度格式gray_left = cv2.cvtColor(rectified_left, cv2.COLOR_BGR2GRAY)gray_right = cv2.cvtColor(rectified_right, cv2.COLOR_BGR2GRAY)# 调节trackbar参数num = cv2.getTrackbarPos("num", "depth")blockSize = cv2.getTrackbarPos("blockSize", "depth")# 计算深度图stereo = cv2.StereoBM_create(numDisparities=16 * num, blockSize=blockSize)disparity = stereo.compute(gray_left, gray_right)# 调整深度图disp = cv2.normalize(disparity, disparity, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)# 生成深度图像depth = cv2.reprojectImageTo3D(disparity.astype(np.float32) / 16., Q)# 显示结果cv2.imshow("depth", disparity)cv2.waitKey(1)# 释放资源camera1.release()camera2.release()cv2.destroyAllWindows() 总结
通过以上步骤，可以实现双目相机标定并生成深度图。虽然精度有限，但在实际应用中已经足够使用。转载地址：http://agpi.baihongyu.com/