雙目標定，匹配的筆記

来源:http://www.cnblogs.com/shhu1993/archive/2017/06/28/7091842.html
-Advertisement-
Play Games

"清華大學黃耀的Stereo Matching Introduction ppt" "Efficient Large scale Stereo Matching" "opencv 函數" "Stereo Calibration and Rectification" 雙目攝像頭矯正就是為了 極點在無窮 ...


清華大學黃耀的Stereo-Matching-Introduction ppt

Efficient Large-scale Stereo Matching

opencv 函數

Stereo Calibration and Rectification

雙目攝像頭矯正就是為了

  • 極點在無窮遠處
  • 對應的極線水平對齊

做法是：

旋轉左右相機使得他們看起來是在一個平面上面的，並且使得他們對應的極線是水平對其的，最後進行scale縮放使得水平的畸變最小

大概的公式是這樣的，定義左攝像頭作為世界參考坐標系，\(P_l\)是一個點ｐ在世界坐標系表示，\(P_r\)是該點在右攝像機坐標系中表示，Ｒ,T是左右攝像機的坐標變換，那麼有

\[P_l = R^TP_r +T\]

\[R_{rect}P_l = R_{rect}R^TP_r +R_{rect}T\]

上面對他們同時乘以一個\(R_{rect}\)，要是\(R_{rect}T = \{|T| \quad 0 \quad 0\}\)

那麼同一點ｐ在左右攝像機中的表示只是相差一個ｘ值，就是在同一水平線上，那麼\(R_{rect}\)怎麼構造呢

大概就是以攝像機的中心連線作為\(e_1\)，\(e_1\)叉乘一個相機的光心軸的方向作為\(e_2\)，\(e_3\)　就是\(e_1\)叉乘\(e_2\), \(e_1,e_2,e_3\)就是\(R_{rect}\)

具體可以參考上面的那個Stereo Calibration and Rectification，對opencv　stereo代碼的使用還有原理講解非常好。

左右圖像已經矯正，搜索就是在同一行上面進行，一般有local window search， global energy function

  • Local Approach

最簡單的做法是下麵這種

for each row, k
    for j = Δ to w
        c min = ∞
        for d = 0 to Δ // check each possible disparity
            c(d) = f ( I 1 (j,k), I 2 (j-d,k) )
            if c(d) < c min then
                d best = d
                c min = c(d)
        disp( j,k ) = d best // Save best d value

就是利用局部像素的信息，有滑動視窗，NCC 什麼的，但是對於邊緣的地方效果不是很好，還有就是視窗的大小對效果很有關係

  • Global Approach

就是加了一項平滑的量

立體匹配具體的可以參考上面的黃耀的Stereo-Matching-Introduction

評價演算法好壞的可以從以下幾個方面：

對邊界處深度的估計，無紋理地方的估計，漸變面的深度估計，遮掩地方的估計，還有需要計算的時間，記憶體

雙目標定的代碼

是別人的代碼，具體的來源我忘了(對不住了兄弟，知道的可以跟我說一下，我給個鏈接)

// stereoCalibration.cpp : 定義控制台應用程式的入口點。
//
//在進行雙目攝像頭的標定之前，最好事先分別對兩個攝像頭進行單目視覺的標定 
//分別確定兩個攝像頭的內參矩陣，然後再開始進行雙目攝像頭的標定
//在此常式中是先對兩個攝像頭進行單獨標定(見上一篇單目標定文章)，然後在進行立體標定

#include "stdio.h"
#include <opencv2/opencv.hpp>
#include <opencv2/highgui/highgui.hpp>
#include "cv.h"
#include <cv.hpp>
#include <iostream>

using namespace std;
using namespace cv;

const int imageWidth = 672;                             //攝像頭的解析度
const int imageHeight = 376;
const int boardWidth = 11;                              //橫向的角點數目
const int boardHeight = 8;                              //縱向的角點數據
const int boardCorner = boardWidth * boardHeight;       //總的角點數據
const int frameNumber = 40;                             //相機標定時需要採用的圖像幀數
const int squareSize = 20;                              //標定板黑白格子的大小 單位mm
const Size boardSize = Size(boardWidth, boardHeight);   //
Size imageSize = Size(imageWidth, imageHeight);

Mat R, T, E, F;                                         //R 旋轉矢量 T平移矢量 E本徵矩陣 F基礎矩陣
vector<Mat> rvecs;                                      //旋轉向量
vector<Mat> tvecs;                                      //平移向量
vector<vector<Point2f>> imagePointL;                    //左邊攝像機所有照片角點的坐標集合
vector<vector<Point2f>> imagePointR;                    //右邊攝像機所有照片角點的坐標集合
vector<vector<Point3f>> objRealPoint;                   //各副圖像的角點的實際物理坐標集合


vector<Point2f> cornerL;                                //左邊攝像機某一照片角點坐標集合
vector<Point2f> cornerR;                                //右邊攝像機某一照片角點坐標集合

Mat rgbImageL, grayImageL;
Mat rgbImageR, grayImageR;

Mat Rl, Rr, Pl, Pr, Q;                                  //校正旋轉矩陣R，投影矩陣P 重投影矩陣Q (下麵有具體的含義解釋） 
Mat mapLx, mapLy, mapRx, mapRy;                         //映射表
Rect validROIL, validROIR;                              //圖像校正之後，會對圖像進行裁剪，這裡的validROI就是指裁剪之後的區域

/*
事先標定好的左相機的內參矩陣
fx 0 cx
0 fy cy
0 0  1
*/
Mat cameraMatrixL = (Mat_<double>(3, 3) << 350.630987, 0.000000, 338.489358,
0.000000, 350.460123 ,186.370994,
                                          0,  0,       1);
Mat distCoeffL = (Mat_<double>(5, 1) << -0.167658 ,0.022202 ,-0.000261 ,-0.000113, 0.000000
);
/*
事先標定好的右相機的內參矩陣
fx 0 cx
0 fy cy
0 0  1
*/
Mat cameraMatrixR = (Mat_<double>(3, 3) << 350.032707, 0.000000 ,352.606748,
0.000000 ,349.998921 ,189.797070,
                                            0,      0,       1);
Mat distCoeffR = (Mat_<double>(5, 1) << -0.167346, 0.023118 ,-0.000105, 0.000318, 0.000000);


/*計算標定板上模塊的實際物理坐標*/
void calRealPoint(vector<vector<Point3f>>& obj, int boardwidth, int boardheight, int imgNumber, int squaresize)
{
    //  Mat imgpoint(boardheight, boardwidth, CV_32FC3,Scalar(0,0,0));
    vector<Point3f> imgpoint;
    for (int rowIndex = 0; rowIndex < boardheight; rowIndex++)
    {
        for (int colIndex = 0; colIndex < boardwidth; colIndex++)
        {
            //  imgpoint.at<Vec3f>(rowIndex, colIndex) = Vec3f(rowIndex * squaresize, colIndex*squaresize, 0);
            imgpoint.push_back(Point3f(rowIndex * squaresize, colIndex * squaresize, 0));
        }
    }
    for (int imgIndex = 0; imgIndex < imgNumber; imgIndex++)
    {
        obj.push_back(imgpoint);
    }
}

void outputCameraParam(void)
{
    /*保存數據*/
    /*輸出數據*/
    FileStorage fs("intrinsics.yml", FileStorage::WRITE);
    if (fs.isOpened())
    {
        fs << "cameraMatrixL" << cameraMatrixL << "cameraDistcoeffL" << distCoeffL <<"cameraMatrixR" << cameraMatrixR << "cameraDistcoeffR" << distCoeffR;
        fs.release();
        cout << "cameraMatrixL=:" << cameraMatrixL <<endl<< "cameraDistcoeffL=:" << distCoeffL <<endl<<"cameraMatrixR=:" << cameraMatrixR <<endl<< "cameraDistcoeffR=:" << distCoeffR<<endl;
    }
    else
    {
        cout << "Error: can not save the intrinsics!!!!!" << endl;
    }

    fs.open("extrinsics.yml", FileStorage::WRITE);
    if (fs.isOpened())
    {
        fs << "R" << R << "T" << T << "Rl" << Rl << "Rr" << Rr << "Pl" << Pl << "Pr" << Pr << "Q" << Q;
        cout << "R=" << R << endl << "T=" << T << endl << "Rl=" << Rl << endl << "Rr=" << Rr << endl << "Pl=" << Pl << endl << "Pr=" << Pr << endl << "Q=" << Q << endl;
        fs.release();
    }
    else
        cout << "Error: can not save the extrinsic parameters\n";
}


int main(int argc, char* argv[])
{
    Mat img;
    int goodFrameCount = 0;
    namedWindow("ImageL");
    namedWindow("ImageR");
    cout << "按Q退出 ..." << endl;
    while (goodFrameCount < frameNumber)
    {
        char filename[100];
        /*讀取左邊的圖像*/
        sprintf(filename, "image/left-%04d.png", goodFrameCount + 1);
        rgbImageL = imread(filename, CV_LOAD_IMAGE_COLOR);
        cvtColor(rgbImageL, grayImageL, CV_BGR2GRAY);

        /*讀取右邊的圖像*/
        sprintf(filename, "image/right-%04d.png", goodFrameCount + 1);
        rgbImageR = imread(filename, CV_LOAD_IMAGE_COLOR);
        cvtColor(rgbImageR, grayImageR, CV_BGR2GRAY);

        bool isFindL, isFindR;

        isFindL = findChessboardCorners(rgbImageL, boardSize, cornerL);
        isFindR = findChessboardCorners(rgbImageR, boardSize, cornerR);
        if (isFindL == true && isFindR == true)  //如果兩幅圖像都找到了所有的角點 則說明這兩幅圖像是可行的
        {
            /*
            Size(5,5) 搜索視窗的一半大小
            Size(-1,-1) 死區的一半尺寸
            TermCriteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 20, 0.1)迭代終止條件
            */
            cornerSubPix(grayImageL, cornerL, Size(5, 5), Size(-1, -1), TermCriteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 20, 0.1));
            drawChessboardCorners(rgbImageL, boardSize, cornerL, isFindL);
            imshow("chessboardL", rgbImageL);
            imagePointL.push_back(cornerL);


            cornerSubPix(grayImageR, cornerR, Size(5, 5), Size(-1, -1), TermCriteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 20, 0.1));
            drawChessboardCorners(rgbImageR, boardSize, cornerR, isFindR);
            imshow("chessboardR", rgbImageR);
            imagePointR.push_back(cornerR);

            /*
            本來應該判斷這兩幅圖像是不是好的，如果可以匹配的話才可以用來標定
            但是在這個常式當中，用的圖像是系統自帶的圖像，都是可以匹配成功的。
            所以這裡就沒有判斷
            */
            //string filename = "res\\image\\calibration";
            //filename += goodFrameCount + ".jpg";
            //cvSaveImage(filename.c_str(), &IplImage(rgbImage));       //把合格的圖片保存起來
            goodFrameCount++;
            cout << "The image is good" << endl;
        }
        else
        {
            cout << "The image is bad please try again" << endl;
        }

        if (waitKey(10) == 'q')
        {
            break;
        }
    }

    /*
    計算實際的校正點的三維坐標
    根據實際標定格子的大小來設置
    */
    calRealPoint(objRealPoint, boardWidth, boardHeight, frameNumber, squareSize);
    cout << "cal real successful" << endl;

    /*
        標定攝像頭
        由於左右攝像機分別都經過了單目標定
        所以在此處選擇flag = CALIB_USE_INTRINSIC_GUESS
    */
    double rms = stereoCalibrate(objRealPoint, imagePointL, imagePointR,
        cameraMatrixL, distCoeffL,
        cameraMatrixR, distCoeffR,
        Size(imageWidth, imageHeight), R, T, E, F,
        CALIB_USE_INTRINSIC_GUESS,
        TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 100, 1e-5));

    cout << "Stereo Calibration done with RMS error = " << rms << endl;

    /*
    立體校正的時候需要兩幅圖像共面並且行對準 以使得立體匹配更加的可靠
    使得兩幅圖像共面的方法就是把兩個攝像頭的圖像投影到一個公共成像面上，這樣每幅圖像從本圖像平面投影到公共圖像平面都需要一個旋轉矩陣R
    stereoRectify 這個函數計算的就是從圖像平面投影都公共成像平面的旋轉矩陣Rl,Rr。 Rl,Rr即為左右相機平面行對準的校正旋轉矩陣。
    左相機經過Rl旋轉，右相機經過Rr旋轉之後，兩幅圖像就已經共面並且行對準了。
    其中Pl,Pr為兩個相機的投影矩陣，其作用是將3D點的坐標轉換到圖像的2D點的坐標:P*[X Y Z 1]' =[x y w] 
    Q矩陣為重投影矩陣，即矩陣Q可以把2維平面(圖像平面)上的點投影到3維空間的點:Q*[x y d 1] = [X Y Z W]。其中d為左右兩幅圖像的時差
    */
    stereoRectify(cameraMatrixL, distCoeffL, cameraMatrixR, distCoeffR, imageSize, R, T, Rl, Rr, Pl, Pr, Q,
                  CALIB_ZERO_DISPARITY,-1,imageSize,&validROIL,&validROIR);
    /*
    根據stereoRectify 計算出來的R 和 P 來計算圖像的映射表 mapx,mapy
    mapx,mapy這兩個映射表接下來可以給remap()函數調用，來校正圖像，使得兩幅圖像共面並且行對準
    ininUndistortRectifyMap()的參數newCameraMatrix就是校正後的攝像機矩陣。在openCV裡面，校正後的電腦矩陣Mrect是跟投影矩陣P一起返回的。
    所以我們在這裡傳入投影矩陣P，此函數可以從投影矩陣P中讀出校正後的攝像機矩陣
    */
    initUndistortRectifyMap(cameraMatrixL, distCoeffL, Rl, Pr, imageSize, CV_32FC1, mapLx, mapLy);
    initUndistortRectifyMap(cameraMatrixR, distCoeffR, Rr, Pr, imageSize, CV_32FC1, mapRx, mapRy);


    Mat rectifyImageL, rectifyImageR;
    cvtColor(grayImageL, rectifyImageL, CV_GRAY2BGR);
    cvtColor(grayImageR, rectifyImageR, CV_GRAY2BGR);

    imshow("Rectify Before", rectifyImageL);

    /*
    經過remap之後，左右相機的圖像已經共面並且行對準了
    */
    remap(rectifyImageL, rectifyImageL, mapLx, mapLy, INTER_LINEAR);
    remap(rectifyImageR, rectifyImageR, mapRx, mapRy, INTER_LINEAR);

    imshow("ImageL", rectifyImageL);
    imshow("ImageR", rectifyImageR);

    /*保存並輸出數據*/
    outputCameraParam();

    /*
        把校正結果顯示出來
        把左右兩幅圖像顯示到同一個畫面上
        這裡只顯示了最後一副圖像的校正結果。並沒有把所有的圖像都顯示出來
    */
    Mat canvas;
    double sf;
    int w, h;
    sf = 600. / MAX(imageSize.width, imageSize.height);
    w = cvRound(imageSize.width * sf);
    h = cvRound(imageSize.height * sf);
    canvas.create(h, w * 2, CV_8UC3);

    /*左圖像畫到畫布上*/
    Mat canvasPart = canvas(Rect(w*0, 0, w, h));                                //得到畫布的一部分
    resize(rectifyImageL, canvasPart, canvasPart.size(), 0, 0, INTER_AREA);     //把圖像縮放到跟canvasPart一樣大小
    Rect vroiL(cvRound(validROIL.x*sf), cvRound(validROIL.y*sf),                //獲得被截取的區域  
              cvRound(validROIL.width*sf), cvRound(validROIL.height*sf));
    rectangle(canvasPart, vroiL, Scalar(0, 0, 255), 3, 8);                      //畫上一個矩形

    cout << "Painted ImageL" << endl;

    /*右圖像畫到畫布上*/
    canvasPart = canvas(Rect(w, 0, w, h));                                      //獲得畫布的另一部分
    resize(rectifyImageR, canvasPart, canvasPart.size(), 0, 0, INTER_LINEAR);
    Rect vroiR(cvRound(validROIR.x * sf), cvRound(validROIR.y*sf),          
              cvRound(validROIR.width * sf), cvRound(validROIR.height * sf));
    rectangle(canvasPart, vroiR, Scalar(0, 255, 0), 3, 8);

    cout << "Painted ImageR" << endl;

    /*畫上對應的線條*/
    for (int i = 0; i < canvas.rows;i+=16)
        line(canvas, Point(0, i), Point(canvas.cols, i), Scalar(0, 255, 0), 1, 8);

    imshow("rectified", canvas);

    cout << "wait key" << endl;
    waitKey(0);
    system("pause");
    return 0;
}

stereoRectify只需要K1,D1,K2,D2,就可以求出R1,P1,R2,P2,Q. 不同的參數alpha會導致的不同的結果，可以把上面的alpha改為-1或者0，試試

stereoCalibrate這個才是矯正得到不同於單目攝像頭矯正得到的K1,D1,K2,D2，還有R，T，E，F。

矯正過程中多次取圖片的用處不是在重覆運行上面兩個函數，而是得到多組不同的objectPoints以及對應的imagePoints


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 推薦幾款.NET客戶端開源報表圖
    如果你正在開發客戶端報表圖相關的應用，除了.NET自帶的控制項，你還可以考慮使用以下幾個控制項庫。 【OxyPlot】 OxyPlot是一個支持.NET的跨平臺繪圖庫。你可以在很多平臺上使用它，如WPF, Windows 8, Windows Phone, Windows Phone Silverlig ...
  • Restsharp常見格式的發送分析
    1.傳遞匿名對象JSON格式 2.multipart/form-data上傳文件 根據Restsharp源碼可以發現如果使用了AddFile了會自動添加multipart/form-data參數 3.直接傳遞不帶參數的RequestBody：有的時候介面並不包含參數名而是直接以body流的方式傳輸的 ...
  • Entity Framework入門教程：SQLite數據源訪問
    【環境安裝】 可以通過NuGet直接搜索安裝SQLite需要用到的組件 或者直接使用程式包管理器控制台 通過ADO.NET實體數據模型訪問SQLite數據源之前，你需要安裝 sqlite netFx46 setup bundle x86 2015 1.0.105.2.exe，當然這個需要根據你使用的 ...
  • 關於Linq對DataTable和List各自的兩個集合篩選的相關操作技巧
    項目中用到了對兩個集合的帥選等操作，簡單總結下 1.Linq操作多個Datable 可以通過AsEnumerable()方法對DataTable進行Linq操作 2.Linq操作多個List 得到一組List主鍵，根據這個主鍵集合帥選出滿足條件的數據集合。 ...
  • 2017面試總結
    2017 從北到南。作為一個工作了4年多的老程式員。每次找工作也頭痛。但是還是得堅持下去，不是嗎？貼上這次面試過程中遇到的問題。希望對大家有所幫助。也希望大家補充！ 1.text ,val ,html 的區別 html()用為讀取和修改元素的HTML標簽 對應js中的innerHTML .html( ...
  • 人工智慧一之TensorFlow環境配置
    1.安裝pip：sudo apt-get install python-pip python-dev 2.定義僅支持CPU的python2.7環境下TensorFlow安裝包地址：export TF_BINARY_URL=https://storage.googleapis.com/tensorfl ...
  • Java 轉型
    向上轉型（多態）：父類引用指向子類對象 Parent p = new Child() > 這個指的就是向上轉型。 註： 這裡p是一個引用， 只有new 出來的才是對象。 向下轉型：Parent p = new Child(); ...
  • supervisor簡單教學
    supervisor是可以用來保護在linux下運行的進程，提供start/stop/restart等功能，能夠保證進程不被其他進程誤殺掉。 首先apt-get install supervisor supervisord 是daemon主程式，生成預設配置文件 echo_supervisord_c ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類