C++ - OpenCV-Feature-Erkennung mit ORB

Question

Ich versuche, Funktionen mit OpenCV mit ORB für die Erkennung und FLANN für die Zuordnung zu extrahieren und zu vergleichen, und ich bekomme ein wirklich seltsames Ergebnis. Nach meinen 2 Bilder laden und sie in Graustufen konvertieren, hier ist mein Code:

// Initiate ORB detector 
    Ptr<FeatureDetector> detector = ORB::create(); 

// find the keypoints and descriptors with ORB 
    detector->detect(gray_image1, keypoints_object); 
    detector->detect(gray_image2, keypoints_scene); 

    Ptr<DescriptorExtractor> extractor = ORB::create(); 
    extractor->compute(gray_image1, keypoints_object, descriptors_object); 
    extractor->compute(gray_image2, keypoints_scene, descriptors_scene); 

// Flann needs the descriptors to be of type CV_32F 
    descriptors_scene.convertTo(descriptors_scene, CV_32F); 
    descriptors_object.convertTo(descriptors_object, CV_32F); 

    FlannBasedMatcher matcher; 
    vector<DMatch> matches; 
    matcher.match(descriptors_object, descriptors_scene, matches); 

    double max_dist = 0; double min_dist = 100; 

    //-- Quick calculation of max and min distances between keypoints 
    for(int i = 0; i < descriptors_object.rows; i++) 
    { 
     double dist = matches[i].distance; 
     if(dist < min_dist) min_dist = dist; 
     if(dist > max_dist) max_dist = dist; 
    } 

    //-- Use only "good" matches (i.e. whose distance is less than 3*min_dist) 
    vector<DMatch> good_matches; 

    for(int i = 0; i < descriptors_object.rows; i++) 
    { 
     if(matches[i].distance < 3*min_dist) 
     { 
      good_matches.push_back(matches[i]); 
     } 
    } 


    vector<Point2f> obj; 
    vector<Point2f> scene; 


    for(int i = 0; i < good_matches.size(); i++) 
    { 
     //-- Get the keypoints from the good matches 
     obj.push_back(keypoints_object[ good_matches[i].queryIdx ].pt); 
     scene.push_back(keypoints_scene[ good_matches[i].trainIdx ].pt); 
    } 

    // Find the Homography Matrix 
    Mat H = findHomography(obj, scene, CV_RANSAC); 
    // Use the Homography Matrix to warp the images 
    cv::Mat result; 
    warpPerspective(image1,result,H,Size(image1.cols+image2.cols,image1.rows)); 
    cv::Mat half(result,cv::Rect(0,0,image2.cols,image2.rows)); 
    image2.copyTo(half); 
    imshow("Result", result); 

Und dies ist ein Screenshot des seltsamen Ergebnisses ich erhalte: screen shot

Was könnte das Problem sein?

Danke!

Answer 1

Sie erleben die Ergebnisse eines schlechten Matchings: Die Homographie, die zu den Daten passt, ist nicht "realistisch" und verzerrt somit das Bild.

Sie können Ihre Übereinstimmung mit imshow("Good Matches", img_matches); wie in der example debuggen.

Es gibt mehrere Ansätze Ihre Spiele zu verbessern:

1. Verwenden Sie die Option crossCheck
2. Verwenden Sie den SIFT ratio test
3. Verwenden Sie den Output mask in cv::findHompgraphy völlig falsch Homografie Berechnungen
4. zu identifizieren ... und so weiter ...

Answer 2

ORB sind binäre Merkmalsvektoren, die nicht mit Flann arbeiten. Benutze stattdessen Brute Force (BFMatcher).