OpenCV3.3.1 顔認識とトラッキングのサンプルプログラム

この、顔の検出は、従来のカスケードファイルを使った顔検出プログラムで行うようにしました。

顔検出もずっと以前、OpenCV2.X の時に試した時は、検出できる顔の大きさが一定でないと
うまくできなっかた事を記憶していますが、今はかなり向上しているみたいで、
本当に驚きました。

それは、こちらのプログラムを参考にさせてもらいました。

http://nonbiri-tereka.hatenablog.com/entry/2015/05/13/063713

結局、２つのプログラムをドッキングして、自動で顔を認識してトラッキングを
始めるプログラムでき上がりました。

取り敢えず、プログラムコードは、こちら。

//============================================================================ // Name : face_auto_track.cpp // Author : // Version : // Copyright : Net Mall Tosa. // Description : face auto detect by OpenCV3.3.1 //============================================================================ // このプログラムは、Windows10 + MinGW-w64 + OpenCV3.3.1 で動作確認しています。 // 注1) // カスケードファイル cascade_file ="path/haarcascade_xxxxx.xml" を自分の環境に合わせて下さい。 // 注2) // OpenCV3.3.1 のライブラリー(dll)パスを、実行時には、自分の環境に合わせて、指定してください。 // set PATH=C:\opencv-3.3.1\Mingw_build\install\x64\mingw\lib;%PATH% // // ------------------- // 実行時のオペレーション // プログラムを起動したら、自動で、カスケードファイルで指定した、対象物を認識します。 // 認識がずれたら、 't' キーを押すと、再度、対象物を認識します。 // キー入力: // 'q' : プログラム終了 // 't' : 顔部分の検出を、再度行います。 #include <opencv2/opencv.hpp> #include <opencv2/imgcodecs.hpp> #include <opencv2/core.hpp> #include <opencv2/videoio.hpp> #include <opencv2/highgui.hpp> #include <opencv2/tracking/tracker.hpp> #include <opencv2/tracking/tldDataset.hpp> #include <opencv2/imgproc.hpp> #include <iostream> #include <vector> #include <opencv2/objdetect.hpp> using namespace std; using namespace cv; cv::Ptr<cv::TrackerMedianFlow> tracker; int tracking; cv::Rect2d roi; // カスケードファイル static String cascade_file = "C:/app/opencv-3.3.1_src/data/haarcascades_cuda/haarcascade_frontalface_default.xml"; // 顔認識画面 Mat detectFaceImage; /* * Mat detectFaceInImage(Mat &image,String &cascade_file) * * 静止画像から顔部分を矩形で描画します。 * * Mat &image : 画像フレーム * String &cascade_file : カスケードファイルパス */ Mat detectFaceInImage(Mat &image,String &cascade_file){ CascadeClassifier cascade; cascade.load(cascade_file); vector<Rect> faces; cascade.detectMultiScale(image, faces, 1.1,3,0,Size(20,20)); for (unsigned int i = 0; i < faces.size(); i++){ rectangle(image, Point(faces[i].x,faces[i].y),Point(faces[i].x + faces[i].width,faces[i].y + faces[i].height),Scalar(0,200,0),3,CV_AA); } return image; } /* * vector<Rect> detectFaceInImage2(Mat &image,String &cascade_file) * * 静止画像から顔部分の矩形情報を返します。 * * Mat &image : 画像フレーム * String &cascade_file : カスケードファイルパス */ vector<Rect> detectFaceInImage2(Mat &image,String &cascade_file){ CascadeClassifier cascade; cascade.load(cascade_file); vector<Rect> faces; cascade.detectMultiScale(image, faces, 1.1,3,0,Size(20,20)); //for (unsigned int i = 0; i < faces.size(); i++){ // rectangle(image, Point(faces[i].x,faces[i].y),Point(faces[i].x + faces[i].width,faces[i].y + faces[i].height),Scalar(0,200,0),3,CV_AA); //} return faces; } /* * tracker_init() * 顔の追跡を初期化します。 */ int tracker_init(cv::Mat &frame,cv::Ptr<cv::TrackerMedianFlow> &tracker, cv::Rect2d &rect){ vector<Rect> faces; if(0){ // こちらは、顔検索結果を、そのまま表示確認できます。 detectFaceImage = detectFaceInImage(frame, cascade_file); imshow("detect face",detectFaceImage); waitKey(0); cv::destroyAllWindows(); return -1; } // 今の画面から顔部分を検索します。 faces = detectFaceInImage2(frame, cascade_file); if(faces.size() >= 0){ int w=0; for (unsigned int i = 0; i < faces.size(); i++){ if(faces[i].width > w){ rect = faces[i]; w=faces[i].width; } } if(tracking==0){ tracker->init(frame, rect); tracking=1; } else{ tracker->clear(); // メモリーリークするか? tracker = cv::TrackerMedianFlow::create(); tracker->init(frame, rect); tracking=1; } //cv::destroyAllWindows(); std::cout << "tracker_init():#9 OK\n"; return 0; } return -1; } /* * tracker_exec() * */ int tracker_exec(){ cv::Scalar color = cv::Scalar(0, 255, 0); cv::Mat frame; // USB カメラからキャプションします。 cv::VideoCapture cap(0); int rc; if (!cap.isOpened()){ std::cout << "CAN'T OPEN CAMERA." << std::endl; return -1; } while(true){ cap >> frame; if (frame.empty()){ break; } switch(cv::waitKey(1)){ case 'q': // 'q' キー入力で 終了します。 return 0; break; case 't': // 't' キー入力で、再度顔検出を行います。 tracker_init(frame,tracker, roi); break; default: switch(tracking){ case 0: case 3: cv::imshow("tracker", frame); // 起動時の顔検出を行います。 tracker_init(frame,tracker, roi); break; case 1: //トラッキングの実行 rc=tracker->update(frame, roi); // rc -> 0 / 1 のみみたい if(rc==0){ // トラッキングに失敗しました std::cout << "tracker_exec():#3 tracker->update() NG\n"; // 再度、顔検出をリクエストします tracking=3; } else{ // 矩形で囲みます。 cv::rectangle(frame, roi, color, 1, 1); } //結果表示 cv::imshow("tracker", frame); break; } break; } } return 0; } /* * main() * * キー入力: * 'q' : プログラム終了 * 't' : 顔部分の検出を、再度行います。 */ int main(int argc, char const *argv[]){ tracking=0; tracker = cv::TrackerMedianFlow::create(); tracker_exec(); return 0; }

補足：プログラムで指定しているカスケードファイルを変えれば、
簡単に別の対象をトラッキングできるようです。
興味があれば、試してみては、いかがでしょうか。