RobHess的SIFT源码分析：综述

发布于: 2013-06-27 21:45:00 更新于: 2017-06-24 23:33:44 分类： 科 研 标签： Tag(name='计算机视觉', count=24) Tag(name='OpenCV', count=25) Tag(name='SIFT', count=9) Tag(name='RANSAC', count=4) Tag(name='图像特征', count=10)

最初的目的是想做全景图像拼接，一开始找了OpenCV中自带的全景拼接的样例，用的是Stitcher类，可以很方便的实现全景拼接，而且效果很好，但是不利于做深入研究。

  • Stitcher类使用方法请查opencv API，搜索Stitcher http://docs.opencv.org/2.4.4/modules/refman.html
  • 使用OpenCV中自带的Stitcher类进行全景图像拼接代码下载： http://download.csdn.net/detail/masikkk/5661075

后来想用OpenCV中自带的SIFT特征检测器进行特征检测和拼接，但还是有隔靴搔痒的感觉，接触不到SIFT算法的本质。 看到网上大多数都是使用RobHess的SIFT源码，自己也下载了一份进行了分析，并用RobHess的SIFT源码实现了特征提取和图像拼接。

  • 使用RobHess的SIFT源码进行特征提取和图像拼接及源码下载参见此篇博文： http://masikkk.com/article/SIFT-Image-Mosaic/
  • RobHess的SIFT源码下载地址： https://github.com/robwhess/opensift
  • 一些SIFT算法和全景拼接测试用图下载，包含牛津大学网站上提供的测试图： http://download.csdn.net/detail/masikkk/5702749

一开始也是感觉比较乱，不知道怎么用，接触了一段时间后比较清晰了，下面说一下RobHess的SIFT源码中的几个文件都是做什么用的，方便刚接触的同学学习。

(1) imgfeatures.h和imgfeatures.c文件

imgfeatures.h中有SIFT特征点结构struct feature的定义，这个结构很重要，后面都要用到，除此之外还有一些特征点的导入导出以及特征点绘制函数的声明。 对应的imgfeatures.c文件中是特征点的导入导出以及特征点绘制函数的实现。 imgfeatures.h和imgfeatures.c的源码分析在这里，里面有特征点结构struct feature的详细说明：

  • RobHess的SIFT源码分析：imgfeatures.h和imgfeatures.c文件 http://masikkk.com/article/RobHess-SIFT-Source-Code-Analysis-imgfeatures/

(2) utils.h和utils.c文件

这两个文件中是一些图像基本操作的函数，包括：

  • 1、获取某位置的像素点
  • 2、设置某位置的像素点（8位，32位和64位），
  • 3、计算两点之间的距离的平方
  • 4、在图片某一点画一个“X”
  • 5、将两张图片合成为一个(在特征匹配中用到)，高是二者之和，宽是二者的较大者。

(3) sift.h和sift.c文件

这两个是最重要的，里面的内容说白了很简单，就是两个特征点检测函数 sift_features() 和 _sift_features()， sift_features()是用默认参数进行特征点检测，_sift_features()允许用户输入各种检测参数，其实sift_features()中也是再次调用_sift_features()函数。 所以，你只需提供原图像和存储特征点的数组以及其他一些检测参数，然后调用sift_features()或 _sift_features()就可完成SIFT特征点检测。 但是这两个文件分析起来也是最复杂的。 sift.h中有默认的各种特征检测中用到的参数的宏定义，sift.c中是检测函数的实现，是最核心的一个文件，里面的一些未暴露接口的本地函数就有31个之多。 仔细分析完后发现大神就是大神，程序写的条理非常清楚，尤其是函数_sift_features()的函数体，从头到尾的几部分正好对应SIFT算法的几个步骤， 把一些细节全部放在子函数中，非常清楚明了。 关于SIFT算法的原理，可以参加下面几篇文章，写的都不错：

  • 小魏的SIFT原理与源码分析系列文章：【OpenCV】SIFT原理与源码分析 http://blog.csdn.net/xiaowei_cqu/article/details/8069548
  • zddmail的SIFT算法详解，讲的不错，尤其一些细节讲的与众不同：SIFT算法详解 http://blog.csdn.net/zddblog/article/details/7521424
  • Rachel-Zhang的SIFT算法分析：SIFT特征提取分析 http://blog.csdn.net/abcjennifer/article/details/7639681
  • July的经典算法研究系列中的SIFT算法分析：经典算法研究系列：九、图像特征提取与匹配之SIFT算法 http://blog.csdn.net/v_july_v/article/details/6186942
  • 以及July的教你一步一步实现SIFT算法：九之再续：教你一步一步用c语言实现sift算法、上 http://blog.csdn.net/v_july_v/article/details/6245939
  • tornadomeet的SIFT算法分析：特征点检测学习_1(sift算法) http://www.cnblogs.com/tornadomeet/archive/2012/08/16/2643168.html
  • 以及这篇博客中的SIFT算法分析：SIFT 特征提取算法总结 http://www.cnblogs.com/cfantaisie/archive/2011/06/14/2080917.html
  • 还有这篇结合RobHess源码的SIFT算法分析：SIFT算法研究 http://underthehood.blog.51cto.com/2531780/658350
  • 还有我觉得讲的挺详细的一篇文章： http://download.csdn.net/detail/masikkk/5661453
  • 或者你也可以直接读David.Lowe发表的英文原版论文：
    • David.Lowe1999年发表在ICCV的SIFT论文： http://download.csdn.net/detail/masikkk/5661441
    • David.Lowe2004年发表在IJCV的SIFT改进论文： http://download.csdn.net/detail/masikkk/5661447

sift.h和sift.c的源码分析在这里：

  • RobHess的SIFT源码分析：sift.h和sift.c文件 http://masikkk.com/article/RobHess-SIFT-Source-Code-Analysis-sift/

(4) minpq.h和minpq.c文件

这两个文件中实现了最小优先级队列(Minimizing Priority Queue)，也就是小顶堆，在k-d树的建立和搜索过程中要用到。

(5) kdtree.h和kdtree.c文件

这两个文件中实现了k-d树的建立以及用BBF(Best Bin First)算法搜索匹配点的函数。 如果你需要对两个图片中的特征点进行匹配，就要用到这两个文件。

  • 关于k-d树算法的讲解，可参考这篇文章：k-d tree算法 http://blog.csdn.net/masibuaa/article/details/9088997
  • 以及这篇：k-d tree算法的研究 http://underthehood.blog.51cto.com/2531780/687160
  • 还有这篇，里面讲解了k-d树，BBF和RANSAC：SIFT特征点匹配与消除错配：BBF，RANSAC http://blog.csdn.net/ijuliet/article/details/4471311
  • 以及July的一篇：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法 http://blog.csdn.net/v_july_v/article/details/8203674

kdtree.h和kdtree.c的源码分析在这里：

  • RobHess的SIFT源码分析：kdtree.h和kdtree.c文件 http://masikkk.com/article/RobHess-SIFT-Source-Code-Analysis-kdtree/

(6) xform.h和xform.c文件

这两个文件中实现了RANSAC算法(RANdom SAmple Consensus 随机抽样一致)。 RANSAC算法可用来筛选两个图像间的SIFT特征匹配并计算变换矩阵。 你可以单纯利用RANSAC算法筛选两个图像间的SIFT特征匹配，以得到更好的匹配结果，见此文：

  • 利用RANSAC算法筛选SIFT特征匹配 http://masikkk.com/article/RANSAC-SIFT-Image-Match/

或者想要进行全景拼接时，利用RANSAC算法计算两个图像间的变换矩阵。

  • 关于RANSAC算法的讲解，可参考这篇文章：随机抽样一致 RANSAC http://www.cnblogs.com/cfantaisie/archive/2011/06/09/2076864.html
  • 以及这篇，里面有用RANSAC算法解决线性回归问题的例子：我的数学之美（一）——RANSAC算法详解 http://grunt1223.iteye.com/blog/961063
  • 以及这篇，里面讲解了k-d树，BBF和RANSAC：SIFT特征点匹配与消除错配：BBF，RANSAC http://blog.csdn.net/ijuliet/article/details/4471311

xform.h和xform.c的源码分析在这里：

  • RobHess的SIFT源码分析：xform.h和xform.c文件 http://masikkk.com/article/RobHess-SIFT-Source-Code-Analysis-xform/

(7) 其他文件：dspfeat.c，match.c，siftfeat.c

这几个文件中是一些使用SIFT算法的小例子：

  • dspfeat.c文件可以从预先保存的特征点文件中读取特征点并显示在图片上。
  • match.c文件可以检测两个图像中的特征点并进行匹配。
  • siftfeat.c文件利用SIFT算法检测特征点，有一些控制台操作提示。