Python图像特征检测算法（1）：Python实现SIFT和Harris

程序员文章站 2022-06-11 18:37:47

...

Python图像特征检测算法（1）：Python实现SIFT和Harris

本文将介绍用于图像匹配的两种局部描述子算法，SIFT[论文链接]和Harris，它们在很多应用中都有比较重要的作用，比如目标匹配、目标跟踪、创建全景图、增强现实技术以及计算图像的三维重建等，而常用的特征有颜色、角点、特征点、轮廓、纹理等，很多内容中都会用到这些特征。Harris角点检测算法（也称Harris&Stephens角点检测器）是特征点检测的基础，是一个极为简单的角点检测算法。Harris提出了应用邻近像素点灰度差值的概念，从而进行判断是否为角点（兴趣点）、边缘、平滑区域。Harris角点检测原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点（关键点）。SIFT[主页]，即尺度不变特征变换（Scale-invariantfeature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。该方法于1999年由David Lowe[主页]首先发表于计算机视觉国际会议（InternationalConference on Computer Vision，ICCV），2004年再次经David Lowe整理完善后发表于International journal of computer vision(IJCV)。截止2014年8月，该论文单篇被引次数达25000余次。

一、前期准备

1.安装配置Python及其相关软件包（推荐使用Anaconda，其自带完整的库，无需费时费力安装）

2.安装配置VLFeat开源工具包（windows10/64位系统为例）

我们使开源工具包VLFeat提供的二进制文件来计算图像的SIFT特征，VLFeat工具包可以从http://www.vlfeat.org/下载，二进制文件可以在所有的主要平台上运行。VLFeat的主页如下图所示，可以看出VLFeat工具包中含有大量的完整的代码实现。VLFeat库是用C语言来写的，但是我们可以使用该库提供的命令行接口。

Python图像特征检测算法（1）：Python实现SIFT和Harris

在此界面上下载文件vlfeat-0.9.20-bin，解压缩后，将vlfeat-0.9.20/bin/win32（win64下的测试不兼容）文件夹下的sift.exe和vl.dll拷贝到当前工程目录下。这样，前期工作就已完成。

二、编写代码

Python实现SIFT和Harris的具体代码如下：

# -*- coding: utf-8 -*-
# Yan Zhenguo
from PIL import Image
from pylab import *
from numpy import *
import os
from scipy.ndimage import filters

def process_image(imagename, resultname, params="--edge-thresh 10 --peak-thresh 5"):
    """ Process an image and save the results in a file. """

    if imagename[-3:] != 'pgm':
        # create a pgm file
        im = Image.open(imagename).convert('L')
        im.save('tmp.pgm')
        imagename = 'tmp.pgm'

    cmmd = str("sift " + imagename + " --output=" + resultname + " " + params)
    os.system(cmmd)
    print('processed', imagename, 'to', resultname)

def read_features_from_file(filename):
    """ Read feature properties and return in matrix form. """

    f = loadtxt(filename)
    return f[:, :4], f[:, 4:]  # feature locations, descriptors


def write_features_to_file(filename, locs, desc):
    """ Save feature location and descriptor to file. """
    savetxt(filename, hstack((locs, desc)))


def plot_features(im, locs, circle=False):
    """ Show image with features. input: im (image as array),
        locs (row, col, scale, orientation of each feature). """

    def draw_circle(c, r):
        t = arange(0, 1.01, .01) * 2 * pi
        x = r * cos(t) + c[0]
        y = r * sin(t) + c[1]
        plot(x, y, 'b', linewidth=2)

    imshow(im)
    if circle:
        for p in locs:
            draw_circle(p[:2], p[2])
    else:
        plot(locs[:, 0], locs[:, 1], 'ob')
    axis('off')


def compute_harris_response(im, sigma=3):
    """ Compute the Harris corner detector response function
        for each pixel in a graylevel image. """

    # derivatives
    imx = zeros(im.shape)
    filters.gaussian_filter(im, (sigma, sigma), (0, 1), imx)
    imy = zeros(im.shape)
    filters.gaussian_filter(im, (sigma, sigma), (1, 0), imy)

    # compute components of the Harris matrix
    Wxx = filters.gaussian_filter(imx * imx, sigma)
    Wxy = filters.gaussian_filter(imx * imy, sigma)
    Wyy = filters.gaussian_filter(imy * imy, sigma)

    # determinant and trace
    Wdet = Wxx * Wyy - Wxy ** 2
    Wtr = Wxx + Wyy

    return Wdet / Wtr


def get_harris_points(harrisim, min_dist=10, threshold=0.1):
    """ Return corners from a Harris response image
        min_dist is the minimum number of pixels separating
        corners and image boundary. """

    # find top corner candidates above a threshold
    corner_threshold = harrisim.max() * threshold
    harrisim_t = (harrisim > corner_threshold) * 1

    # get coordinates of candidates
    coords = array(harrisim_t.nonzero()).T

    # ...and their values
    candidate_values = [harrisim[c[0], c[1]] for c in coords]

    # sort candidates (reverse to get descending order)
    index = argsort(candidate_values)[::-1]

    # store allowed point locations in array
    allowed_locations = zeros(harrisim.shape)
    allowed_locations[min_dist:-min_dist, min_dist:-min_dist] = 1

    # select the best points taking min_distance into account
    filtered_coords = []
    for i in index:
        if allowed_locations[coords[i, 0], coords[i, 1]] == 1:
            filtered_coords.append(coords[i])
            allowed_locations[(coords[i, 0] - min_dist):(coords[i, 0] + min_dist),
            (coords[i, 1] - min_dist):(coords[i, 1] + min_dist)] = 0

    return filtered_coords

def plot_harris_points(image, filtered_coords):
    """ Plots corners found in image. """

    figure()
    gray()
    imshow(image)
    plot([p[1] for p in filtered_coords],[p[0] for p in filtered_coords], '*')
    axis('off')
    title('Harris-Features')
    show()

imname = 'building.jpg'
im = array(Image.open(imname).convert('L'))
process_image(imname, 'building.sift')
l1, d1 = read_features_from_file('building.sift')
figure()
gray()


"""Figure1:SIFT特征"""
plot_features(im, l1, circle=False)
title('SIFT-Features')


"""Figure2:使用圆圈表示特征尺度的SIFT特征"""
figure()
gray()
plot_features(im, l1, circle=True)
title('Detect-SIFT-Features')


"""Figure3:Harris角点检测的结果"""
harrisim = compute_harris_response(im)
filtered_coords = get_harris_points(harrisim, 6, 0.05)
plot_harris_points(im, filtered_coords)

三、运行结果

1、SIFT特征

Python图像特征检测算法（1）：Python实现SIFT和Harris 2、使用圆圈表示特征尺度的SIFT特征