用Python构建图片处理搜索引擎

译者：诗书塞外

顶级公司和反向图片搜索

有很多顶级的科技公司把RIQ用得很好。例如，Pinterest 2014年第一次实现视觉搜索。随后2015年它发布了一个白皮书，揭示了视觉搜索的结构。反向图片搜索使得Pinterest能够从时尚的东西中提取视觉元素，然后给消费者推荐类似的产品。

众所周知，Google图片使用反向图片搜索技术，它允许用户上传一张图片然后搜索相关的图片。上传的图片通过算法分析，制作出一个数学模型，然后跟Google数据库中成千上万的图片进行比较，知道找到匹配的或者相似的图片。

这是OpenCV2.4.9特性体验报告的一张图

算法和Python库

在我们动手之前，让我们大致看一下构建一个图片搜索需要哪些Python元素。

专利算法

SIFT(尺度不变特征变换)

• 使用图像标识符来识别相似图像的没有费用的专利技术。即使图片的尺寸、角度、深度不同，这项技术还是能将内容相似的图片匹配成功。
• SIFT以大量的从图片中提取的特性作为搜索的标准。
• 能匹配相同物体从不同视角拍摄的图片，能够通过不变的特性进行搜索匹配。

SURF(加速鲁棒特征)算法

• SURF和SIFT一样也是不收费的专利算法，可以说是加速版的SIFT。与SIFT不同的是，SURF使用盒过滤器近似高斯拉普拉斯算子。
• SURF使用Hessian矩阵来判断图像的位置和大小。
• 在许多应用中，旋转不变性都不是一个必要条件，所以不用寻找方向的话算法速度会快很多。
• SURF包含了几个特性使得计算的每一个步骤都得到了速度上的提升。图片经过旋转和模糊之后，SURF依旧工作的很好，而且比SIFT快3倍。不过在光源和视角变换方面SURF不太行。
• OpenCV提供了SURF功能，SURF.compute和SURF.detect可以用来找到描述符和关键点。

开源算法

KAZE算法

• KAZE是一个开源2D多尺度和新特性探测和描述算法，它运作于非线性尺度空间。添加剂算子分裂(AOS)的有效技术和可变热导扩散被用来构建非线性尺度空间。
• 多尺度图像处理的基础很简单–构建一个图像的尺度空间，然后用一个函数处理图像，增强图像的尺度或者时间。

AKAZE(加速KAZE)算法

从名字可以猜到，这个算法更快，它能快速找到两个图片之间匹配的关键。AKAZE使用一个二进制描述符和非线性尺度空间来平衡准确度和速度。

BRISK(二进制鲁棒尺度不变关键点)算法

• BRISK在探测和匹配描述符和关键点方面很棒。
• 这个算法适应性很强的、尺度空间基于FAST的、使用bit-string描述符的探测器，它能够显著地加快搜索的速度。
• 尺度空间关键点探测和关键点描述有助于性能的优化

FREAK(快速视网膜关键点)算法

这是一个由人眼启发的新的关键点描述符。根据图像强度的比较有效地计算出一个二进制级联字符串。相比于BRISK, SURF 和 SIFT，FREAK计算更快，更省内存。

ORB(原生的FAST和旋转的BRIEF)

ORB是一个二进制描述符，它能够抗噪声并具有旋转不变性。ORB基于FAST关键点探测和BRIEF描述符，这两者共同造就了它的低消耗和高性能。

除了快速和准确的方向组件，计算原生BRIEF，分析变化以及与原生BRIEF的关系，是ORB的另一大特色。

Python库

OpenCV

• OpenCF分学术使用版本和商用版本。作为一个开源机器学习和机器视觉库，OpenCV使得各类机构能够很容易地基于OpenCV构建自己的版本。
• 超过2500个优化的算法，包含目前最先进的机器学习和机器视觉算法，能够处理各类需求：人脸检测、物体鉴定、相机移动跟踪、寻找相似图片，眼球跟踪，场景识别等。
• 顶级公司像Google, Yahoo, IBM, Sony, Honda, Microsoft 和 Intel 都大量使用OpenCV库。
• OpenCV使用Python, Java, C, C++ 和 MATLAB做编程接口，同时支持Windows, Linux, Mac OS 和 Android平台。

Python Imaging Library(PIL)

• PIL在做图像及图形处理的时候支持若干种语言格式，它使得你的Python能够处理图像。
• 图像处理的标准流程包括图像增强，透明度和屏蔽处理，图像滤波，每像素的操作等。

构建图片搜索引擎

一个图片搜索引擎能够从已有的图片中挑出相似的图片，最受欢迎的就是Google的图片搜索引擎。对于新的图片搜索引擎项目，有很多构建的方法，这里列举一些：

• 使用图像提取，图像描述提取，元数据提取和搜索结果提取，建立一个图像搜索引擎。
• 定义你的图像描述符，对数据集进行索引，定义你的相似读矩阵，然后搜索并排名。
• 选择要搜索的图片，选择已有图片的文件夹，在文件夹中遍历图片，创建图片特征索引，用相同的特征和要搜索的图片进行匹配，获取能够匹配的图片。

我们的做法是一开始匹配图片的灰度版本，逐渐开始使用像SIFT 和 SURF这样复杂的特征匹配算法，最终使用了开源的算法BRISK。这些算法都只需要很小的修改，就能给出有效的结果。基于这些算法构建一个图像搜索引擎可以有很多应用，例如分析图像受欢迎程度，图片内物体的鉴定等等。

例子

一个IT公司需要为客户构建一个图像搜索引擎，功能是一个品牌的Logo提交进去，与这个品牌相关的图片都会显示出来。客户可以根据搜索的结果，分析一个品牌在一个地区的受欢迎程度。这项技术还处于应用的早期，RIQ的潜力还没有完全被发觉出来。

英文原文：http://www.cuelogic.com/blog/advanced-image-processing-with-python/

via:Python部落组织

End,