因此，对于图1lB的颜色的特征量图创建处理，省略处理的流程的说明，以下仅对处理对象进行简单地说明。 首先进行从拍摄图像G剪取作为主要被摄体的花的图像F的处理(步骤S51)。 第二显示控制步骤，使所述显示部所显示的多个候选图像变更为相对应的各对象的第二样品图像，并在所述显示部显示。 第二显示控制单元，其使所述显示部所显示的多个候选图像变更为相对应的各所述对象的第二样品图像，并在所述显示部显示。 在图11B的颜色的特征量图创建处理与图11A的亮度的特征量图创建处理进行比较时，处理的流程基本相同，处理对象不同。 花的名称 即，图11B的步骤S81至S86的各处理是与图11A的步骤S61至S66的各个对应的处理，各步骤的处理对象与图11A不同。
在这里，所谓方向成分是指对亮度成分叠加了高斯滤波器φ的结果而得到的各方向的振幅成分。 在这里所谓的方向，由作为高斯滤波器φ的参数而存在的旋转角θ所示的方向。 例如，作为旋转角θ，可采用0°、45°、90°、135°的四个方向。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
在该状态下，用户无法确定拍摄的花的图像G和显示的花的样品图像D3—致时，通过操作部14的规定的操作，如图4A所示，在显示花的样品图像D3的位置，一并显示变更为与该花对应的叶的图像D4。 由此，用户不仅能够对比花的形状，还能够对比叶的形状来进行比较。 图12是示出多尺度的对比度、“中心-周围”的颜色直方图、以及颜色空间分布的特征量图创建处理的一个例子的流程图。
对于各特征量图创建处理的详细例子，参照图11和图12在后叙述。 所述第一显示控制单元还具有第三显示控制单元，该第三显示控制单元将在所述显示部所显示的多个候选图像变更为对相对应的各关注点进行指示的图像，并在所述显示部显示。 所述第二显示控制单元在与所述第一显示控制单元配置了的作为多个对象的第一样品图像的候选图像相同的位置，配置相对应的各对象的第二样品图像作为候选图像。 还具有鉴别单元，该鉴别单元在对所述显示部所显示的所述候选图像之一进行选择时，将与所选择的候选图像对应的对象的名称鉴别为所拍摄到的所述对象。 另外，在实施方式中，通信终端具备拍摄部，以对拍摄部拍摄的花的图像进行检索的系统为例进行说明，但也能通过存储卡等得到并检索已经拍摄的花的图像。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在步骤S29，CPU7判断处理对象图像数据是否是最后的拍摄图像数据(帧图像数据)。 在处理对象图像数据不是最后的拍摄图像数据的情况下，步骤S29中，判定为“否”，处理返回到步骤S21。 即，按照构成运动图像数据等的多个拍摄图像数据的每一个，通过反复执行步骤S21至S29的循环处理，依次提取“运动图像”的图像数据。 在由步骤Sf的图割法的区域分割处理中，处理对象图像61被分(分割)为主要被摄体的区域和背景区域。
另外，与上述实施方式的共同部分赋予共同的符号，并省略说明。 花的名称 例如，在指定作为关注点的花的大小、花的颜色、生长时期、以及株高等时，检索数据库110的关注点信息D6，从候选中将不符合条件的花排除。 由此，在与步骤S5进行同样的检索处理时，因为能减少检索对象，所以检索时间变短。 在拍摄图像G中一起拍摄有作为主要被摄体的花的图像F、以及背景B。 此时，也可以选择已经拍摄到的、在存储部13或存储卡16所保存的图像。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
另外，由步骤Se的处理所运算得到的主要被摄体区域的事前概率Pr以及背景区域的事前概率Pr基于显著性图S的概率，也可以作为图割法的t-link的事前概率来采用。 关注点区域62-r(r是从1至N中的某一个整数值)，是在使用规定的阈值Sth-r对显著性图S进行2值化情况下的、具有比阈值Sth-r高的值的区域。 关注点区域62-(N-1)的估计中所利用的阈值Sth-(N-1)被设为150。 其次，CPU7通过合并多个种类的特征量图，而求得显著性图。 例如在图8的例子中，合并特征量图Fc、Fh、Fs，可求得显著性图S。
- 与此相对，在图11B的步骤S84的处理中，求出色调(R/G，B/Y)的“中心-周围”尺度间差分作为色调对比度。
- 例如，作为特征量图创建处理，使用明亮度、彩度、色调、以及动作的各特征量，也能够采用制作各自的特征量图的处理。
- 其次，CPU7通过合并多个种类的特征量图，而求得显著性图。
- 与此相对，在本实施方式中，能利用由步骤Sd的处理自动地设定的主要被摄体区域的种子及背景区域的种子。
- 在步骤S25中，CPU7使用多个阶段的关注点区域，执行核心区域提取处理。
将花的名称D1作为索引而存储有的花的样品图像D3、叶的样品图像D4等，但在容量允许的范围内，对应一个花的名称而存储有多个花的状态，例如存储有开花前、花蕾的时期、开花中、结果中等的图像。 图6是示出本实施方式的花检索系统的全部动作的流程图，实现前述的显示。 SP，在开始控制部15的程序存储部8所存储的花检索程序时，在显示部12显示最初规定的菜单画面(步骤SI)。 在这里，拍摄花，或是选择已经拍摄并在存储部13的保存部13A所保存的拍摄图像(步骤S2)。 在该状态下，通过操作部14可进行各种各样的操作，在进行检索指示时，进入步骤S5，通过因特网500等的网络，访问服务器100的数据库110，检索并提取花的候选图像(步骤S5)。 即，在开始控制部15的程序存储部8所存储的花检索程序时，在显示部12显示最初规定的菜单画面(步骤S1)。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
在步骤S142，CPU7按照每个不同的长宽比，求得与矩形区域的颜色直方图和周边轮廓的颜色直方图的二次方距离。 在步骤S143，CPU7求得二次方距离成为最大的矩形区域的颜色直方图。 在步骤S141中，CPU7按照每一不同长宽比，求得矩形区域的颜色直方图、和周边轮廓的颜色直方图。 另外，以下，为了将方向性的特征量图与其他的特征量图进行区别，记述为FO。
即，到各特征量图创建处理的全部处理结束为止之前的期间，重复执行步骤S44的判断处理。 并且，各特征量图创建处理的全部处理结束，创建全部的特征量图时，在步骤S44被判定为“是”，处理进入步骤S45。 如上所述，在关注点区域估计处理中，为了估计关注点区域，创建显著性图。 因此，对于关注点区域估计处理，例如，可应用Treisman的特征合并理论、或基于Nitti以及Koch们的显著性图。 由此，作为图8的步骤Se的处理，如上所述，可得到主要被摄体区域的事前概率Pr和背景区域的事前概率Pr。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
另外，图1lA的步骤S64处理，求出亮度的“中心-周围”尺度间差分作为亮度对比度I(c，s)。 与此相对，在图1lB的步骤S84的处理中，求出色调(R/G，B/Y)的“中心-周围”尺度间差分作为色调对比度。 另外，在颜色成分中，红色的成分由R表示，绿色的成分由G表示，蓝色成分由B表示，黄色的成分由Y表示。 花的名称 另外，以下，将色调R/G的色调对比度记述为RG (c，s)，将色调B/Y的色调对比度记述为BY (c，s)。
因此，对于图11B的颜色的特征量图创建处理，省略处理的流程的说明，以下仅对处理对象进行简单地说明。 在步骤S65中，CPU7判断在与处理对象图像数据对应的各尺度图像，是否存在未设定为关注像素的像素。 在存在那样的像素的情况下，在步骤S65判定为“是”，处理返回到步骤S61，重复此后的处理。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
S卩，CPU7将显著性图S的值(其中，将显著性图值在O至I的范围内进行标准化得到的值)作为主要被摄体区域的事前概率Pr 进行运算。 另外，CPU7将使显著性图S反转的值(1-显著性图S得到的值)、即将1-Pr作为背景区域的事前概率Pr 花的名称 进行运算。 例如，在图8的例子中，根据该图示出的显著性图S可得到与该图示出的主要被摄体区域的事前概率Pr 和背景区域的事前概率Pr 。 所述分割部根据利用由包含所述关注点区域的规定区域定义了的能量函数的规定算法，将所拍摄到的所述对象的图像分割为所述主要被摄体的区域和所述背景区域。 另外，在实施方式中，通信终端通过移动电话线路或无线LAN等经由因特网与服务器相连接的系统为例来进行说明，但也可以在通信终端和服务器近距离的情况下，通过红外线通信或蓝牙(注册商标)进行连接。
- 花样品图像D3以类似度从高到低的顺序，从左上起依次与花的名称D1一起并列显示。
- 在步骤S21中，CPU7从作为图6的步骤S5至S8的循环处理的结果所得到的运动图像数据等中，将规定的拍摄图像数据(帧图像数据)作为处理对象图像数据进行设定。
- 由此，作为图8的步骤Sf的处理如上述，与处理对象图像数据对应的帧图像，被分(分割)为主要被摄体的区域和背景区域。
- 例如，在图8的例子中，使用显著性图S，从处理对象图像61中估计出多个阶段的关注点区域62-1至62-N(N是1以上的整数值，在图8的例中至少是4以上的整数值)。
另外，由步骤Se的处理所运算得到的主要被摄体区域的事前概率Pr以及背景区域的事前概率Pr 基于显著性图S的概率，也可以作为图割法的t-link的事前概率来采用。 关注点区域62_r(r是从I至N中的某一个整数值)，是在使用规定的阈值Sth_r对显著性图S进行2值化情况下的、具有比阈值Sth-r高的值的区域。 具体地说，例如，在图6的例子中，关注点区域62-1的估计中所利用的阈值Sth-1被设为70。 关注点区域62-2的估计中所利用的阈值Sth-2被设为90。 关注点区域62-(Ν-1)的估计中所利用的阈值Sth-(N-1)被设为150。 关注点区域62-N的估计中所利用的阈值Sth-N被设为170。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在步骤S26，CPU7使用关注点区域的核心区域，执行种子设定处理。 由此，作为图8的步骤Sd的处理如上述，分别设定主要被摄体的区域的种子、和背景区域的种子。 在这里，在以往的图割法中，为了物体和背景的学习，手动地赋予成为物体区域(主要被摄体区域)和背景区域的样品的标签和种子。 与此相对，在本实施方式中，能利用由步骤Sd的处理自动地设定的主要被摄体区域的种子及背景区域的种子。
即、并列显示包含花的图像F的拍摄图像G、作为候选图像而被提取的多个花的样品图像D3、以及各花的名称D1，还并列显示用于减少花的候选的关注点信息D6。 数据库110将花的样品图像D3、花的名称D1、叶的样品图像D4、以及对用于减少花的名称的关注点进行指示的图像D5与特征信息D2一起建立对应进行存储。 另外，将作为该花的关注点的开花时期、花的大小、花瓣的颜色、叶的形状、身长、生长地区、……等作为用于减少花的候选的关注点信息D6。 还存储有包含从该花的种子、芽、成长、花蕾、开花等的培养向导、以及肥料和水的给予方法等的维护向导的向导信息D7。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
为了实现相关的区域分割处理，需要成为主要被摄体的区域和背景区域的样品的标签和种子。 即，CPU7对于与处理对象图像61对应的帧图像数据，例如根据色、方位、亮度等的多种类的特征量的对比度，创建多种类的特征量图。 所谓图割法是将分割(图像的区域分割)问题作为能量最小化问题进行处理的手法之一。 图割法能够求得由各区域定义了的能量函数的整体分析，其结果，存在使用区域和边界的双方特性的分割这样的优点。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
与被鉴别的花的名称对应，因为在数据库110存储有用于培育花的向导信息。 即，在显示部12显示浇水方法、每季节的维护方法、施肥方法、以及日照等的向导信息。 因此，在定期拍摄相同的花时，能够判断时期、气候、生长状况等，进行适当的建议。 即，对于与处理对象图像数据对应的各尺度图像的各像素，分别实施步骤S61至S65的处理，并求得各像素的亮度对比度I(c，s)。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
由此，作为图8的步骤Sf的处理如上述，与处理对象图像数据对应的帧图像，被分(分割)为主要被摄体的区域和背景区域。 2.如权利要求1所述的图像检索装置，其特征在于， 还具有鉴别单元，该鉴别单元在对所述显示部所显示的所述候选图像之一进行选择时，将与所选择的候选图像对应的对象的名称鉴别为所拍摄到的所述对象。 所述图像检索装置还具有第二通知单元，该第二通知单元在所述提取单元对所拍摄到的所述对象的图像不能按照所述类似度从高到低的顺序提取对象的第一样品图像时，要求起动所述运动图像摄像单元。 本实施方式与以动画形式拍摄被摄体的情况对应，例示出在图7的“剪取花的区域”(步骤S51)的具体的手法。 根据该手法，不仅静止图像，也能够从运动图像中提取花的区域。
控制部150还具有提取部90，该提取部90通过执行按照规定的算法的程序来进行花检索并提取候选图像。 因此，即使在通信终端10侧不具备提取部9，也能够发送到服务器100由提取部90进行花检索。 另外，存储部130具有保存部130A，该保存部130A存储从多个用户发送来的(被投稿的)花的图像。 15.如权利要求6所述的图像检索装置，其特征在于， 还具有对运动图像进行拍摄的运动图像拍摄单元， 所述提取单元，从所述运动图像拍摄单元所拍摄的运动图像中提取主要被摄体的区域。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
控制部使提取的候选图像、对应于候选图像的花的名称、以及用于减少候选图像的关注点与拍摄到的花的图像一起在显示部排列显示，并且将多个候选图像变更为相对应的各自的叶的样品图像来显示。 控制部将多个候选图像变更为对相对应的各自的关注点进行指示的图像，并使其在显示部显示。 控制部15通过对由提取部9的动作所拍摄的花的图像F的特征信息和在数据库110所存储的特征信息D2进行比较，将与拍摄的花的图像F类似度高的花的样品图像D3作为候选图像而提取多个。
在这里，所谓方向成分是指对亮度成分叠加了高斯滤波器Φ的结果而得到的各方向的振幅成分。 花的名称 在这里所谓的方向，由作为高斯滤波器Φ的参数而存在的旋转角Θ所示的方向。 例如，作为旋转角Θ，可采用0°、45°、90°、135°的四个方向。 另外，在步骤S104的处理中，求出方向性的“中心-周围”尺度间差分，作为方向性对比度。
在步骤S144，CPU7使用二次方距离成为最大的矩形区域的颜色直方图，制作“中心-周围”的颜色直方图的特征量图。 由此，结束“中心-周围”的颜色直方图的特征量图创建处理。 另外，例如，作为特征量图创建处理，使用多尺度的对比度、“中心-周围”的颜色直方图、以及颜色空间分布的各特征量，也能够创建各自的特征量图这样的处理。 在这里，假设与上述的例子一致，关注像素c存在3种，周边像素s存在2种。 这种情况下，步骤S101至S105的循环处理的结果，按照每个旋转角θ，求出6种方向性对比度O的特征量图。 例如，作为旋转角θ，在采用0°、45°、90°、135°的四个方向的情况下，求出24种(＝6×4种)的方向性对比度O的特征量图。
尽管如此，在用户不能确定花的名称时，通过规定的操作进入步骤S9、S10，如图4B所示，如前述显示图像D5，该图像D5对用于减少花的名称的关注点进行指示。 在指示该关注点的图像D5中，因为用箭头记入关注点，能使用户重点注意比较该关注点，或在关注点信息D6指定成为关注点的花的大小、花的颜色、生长时期、以及株高等时，能缩小花的范围。 12.如权利要求10所述的图像检索系统，其特征在于， 所述服务器还具备所述第一显示控制单元以及所述第二显示控制单元。 5.如权利要求1所述的图像检索装置，其特征在于， 上述提取单元具有减少单元，该减少单元根据所述关注点减少所述候选图像。 在这里，假设与上述的例子一致，关注像素c存在三种，周边像素s存在两种。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
11.如权利要求10所述的图像检索系统，其特征在于， 所述通信终端具备所述第一显示控制单元以及所述第二显示控制单元，所述服务器具备所述提取单元。 此后，最后的拍摄图像数据被设定为处理对象图像数据，执行步骤S22至S28的处理时，在下面的步骤S29判定为“是”，结束运动图像提取处理。 其结果，根据从多个拍摄图像数据的每一个提取的多个“运动图像”的图像数据，构成“运动图像”的运动图像数据等。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
这种方法，通常将类似度最高的在先头显示，因此不给用户带来混乱。 另外，在检索步骤S7中，如步骤S5所示，不进行图像识别处理，从数据库110提取对应的叶的样品图像D4。 指定“叶”的操作也可以使用“叶”这样的按钮来进行，也可以对显示的拍摄图像G的叶的部分进行触击。 花样品图像D3以类似度从高到低的顺序，从左上起依次与花的名称Dl —起并列显示。 拍摄部11具有对静止图像和连拍或运动图像进行拍摄的功能，在本说明书中连拍和运动图像视为同义而进行处理。