此外，例如，裁剪该图像，以使图像中所包括的关注被摄体移动至图像中的规定位置，由此能校正为给予观看者平衡良好的印象的图像。 在所述图像校正工序中，所述图像处理装置基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。 所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述旋转的精度。 也可以是，本发明的方案6的图像处理装置在上述的方案1中采用所述图像校正部根据所述输入图像的宽高比来限制所述旋转的旋转量的构成。
在此，对图像校正部104a基于宽高比切换输入图像的旋转的精度的情况进行说明。 以下，对输入图像的宽高比与输出图像的宽高比相同的情况，就是说，对考虑到输入图像的宽高比的旋转校正进行具体说明。 例如，在输入图像的宽高比为纵向长的情况下，预想主要被摄体的横向侧的余量(被摄体与图像端之间的距离)小，若大幅裁剪横向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。 此外，在输入图像的宽高比为横向长的情况下，预想主要被摄体的纵向侧的余量小，若大幅地裁剪纵向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。 特别优选的是，长边方向的长度与短边方向的长度的比例越高的图像，短边方向(在纵向长的情况下为横向，在横向长的情况下为纵向)的切除宽度的最大值越小。 另一方面，在图像的长边方向的端部(在横向长的情况下为左右端，在纵向长的情况下为上下端)拍摄到主要被摄体的可能性低，因此，长边方向的裁剪宽度能在一定程度上增大。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
此外，如果拍摄到输入图像时的摄像装置的朝向为横向，则拍摄图像(输入图像)变为横向长，因此输入图像的宽高比为横向长的情况的说明适用于图像校正部104b的处理。 花的中心 如果摄像装置具备加速度传感器，则能检测拍摄时的摄像装置相对于铅垂方向的倾斜的程度，但加速度传感器并不始终能正确地检测摄像装置相对于水平方向倾斜的程度，有时在基于由加速度传感器检测到的倾斜角进行校正的图像中，产生来自水平方向的偏差。 因此，为了高精度地进行水平校正，图像处理装置1a的图像校正部104a从图像检测作为水平方向的线索的信息(水平方向信息)，基于检测到的水平方向信息来对水平进行校正。 作为输入图像中的水平方向信息，可以列举出输入图像中的直线、人物的面部朝向等。
- 需要说明的是，投影变换的旋转角度没有特别限定，也可以是分别输出以多个预先确定的角度旋转后的角度。
- 宽高比信息获取部102将获取到的宽高比信息提供给图像校正部104a。
- 以下，作为一个示例，基于图11对利用输入图像中的直线作为水平方向信息的水平校正方法进行说明。
- 本发明的方案11的摄像装置是如下构成：在上述的方案10中还具备朝向检测部，该朝向检测部用于检测所述摄像装置的朝向，所述图像处理装置(1、1a、1b)基于所述朝向检测部检测到的所述摄像装置的朝向来生成所述输出图像。
- ◎回台中時，都要順道去 拜訪泰安車站，看看不同季節時，它 的變化。
- 朝向检测部5例如具备加速度传感器，由此检测摄像装置1300相对于重力方向的倾斜。
作为输入图像中的被摄体信息，可以举出例如人物的脸部等关注被摄体、输入图像中所包括的边缘和直线、亮度分布以及颜色分布等多方面的信息。 例如，如果是在检测输入图像中的脸部作为输入图像中的被摄体信息的情况下，则能使用利用从输入图像检测到的肤色区域的信息等现有技术来检测输入图像中的被摄体信息。 本发明并不限定于上述各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包括在本发明的技术范围内。 而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。 如上所述，输入图像401、405、501、505中的任一个均是以被摄体402位于图像中央的方式所拍摄的图像，但作为优选的印象的构图根据输入图像的宽高比而变化。 花的中心 此外，在另一个方案中，进行裁剪的图像可以是输入图像，也可以是对输入图像进行旋转、放大/缩小、几何学变换等后的变换图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
由此，即使在水平线的倾斜容易被识别的横向长的宽高比的构图中，也能生成对水平进行了高精度地校正的适当的构图的输出图像。 然后，在一个方案中，如果拍摄到输入图像时的摄像装置的朝向为拍摄纵向长的图像的朝向，则图像校正部104进行与上述的输入图像的宽高比为纵向长的情况相同的处理即可。 此外，如果拍摄到输入图像时的摄像装置的朝向为拍摄横向长的图像的朝向，则图像校正部104进行与上述的输入图像的宽高比为横向长的情况相同的处理即可。 摄像装置一般根据拍摄时的摄像装置的朝向，拍摄纵向长的图像或横向长的图像。 摄像装置例如具备计测加速度(重力)相对于摄像装置的朝向的加速度传感器，由此，能获取与拍摄时的摄像装置的朝向有关的信息。 在一个方案中，摄像装置能将表示拍摄到输入图像时的摄像装置的朝向的信息作为元数据提供给输入图像。
存储部6存储例如图像处理装置1b所执行的各种控制程序等，由例如硬盘、闪存等非易失性的存储装置构成。 花的中心 此外，在存储部6中也可以存储有图像处理(构图校正处理)、被摄体的检测处理等图像处理装置1b中的处理所需的参数等。 朝向检测部5检测拍摄到输入图像时的摄像装置1300的朝向(摄像装置是纵向还是横向)。 朝向检测部5例如具备加速度传感器，由此检测摄像装置1300相对于重力方向的倾斜。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
因此，摄像装置1300相对于被摄体1602的朝向未发生以y轴为中心的旋转。 图17的示出了在图16的所示的条件下对被摄体1602进行拍摄的情况下的拍摄图像1702。 被摄体1602为对称性高的被摄体，因此通过以对称构图进行拍摄而成为适当的印象的图像。 但是，如图16的所示，在从倾斜方向拍摄的情况下，成为了对称性低的图像。 像这样的图像，在平行移动、旋转等已知的仿射变换中，无法校正为像拍摄图像1702那样的正对被摄体1602的图像。 因此，在已知的方法中，无法将拍摄图像1701校正为对称性高的图像。
具体而言，与区域1203相比较，区域1204与输入图像的面积比变小。 即，输入图像的宽高比的横向越长，则即使旋转量相同，通过旋转校正而得到的输出图像相对于输入图像的面积的减小率也越大。 其结果是，通过旋转校正而得到的输出图像相对于输入图像的视角的减小率变大。 因此，输入图像的宽高比的横向越长或纵向越长，则图像校正部104a将旋转量的最大值设定得越小，由此能降低输出图像相对于输入图像的视角的减小。 在输入图像1101的左侧用箭头表示的宽度W1表示从输入图像1101的图像下端到水平线1103的长度，在输入图像1101的右侧用箭头表示的宽度W2表示从输入图像1101的图像下端到水平线1103的长度。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
图16是说明拍摄者1601保持摄像装置1300来拍摄被摄体1602的情形的图。 在图16的和中示出了从上方俯瞰拍摄者1601横向(为了拍摄横向长的图像)保持摄像装置1300来拍摄被摄体1602的情形，图16的示出了从上方俯瞰拍摄者1601纵向(为了拍摄纵向长的图像)保持摄像装置1300来拍摄被摄体1602的情形。 在图16的和中，改变摄像装置1300与被摄体1602的距离来进行拍摄。
所述图像校正部基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。 接着，图像校正部104a基于在步骤S24中确定的旋转的精度和在步骤S25中检测到的水平方向信息来确定使图像旋转的旋转量。 权利要求1至7中任一项所述的图像处理装置，以所述拍摄部拍摄到的图像作为所述输入图像来生成所述输出图像。 作为考虑到图像的宽高比的构图的校正方法，例如，根据图像的宽高比来提高对特定的构图的评价，由此能使各构图的选择容易度不同。 在一个实施方式中，图像校正部104对基于宽高比以外的基准(例如，被摄体的线对称性等)计算出的得分加上基于宽高比的追加得分，选择得分最高的构图即可。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
因此，通过对以多个旋转量进行投影变换后的图像进行评价，可能会能生成进行了最佳的投影变换的图像。 例如，在图16的和的拍摄条件下，进行了最佳的投影变换的图像对称性变高，因此易于从以多个旋转量进行投影变换后的图像之中选择对称构图来作为适当的构图。 花的中心 在一个实施方式中，在以多个旋转量进行投影变换后的候选图像之中，将对称构图的得分设定得最高，由此易于从候选图像之中选择对称构图来作为最佳的图像。
