本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像内容重组方法。

随着3D技术的快速发展，立体图像和立体视频越来越受到人们的关注和喜爱。特别是随着手机、平板和个人电脑的发展，移动端的显示越来越受到用户们的欢迎。然而，在移动端屏幕上显示立体图像和立体视频时，立体感会随之减弱甚至消失，内容制造者试图通过调整内容布局和深度来使观看者将注意力集中在该对象上，以提升该对象的立体感。因此，对于在移动端屏幕上显示立体图像和立体视频时，内容重组可以增强该对象的关注度和深度感。

传统的图像内容重组大致可分为两类：前一类方法是对影响图像美感的因素，如色彩、光线、线条、构图等进行调整，以增强图像美观度；后一类方法是直接通过对象提取和粘贴，将不同对象重组到同一图像上。对于立体图像内容重组，如何减少内容重组后的立体图像的图像形变，如何根据用户的选择自适应地控制对象的尺寸以突出显著内容，如何保证内容重组后的立体图像的深度一致性，都是在对立体图像进行内容重组过程中需要研究解决的问题。

本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整立体图像内容布局的立体图像内容重组方法。

本发明解决上述技术问题所采用的技术方案为：一种立体图像内容重组方法，其特征在于包括以下步骤：

步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)}；其中，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤二：采用基于图论的视觉显著模型提取出{L(x,y)}的显著图，记为{SML(x,y)}；然后根据{SML(x,y)}和{dL(x,y)}，获取{L(x,y)}的视觉显著图，记为{SL(x,y)}；接着根据{SL(x,y)}和{dL(x,y)}，获取{R(x,y)}的视觉显著图，记为{SR(x,y)}；其中，SML(x,y)表示{SML(x,y)}中坐标位置为(x,y)的像素点的像素值，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤三：将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格，将{L(x,y)}中的第k个Delaunay网格记为UL,k，UL,k以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格和{dL(x,y)}，获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格，将{R(x,y)}中的第k个Delaunay网格记为UR,k，UR,k以其3个网格顶点构成的集合来描述，其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的Delaunay网格的总个数，M＞1，对应表示UL,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，对应表示UR,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{dL(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dL(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dL(x,y)}中坐标位置为的像素点的像素值；

步骤四：采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割，得到{L(x,y)}中的所有聚类对象，进而得到{L(x,y)}中的每个聚类对象的对象掩膜，将{L(x,y)}中的第n个聚类对象的对象掩膜记为On；设定用户选择了{L(x,y)}中的第n个聚类对象，则根据{L(x,y)}中的所有Delaunay网格，将Qn中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述，其中，n为正整数，1≤n≤N，N表示{L(x,y)}中的聚类对象的总个数，N＞1，k”为正整数，1≤k”≤M”，M”表示Qn中包含的Delaunay网格的总个数，M”＞1，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤五：将用户提供的参考对象掩膜记为P；然后将P分割成多个互不重叠的不规则的Delaunay网格，将P中的第k'个Delaunay网格记为UP,k'，UP,k'以其3个网格顶点构成的集合来描述，其中，k'为正整数，1≤k'≤M'，M'表示P中包含的Delaunay网格的总个数，M'＞1，对应表示UP,k'的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

步骤六：在用户选择了{L(x,y)}中的第n个聚类对象的基础上，计算On与P的对象水平偏移量、对象垂直偏移量和对象缩放因子，对应记为和ρ，其中，表示水平方向，表示垂直方向，表示On中的所有Delaunay网格的所有网格顶点中的第t个网格顶点，表示的水平坐标位置，表示的垂直坐标位置，表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点，表示的水平坐标位置，表示的垂直坐标位置，表示On中的所有Delaunay网格构成的集合，也表示On中的所有Delaunay网格的所有网格顶点构成的集合，VP表示P中的所有Delaunay网格构成的集合，也表示P中的所有Delaunay网格的所有网格顶点构成的集合，1≤t'≤NP，表示On中的所有Delaunay网格的网格顶点的总个数，NP表示P中的所有Delaunay网格的网格顶点的总个数，符号“||”为取绝对值符号；

步骤七：{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将UL,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{L(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆；

同样，{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将UR,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{R(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(AR,k)T为AR,k的转置，((AR,k)TAR,k)-1为(AR,k)TAR,k的逆；

步骤八：根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，并结合{SL(x,y)}和{SR(x,y)}，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量，记为EIQ；

根据ρ，计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，记为ESO；

根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量，记为EAO；

根据ρ，计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量，记为EDS；

步骤九：根据EIQ、ESO、EAO和EDS，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量，记为Etotal，Etotal＝EIQ+λSO×ESO+λAO×EAO+λDS×EDS；然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格，将UL,k对应的最佳目标Delaunay网格记为将UR,k对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为其中，λSO为ESO的加权参数，λAO为EAO的加权参数，λDS为EDS的加权参数，min()为取最小值函数，表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；

步骤十：根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将UL,k中水平坐标位置为x'L,k和垂直坐标位置y'L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容重组后的左视点图像，记为其中，1≤x'L,k≤W，1≤y'L,k≤H，1≤x'≤W，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值；

同样，根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将UR,k中水平坐标位置为x'R,k和垂直坐标位置y'R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容重组后的右视点图像，记为其中，1≤x'R,k≤W，1≤y'R,k≤H，表示中坐标位置为(x',y')的像素点的像素值。

所述的步骤二中，SR(x,y)＝SL(x+dL(x,y),y)；其中，表示SML(x,y)的权重，表示dL(x,y)的权重，SL(x+dL(x,y),y)表示{SL(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的像素值。

所述的步骤八中的EIQ的计算过程为：

A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量，记为其中，SL(k)表示UL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与UL,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号；

同样，计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量，记为其中，SR(k)表示UR,k中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k对应的区域中的所有像素点的像素值的均值；

B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量，记为其中，eL,k表示UL,k的所有网格顶点的边缘组成的矩阵，(eL,k)T为eL,k的转置，((eL,k)TeL,k)-1为(eL,k)TeL,k的逆，表示的所有网格顶点的边缘组成的矩阵，

同样，计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量，记为其中，eR,k表示UR,k的所有网格顶点的边缘组成的矩阵，(eR,k)T为eR,k的转置，((eR,k)TeR,k)-1为(eR,k)TeR,k的逆，表示的所有网格顶点的边缘组成的矩阵，

C、根据和计算EIQ，其中，λLB为加权参数。

所述的步骤八中的ESO的计算过程为：其中，表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，符号“|| ||”为求欧氏距离符号，eL,k”表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示的所有网格顶点的边缘组成的矩阵，表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，eR,k”表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵，表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。

所述的步骤八中的EAO的计算过程为：其中，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置。

所述的步骤八中的EDS的计算过程为：

，

其中，表示的视差值，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示除On外的其他所有对象掩膜构成的集合，表示中的所有Delaunay网格的网格顶点的总个数，表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点，表示的视差值，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示中的所有Delaunay网格的所有网格顶点构成的集合。

与现有技术相比，本发明的优点在于：

1)本发明方法通过提取立体图像的左视点图像和右视点图像对应的图像质量能量、对象缩放能量、位置调整能量和视差适应能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得内容重组后的立体图像能够保留精确的对象形状、具有较高的深度感，且可以根据用户的选择自适应地控制重要内容的位置和大小，符合显著语义特征。

2)本发明方法通过控制立体图像中的用户选择的聚类对象和其他聚类对象中的Delaunay网格的坐标位置，并进而控制Delaunay网格的形变，从而能够保证内容重组后的立体图像的视觉体验质量。

图1为本发明方法的总体实现框图；

图2a为“Image1”的原始立体图像的“红/绿”图；

图2b为“Image1”经内容重组后的“红/绿”图；

图3a为“Image2”的原始立体图像的“红/绿”图；

图3b为“Image2”经内容重组后的“红/绿”图；

图4a为“Image3”的原始立体图像的“红/绿”图；

图4b为“Image3”经内容重组后的“红/绿”图；

图5a为“Image4”的原始立体图像的“红/绿”图；

图5b为“Image4”经内容重组后的“红/绿”图。

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像内容重组方法，其总体实现框图如图1所示，其包括以下步骤：

步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)}；其中，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤二：采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{L(x,y)}的显著图，记为{SML(x,y)}；然后根据{SML(x,y)}和{dL(x,y)}，获取{L(x,y)}的视觉显著图，记为{SL(x,y)}；接着根据{SL(x,y)}和{dL(x,y)}，获取{R(x,y)}的视觉显著图，记为{SR(x,y)}；其中，SML(x,y)表示{SML(x,y)}中坐标位置为(x,y)的像素点的像素值，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤二中，SR(x,y)＝SL(x+dL(x,y),y)；其中，表示SML(x,y)的权重，表示dL(x,y)的权重，在本实施例中取SL(x+dL(x,y),y)表示{SL(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的像素值。

步骤三：将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格，将{L(x,y)}中的第k个Delaunay网格记为UL,k，UL,k以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格和{dL(x,y)}，获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格，将{R(x,y)}中的第k个Delaunay网格记为UR,k，UR,k以其3个网格顶点构成的集合来描述，其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的Delaunay网格的总个数，M＞1，M的数值根据图像的大小而定，对应表示UL,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，对应表示UR,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，

表示{dL(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dL(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dL(x,y)}中坐标位置为的像素点的像素值。

步骤四：采用现有的K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割，得到{L(x,y)}中的所有聚类对象，进而得到{L(x,y)}中的每个聚类对象的对象掩膜，将{L(x,y)}中的第n个聚类对象的对象掩膜记为On；设定用户选择了{L(x,y)}中的第n个聚类对象，则根据{L(x,y)}中的所有Delaunay网格，将Qn中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述，其中，n为正整数，1≤n≤N，N表示{L(x,y)}中的聚类对象的总个数，N＞1，N的大小根据不同的图像内容而定，k”为正整数，1≤k”≤M”，M”表示Qn中包含的Delaunay网格的总个数，M”＞1，M”的数值根据Qn的大小而定，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

步骤五：将用户提供的参考对象掩膜记为P；然后将P分割成多个互不重叠的不规则的Delaunay网格，将P中的第k'个Delaunay网格记为UP,k'，UP,k'以其3个网格顶点构成的集合来描述，其中，k'为正整数，1≤k'≤M'，M'表示P中包含的Delaunay网格的总个数，M'＞1，M'的数值根据P的大小而定，对应表示UP,k'的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

步骤六：在用户选择了{L(x,y)}中的第n个聚类对象的基础上，计算On与P的对象水平偏移量、对象垂直偏移量和对象缩放因子，对应记为和ρ，其中，表示水平方向，表示垂直方向，表示On中的所有Delaunay网格的所有网格顶点中的第t个网格顶点，表示的水平坐标位置，表示的垂直坐标位置，表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点，表示的水平坐标位置，表示的垂直坐标位置，表示On中的所有Delaunay网格构成的集合，也表示On中的所有Delaunay网格的所有网格顶点构成的集合，VP表示P中的所有Delaunay网格构成的集合，也表示P中的所有Delaunay网格的所有网格顶点构成的集合，1≤t'≤NP，表示On中的所有Delaunay网格的网格顶点的总个数，NP表示P中的所有Delaunay网格的网格顶点的总个数，符号“||”为取绝对值符号。

步骤七：{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将UL,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{L(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆。

同样，{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将UR,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{R(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(AR,k)T为AR,k的转置，((AR,k)TAR,k)-1为(AR,k)TAR,k的逆。

步骤八：根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，并结合{SL(x,y)}和{SR(x,y)}，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量，记为EIQ。

根据ρ，计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，记为ESO。

根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量，记为EAO。

根据ρ，计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量，记为EDS。

在此具体实施例中，步骤八中的EIQ的计算过程为：

A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量，记为其中，SL(k)表示UL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与UL,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号。

同样，计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量，记为其中，SR(k)表示UR,k中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k对应的区域中的所有像素点的像素值的均值。

B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量，记为其中，eL,k表示UL,k的所有网格顶点的边缘组成的矩阵，(eL,k)T为eL,k的转置，((eL,k)TeL,k)-1为(eL,k)TeL,k的逆，表示的所有网格顶点的边缘组成的矩阵，

同样，计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量，记为其中，eR,k表示UR,k的所有网格顶点的边缘组成的矩阵，(eR,k)T为eR,k的转置，((eR,k)TeR,k)-1为(eR,k)TeR,k的逆，表示的所有网格顶点的边缘组成的矩阵，

C、根据和计算EIQ，其中，λLB为加权参数，在本实施例中取λLB＝2。

在此具体实施例中，步骤八中的ESO的计算过程为：其中，表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，符号“|| ||”为求欧氏距离符号，eL,k”表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示的所有网格顶点的边缘组成的矩阵，表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，eR,k”表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵，表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。

在此具体实施例中，步骤八中的EAO的计算过程为：其中，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置。

在此具体实施例中，步骤八中的EDS的计算过程为：

,

其中，表示的视差值，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示除On外的其他所有对象掩膜构成的集合，表示中的所有Delaunay网格的网格顶点的总个数，表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点，表示的视差值，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示中的所有Delaunay网格的所有网格顶点构成的集合。

步骤九：根据EIQ、ESO、EAO和EDS，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量，记为Etotal，Etotal＝EIQ+λSO×ESO+λAO×EAO+λDS×EDS；然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格，将UL,k对应的最佳目标Delaunay网格记为将UR,k对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为其中，λSO为ESO的加权参数，λAO为EAO的加权参数，λDS为EDS的加权参数，在本实施例中取λSO＝4、λAO＝20、λDS＝2，min()为取最小值函数，表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置。

步骤十：根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将UL,k中水平坐标位置为x'L,k和垂直坐标位置y'L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容重组后的左视点图像，记为其中，1≤x'L,k≤W，1≤y'L,k≤H，1≤x'≤W，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值。

同样，根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将UR,k中水平坐标位置为x'R,k和垂直坐标位置y'R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容重组后的右视点图像，记为其中，1≤x'R,k≤W，1≤y'R,k≤H，表示中坐标位置为(x',y')的像素点的像素值。

为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。

以下就利用本发明方法对Image1、Image2、Image3和Image4四幅立体图像进行内容重组实验。图2a给出了“Image1”的原始立体图像的“红/绿”图，图2b给出了“Image1”经内容重组后的“红/绿”图；图3a给出了“Image2”的原始立体图像的“红/绿”图，图3b给出了“Image2”经内容重组后的“红/绿”图；图4a给出了“Image3”的原始立体图像的“红/绿”图，图4b给出了“Image3”经内容重组后的“红/绿”图；图5a给出了“Image4”的原始立体图像的“红/绿”图，图5b给出了“Image4”经内容重组后的“红/绿”图。从图2a至图5b中可以看出，采用本发明方法得到的内容重组后的立体图像能够较好地保留对象形状，且可以根据用户的选择进行内容位置和大小的重组操作。