(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210941275.X (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 115018698 A (43)申请公布日 2022.09.06 (73)专利权人 深圳市联志光电科技有限公司 地址 518000 广东省深圳市宝安区石岩街 道水田社区长城工业园厂房十栋四层 西 (72)发明人 陈建华　刘绪龙　 (74)专利代理 机构 北京专赢专利代理有限公司 11797 专利代理师 于刚 (51)Int.Cl. G06T 3/00(2006.01)G06T 17/00(2006.01) G06T 19/00(2011.01) G06V 40/16(2022.01) 审查员 范广坡 (54)发明名称 一种用于人机交 互的图像处 理方法及系统 (57)摘要 本发明涉及图像处理技术领域， 具体公开了 一种用于 人机交互的图像处理方法及系统。 本发 明通过提取目标图像中的人物图像； 接收处理设 置信息， 进行交互拍摄， 生成交互拍摄数据； 构建 用户的三维面部模型； 进行对比配对， 将对比配 对成功的人物图像标记为用户图像； 按照处理设 置信息和用户图像， 对三维面部模型进行处理， 并将用户处理图像替换目标图像中的用户图像， 生成目标处理图像。 能够接收用户的处理设置信 息， 并在处理过程中， 对用户进行交互拍摄， 构建 用户的三维面部模型， 进行对比配对和优化处 理， 生成用户处理图像， 进而进行图像替换， 生成 目标处理图像， 从而能够避免人物图像的基本特 征被改变， 且能够实现高效快捷、 低成本的图像 调整。 权利要求书2页 说明书9页 附图7页 CN 115018698 B 2022.11.08 CN 115018698 B 1.一种用于人机交 互的图像处 理方法， 其特 征在于， 所述方法具体包括以下步骤： 获取待处理的目标图像， 对所述目标图像进行人物识别， 提取所述目标图像中的多个 人物图像； 接收用户的处理设置信息， 并在处理过程中， 对用户进行交互拍摄， 生成交互拍摄数 据； 具体的， 完成目标图像的上传之后， 生成信息设置窗口， 并将信息设置窗口进行展示， 用户在信息 设置窗口中进 行图像设置的选择， 从而接收用户在信息 设置窗口选择的处理设 置信息， 并且在展示信息 设置窗口时， 生成窗口拍摄信号， 按照窗口拍摄信号对进 行图像设 置选择的用户进行 交互视频拍摄， 并在用户完成图像 设置选择时， 完成交互视频拍摄， 在这 个过程中， 对用户交 互拍摄得到交 互拍摄数据； 根据所述交 互拍摄数据， 构建用户的三维面部模型； 根据所述三维面部模型， 对多个所述人物图像进行对比配对， 将对比配对成功 的人物 图像标记为用户图像； 按照所述处理设置信息和所述用户图像， 对所述三维面部模型进行处理， 生成用户处 理图像， 并将所述用户处 理图像替换 所述目标图像中的用户图像， 生成目标处 理图像； 具体的， 按照处理设置信 息， 对三维面部模型进行相应的美颜优化处理， 对三维面部模 型相应的部位， 按照用户的设置进 行美颜调节， 完成对三 维面部模型的优化调节之后， 生成 三维优化模型， 并通过对用户图像进行展示分析， 确定用户在用户图像中的拍摄角度、 光 照、 阴影拍摄特征， 得到展示特征信息， 进而按照展示特征信息， 对三维优化模型进行展示 调节， 获取完成展示调节得到的用户处理图像， 进而按照用户处理图像， 对目标图像中的用 户图像进行替换， 生成目标处 理图像。 2.根据权利要求1所述的用于人机交互 的图像处理方法， 其特征在于， 所述获取待处理 的目标图像， 对所述 目标图像进行人物识别， 提取所述 目标图像中的多个人物图像具体包 括以下步骤： 获取待处 理的目标图像； 对所述目标图像进行 人物识别， 生成人物 识别信息； 按照所述人物 识别信息， 从所述目标图像中提取多个人物图像。 3.根据权利要求1所述的用于人机交互 的图像处理方法， 其特征在于， 所述根据 所述交 互拍摄数据， 构建用户的三维面部模型 具体包括以下步骤： 对所述交 互拍摄数据进行处 理， 提取面部拍摄数据； 根据所述 面部拍摄数据， 进行关键点的提取与匹配， 得到关键点数据； 根据所述关键点数据， 构建三维坐标系； 按照所述面部拍摄数据， 在所述三维坐标系中进行点云构建与映射处理， 生成用户的 三维面部模型。 4.根据权利要求1所述的用于人机交互 的图像处理方法， 其特征在于， 所述根据 所述三 维面部模型， 对多个所述人物图像进行对比配对， 将对比配对成功的人物图像标记为用户 图像具体包括以下步骤： 对所述三维面部模型进行 特征分析， 得到用户的识别特 征信息； 根据所述识别特 征信息， 对多个所述人物图像进行对比配对， 生成对比配对结果；权　利　要　求　书 1/2 页 2 CN 115018698 B 2按照所述对比配对结果， 将对比配对成功的人物图像标记为用户图像。 5.一种用于人机交互的图像处理系统， 其特征在于， 所述系统包括人物图像提取单元、 处理交互拍摄单 元、 三维模型构建单 元、 对比配对标记单 元和图像处 理替换单元， 其中： 人物图像提取单元， 用于获取待处理的目标图像， 对所述目标图像进行人物识别， 提取 所述目标图像中的多个人物图像； 处理交互拍摄单元， 用于接收用户的处理设置信息， 并在处理过程中， 对用户进行交互 拍摄， 生成交 互拍摄数据； 具体的， 完成目标图像的上传之后， 处理交互拍摄单元生成信 息设置窗口， 并将信 息设 置窗口进行展示， 用户在信息设置窗口中进行图像设置的选择， 从而接 收用户在信息设置 窗口选择的处理设置信息， 并且在展示信息 设置窗口时， 生成窗口拍摄信号， 按照窗口拍摄 信号对进行图像设置选择 的用户进行交互视频拍摄， 并在用户完成图像设置选择时， 完成 交互视频拍摄， 在这个过程中， 对用户交 互拍摄得到交 互拍摄数据； 三维模型构建单 元， 用于根据所述交 互拍摄数据， 构建用户的三维面部模型； 对比配对标记单元， 用于根据 所述三维面部模型， 对多个所述人物图像进行对比配对， 将对比配对成功的人物图像标记为用户图像； 图像处理替换单元， 用于按照所述处理设置信息和所述用户图像， 对所述三维面部模 型进行处理， 生成用户处理图像， 并将所述用户处理图像替换所述目标图像中的用户图像， 生成目标处 理图像； 具体的， 图像处理替换单元按照处理设置信息， 对三维面部模型进行相应的美颜优化 处理， 对三 维面部模 型相应的部位， 按照用户的设置进 行美颜调节， 完成对三 维面部模型的 优化调节之后， 生成三 维优化模 型， 并通过对用户图像进行展示分析， 确定用户在用户图像 中的拍摄角度、 光照、 阴影拍摄特征， 得到展示特征信息， 进而按照展示特征信息， 对三 维优 化模型进 行展示调节， 获取完成展示调节得到的用户处理图像， 进而按照用户处理图像， 对 目标图像中的用户图像进行替换， 生成目标处 理图像。 6.根据权利要求5所述的用于人机交互 的图像处理系统， 其特征在于， 所述对比配对标 记单元具体包括： 特征分析模块， 用于对所述 三维面部模型进行 特征分析， 得到用户的识别特 征信息； 对比配对模块， 用于根据 所述识别特征信 息， 对多个所述人物图像进行对比配对， 生成 对比配对结果； 图像标记模块， 用于按照所述对比配对结果， 将对比配对成功 的人物图像标记为用户 图像。权　利　要　求　书 2/2 页 3 CN 115018698 B 3