(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210911115.0 (22)申请日 2022.07.30 (71)申请人 谢幸杏 地址 512000 广东省韶关 市武江区惠民北 路3栋205房 (72)发明人 谢幸杏　黄竑僖　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 专利代理师 王艺欢 (51)Int.Cl. G06Q 50/20(2012.01) G06F 16/783(2019.01) G06F 3/01(2006.01) G06T 17/00(2006.01) G06T 19/00(2011.01)G06T 19/20(2011.01) G10L 15/08(2006.01) (54)发明名称 一种交互式在线英语教学系统及其使用方 法 (57)摘要 本发明公开了交互式在线英语教学系统及 其使用方法， 通过以英语课本为索引建立英语课 本对应的教学数据库， 并将教学数据库存储于云 服务器中， 教学数据库包括 教材类型和知识点信 息， AR设备根据使用者注册信息和教材类型向使 用者显示 教学视频， 实时对使用者的手势信息进 行判断来控制语音识别单元的开闭， 从而快速获 取使用者的语音信息， 简化了手动操作的繁琐， AR设备也给使用者带来沉浸式学习氛围， 并结合 表情获取单元捕捉使用者的表情变化， 以提供与 学习主题关联的学习资源或学习伙伴， 促进交互 式在线英语教学的便利性， 极大地加强了师生、 生生间的互动， 提高了学生的沟通协作能力， 只 需学生用心投入到学习中， 各项学习能力都会 得 到提升。 权利要求书3页 说明书7页 附图2页 CN 115239533 A 2022.10.25 CN 115239533 A 1.一种交 互式在线英语教学系统， 其特 征在于， 包括： 数据录入模块， 用于以英语课本为索引建立英语课本对应的教学数据库， 并将所述教 学数据库存储于云服务器中， 所述教学数据库包括所述英语课本的教材类型和所述教材类 型对应的知识点信息； AR设备， 与所述云服务器连接， 包括手势采集单元、 语音识别单元和表情获取单元， 所 述AR设备根据使用者的注册信息和所述教材类型构建教学视频， 所述手势采集模块用于获 取使用者在AR设备显示所述教学视频后的手势信息， 当获取的手势信息的移动轨迹划过所 述教学视频中的视频图像时， 所述语音识别单元开启并录入所述使用者的语音信息， 语音 识别单元用于将所述语音信息提取出关键词与所述教学视频的资源标题进 行匹配， 当匹配 成功时将所述教学视频对应的知识 点信息推送至所述语音信息对应的使用者， 当匹配失败 时所述表情获取单元采集多个所述使用者的表情图像并进 行表情相似度匹配， 将所述表情 相似度匹配 成功的使用者组成学习伙伴， 所述语音识别单元接收所述学习伙伴整合的反馈 信息并发送至所述教学知识库， 其中， 所述注 册信息包括使用者角色、 性别和年龄； 数据处理模块， 用于根据所述反馈信 息在所述教学视频播放结束后重新录入与所述反 馈信息对应的知识点信息并返回至所述学习伙 伴。 2.根据权利要求1所述的交互式在线英语教学系统， 其特征在于， 所述手势采集单元采 集手势信息的过程包括： 将获取的手势信 息的某一帧图像与 预设背景图像进行差分运算得到差分图像， 将差分 图像二值化并经过阈值过 滤； 若差分图像中的某一点的差分值大于所述阈值， 则判定为运动目标得到所述手势信 息， 将此像素点值设置为255； 若 所述差分值小于所述阈值， 则将其作为背 景像素点， 并将所 述背景像素点的灰度值设置为0； 其中， 预设背景图像为B(x， y)， 第K帧图像为fk(x， y)， D(x， y)为第K帧与背景图像的差分 结构， 则差分算法的表达 式为： Dk(x， y)＝|fk(x， y)‑B(x， y)|， 则运动目标区域Ik(x， y)的表 达式为 其中T为分割 阈值， 在Ik(x， y)中运动目标的灰 度值为255， 背景区域灰度值 为0。 3.根据权利要求2所述的交互式在线英语教学系统， 其特征在于， 确定手势信 息的移动 轨迹的规程包括： 采用灰度质心的定位算法确定手势运动的手部图像定位结果， 其表达式为 其中(xc， yc)表示手部图像质心位置， f (xi， yj)为像素点(xi， yj)处的灰度值， 检测到的手部目标二值化图像中f(xi， yi)表示的灰度 值为255， 其他背景区域灰度值为0， 手部图像质心位置点(xc， yc)可通过图像 中所有灰度值 为255的像素点的坐标位置的平均值得 出； 采用质点的手部定位跟踪算法对手部图像定位结果的特征点进行提取， 计算手部运动 方向和距离， 所述特征点包括边缘和角点， 预设第N帧和第N+1帧图像质点位置分别为(Xk， Yk)和(XK+1， Yk+1)， 基于两帧的质点运动位移ΔS可表示为ΔS＝(XN+1， YN+1)‑(XN， YN)， ΔS包含权　利　要　求　书 1/3 页 2 CN 115239533 A 2了质点位移的方向和距离， 根据质点位移中方向信息与所述AR设备形成的三 维模型角度转 换方向进行映射， 根据位移中距离信息与三维模型转换角度大小进行映射， 以实现手势信 息的移动轨 迹与三维模型的实时交 互。 4.根据权利要求3所述的交互式在线英语教学系统， 其特征在于， AR设备还包括三维模 型演示模块， 所述演示模块用于 当使用者为教师上传三 维模型文件在AR设备的数据列 表中 启动演示功能， 手势采集单元将具有纹理的三维模型以相应的姿态叠加到视频流中， 将真 实场景与虚拟场景融合， 获取人手相对所述三维模型的移动方向和距离并转化为三 维模型 转动方向和速度。 5.根据权利要求1所述的交互式在线英语教学系统， 其特征在于， 所述语音信 息包括使 用者为学生询问的问题和感兴趣内容、 使用者为教师回答问题的答案和学习资源中的至少 一种。 6.根据权利要求1所述的交互式在线英语教学系统， 其特征在于， 所述语音识别单元开 启并录入所述使用者的语音信息包括： 当使用者为学生时， 语音识别单元接收到学生的问题后， 数据处理单元从教学数据库 进行查询， 查找有无和学生问题匹配答案， 若有相似度大于0.5的相似问题， 则会将答案返 回至学生； 根据学生提问和资源标题 的相似度推荐相关学习资源， 若有相似度大于0.5的学习资 源， 则将学习资源返回至学生， 并将所述学习资源、 所述学生和问题进 行整合存储至教学数 据库中。 7.根据权利要求1所述的交互式在线英语教学系统， 其特征在于， 当所述表情 获取单元 采用人脸识别使用者为学生的面部表情， 从表情图像中找到人脸， 根据脸部图像中人脸关 键点组成的面部对象结构的属性来解析面部表情， 所述面部对象结构包括面部、 眼镜、 眉 毛、 嘴唇和鼻子轮廓； 当不同状态的面部对象结构组合时会被解析为不同类型的表情， 人脸 识别出的表情包括愤怒、 厌烦 、 恐惧、 平静、 高兴、 沮丧和惊讶。 8.根据权利要求1所述的交互式在线英语教学系统， 其特征在于， 所述数据录入模块包 括登录单 元、 角色绑定单 元和三维模型 管理单元； 所述登录单元根据使用者的注册信 息输入用户名和密码， 所述角色绑定单元根据 学生 的年龄和教材类型绑定已注册的教师以向学生提供相应知识 点信息， 所述三 维模型管理单 元根据教师预先上传的文件至所述教学数据库， 文件包括三维模型文件和模型纹理图片， 三维模型文件为dae格式， 模型纹理图像包括JPEG、 PNG和GIF格式， 所述三维模型管理单元 用于文件查询、 修改和删除操作。 9.根据权利要求1所述的交互式在线英语教学系统， 其特征在于， 所述反馈信 息包括学 习满意度、 问题解 答状态和意见信息中的至少一种。 10.一种根据权利要求1 ‑9任一项所述的交互式在线英语教学系统 的使用方法， 其特征 在于， 包括以下步骤： 以英语课本为索引建立英语课本对应的教学数据库， 并将所述教学数据库存储于云服 务器中， 所述教学数据库包括所述英语课本的教材类型和所述教材类型对应的知识点信 息； 根据使用者的注册信 息和所述教材类型构建教学视频， 获取使用者在AR设备显示所述权　利　要　求　书 2/3 页 3 CN 115239533 A 3