(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665520.0 (22)申请日 2021.12.31 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 陈子恒　沙晶　刘丹　王士进　 魏思　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 代理人 刘希 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 10/04(2012.01) G06Q 50/20(2012.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 40/289(2020.01) (54)发明名称 评阅方法、 评阅装置、 电子设备以及计算机 可读存储介质 (57)摘要 本申请公开了评阅方法、 评阅装置、 电子设 备以及计算机可读存储介质。 该评阅方法包括： 获取到待评分的数学文本； 其中， 数学文本包括 标准答案以及用户作答内容， 数学文本包括数学 式子和文字信息； 其中， 数学文本为经过分词处 理后的文本； 将数学文本输入到评分预测模型 中， 利用评分预测模型对数学文本中的文字信息 以及数学式子进行识别； 其中， 评分预测模型是 利用不完整的数学文本进行训练得到的； 其中， 不完整的数学文本包括被掩盖的数学式子以及 被掩盖的文字信息； 基于识别结果对用户作答内 容进行评分并输出得分率。 本申请能够较好地根 据用户作答内容进行预测， 从而满足解答题自动 评阅的需求。 权利要求书3页 说明书13页 附图7页 CN 114358579 A 2022.04.15 CN 114358579 A 1.一种评阅方法， 其特 征在于， 包括： 获取到待评分的数学文本； 其中， 所述数学文本包括标准答案以及用户作答内容， 所述 数学文本包括数 学式子和文字信息； 其中， 所述数 学文本为经 过分词处 理后的文本； 将所述数学文本输入到评分预测模型中， 利用所述评分预测模型对所述数学文本 中的 所述文字信息以及所述数学式子进行识别； 其中， 所述评分预测模型是利用不完整的数学 文本进行训练得到的； 其中， 所述不完整的数学文本包括被掩盖的数学式子以及被掩盖的 文字信息； 基于识别结果对所述用户作答内容进行评分并输出 得分率。 2.根据权利要求1所述的评阅方法， 其特征在于， 所述获取到待评分的数学文本的步 骤， 具体包括： 获取到多个所述待评分的数 学文本； 所述将所述数学文本输入到评分预测模型中， 利用所述评分预测模型对所述数学文本 中的所述文字信息以及所述数 学式子进行识别的步骤， 包括： 将各所述数学文本输入所述评分预测模型中， 利用所述评分预测模型对所述各所述数 学文本中的所述文字信息以及所述数 学式子进行识别， 得到多个识别结果； 所述基于识别结果对所述用户作答内容进行评分并输出 得分率的步骤， 包括： 通过所述评分预测模型对多个全部识别结果进行评分， 输出多个得分率， 并通过所述 评分预测模型 得到所述多个得分率的均值； 通过所述评分预测模型对所述多个得分率的均值以及各所述数学文本对应的得分率 进行高斯分布拟合， 并基于获得 的各方差与第二设定阈值的对比结果， 判断是否拒绝对各 所述数学文本进行评阅； 其中， 响应于单个所述数学文本的所述方差大于所述第二设定阈 值， 拒绝对单个所述数 学文本进行评分。 3.根据权利要求1或2任一项所述的评阅方法， 其特征在于， 所述利用不完整的数学文 本进行训练的方法， 具体包括： 获取到第一样本数据集， 各第一样本数据为所述 不完整的数 学文本； 利用所述第 一样本数据集对预设语言模型进行数学式子以及文字预测训练， 得到第 一 模型； 获取到第 二样本数据集， 各第 二样本数据包括题目、 标准答案、 用户作答内容以及所述 用户作答内容的评判信息； 且所述第二样本数据包括数 学式子以及文字信息； 利用所述第二样本数据集对所述第一模型进行评分训练， 得到所述评分预测模型。 4.根据权利要求3所述的评阅方法， 其特征在于， 所述获取到第一样本数据集， 各第一 样本数据为所述 不完整的数 学文本的步骤， 包括： 获取到原 始样本集， 其中， 各原 始样本包括所述数 学式子和所述文字信息； 对各原始样本 中的所述数学式子以及所述文字信 息进行分词处理， 以将所述数学式子 以及所述文字信息切分成多个分词； 将所述数学式子对应的分词以及所述文字信 息对应的分词进行部分掩盖， 得到所述第 一样本数据集。 5.根据权利要求4所述的评阅方法， 其特征在于， 所述利用所述第 一样本数据集对预设 语言模型进行 数学式子以及文字预测训练， 得到第一模型的步骤， 包括：权　利　要　求　书 1/3 页 2 CN 114358579 A 2对所述原 始样本中的所述数 学式子进行构建， 以生成公式解析树； 对所述公式解析树进行遍历， 得到所述公式解析树的各个节点在所述原始样本 中的位 置信息， 并将所述公式解析树以及对应的位置信息进行存 储； 利用所述第一样本数据以及所述位置信息对所述预设语言模型进行数学式子以及文 字预测训练， 得到所述第一模型。 6.根据权利要求5所述的评阅方法， 其特征在于， 所述利用所述第 一样本数据以及所述 位置信息对所述预设语言模型进行数学式子 以及文字预测训练， 得到所述第一模型的步 骤， 包括： 通过所述预设语言模型对所述第一样本数据中所述被掩盖的数学式子以及所述被掩 盖的文字信息进行内容以及位置的预测， 得到第一预测信息； 利用所述第一预测信息、 所述位置信息、 以及各所述第一样本数据对所述预设语言模 型进行数学式子以及文字预测训练， 得到所述第一模型。 7.根据权利要求5所述的评阅方法， 其特征在于， 所述对所述原始样本中的所述数学式 子进行构建， 以生成公式解析树的步骤， 包括： 获取所述数学式子对应的所述分词中的至少一个 变量与至少一个运 算符； 将所述变量与 所述运算符分别加入到第 一堆栈与第 二堆栈中， 并在根据 所述运算符的 优先级将所述数 学式子转 化为逆波兰式， 以基于所述逆波兰式生成所述公式解析树。 8.根据权利要求6所述的评阅方法， 其特征在于， 所述预设语言模型依次包括输入层、 卷积下采样层、 双向编码器、 全连接层以及输出层； 所述通过所述预设语言模型对所述第一样本数据中所述被掩盖的数学式子以及所述 被掩盖的文字信息进行内容以及位置的预测， 得到第一预测信息的步骤， 包括： 将所述第一样本数据输入到输入层进行处理， 得到所述分词对应的词向量、 位置向量 以及段落向量； 将所述词向量、 所述位置向量以及所述段落向量输入到所述卷积下采样层进行特征提 取， 得到特 征向量； 将所述特征向量输入到所述双向编码器进行多维信 息提取， 并将提取的信 息输入到所 述全连接层进行 所述内容以及所述 位置的预测， 得到所述第一预测信息； 所述利用所述第一预测信息、 所述位置信息、 以及各所述第一样本数据对所述预设语 言模型进行 数学式子以及文字预测训练， 得到所述第一模型的步骤， 具体包括： 基于所述位置信息以及所述第一样本数据判断所述第一预测信息与所述被掩盖的数 学式子以及所述被掩盖的文字信息的内容以及位置是否匹配， 并基于匹配结果对所述预设 语言模型的模型参数进行调整， 以得到所述第一模型。 9.根据权利要求8所述的评阅方法， 其特征在于， 所述利用所述第 二样本数据集对所述 第一模型进行评分训练， 得到所述评分预测模型的步骤， 包括： 通过所述第一模型对所述用户作答内容与所述标准答案进行预测， 得到第二预测信 息； 利用所述第 二预测信 息以及所述评判信 息对所述第 一模型进行得分预测训练， 得到所 述评分预测模型。 10.根据权利要求9所述的评阅方法， 其特征在于， 所述通过所述第一模型对所述用户权　利　要　求　书 2/3 页 3 CN 114358579 A 3