蜜度以大数据大模型推动内容勘误的智能化与实用性

如何满足标准的功能和技术要求,实现内容勘误技术的智能化和实用性,上海蜜度信息技术有限公司基于多年自主研发经验,形成了“大数据+大模型”叠加知识图谱的整体技术解决方案,并经过真实场景下的严格验证和持续应用,保障了一流的内容自动勘误效果。

所谓大数据是指构建形成大规模高质量的机器可学习训练集,通过让机器大量阅读问题句子和正确句子,学习到语言规律和语义背景。训练集构造和标注需要充分考虑语言特点和用户使用习惯,如:汉语的字形信息,发音信息,同义、对义、反义等语义信息,实词虚词等词元信息。同时,“蜜度校对通”提供了用户反馈机制,持续对典型的内容错误进行人工标记,通过自动和人工标注相结合的方式,目前形成了百亿规模的高质量可机器读取的有效训练数据。

大模型则是指学习网络的深度和宽度有一定规模,网络有足够的参数量,从而可以拥有将大规模数据进行理解和泛化的能力。“蜜度校对通”网络基础模型的总参数规模超过十亿,融合了错误序列标记和翻译生成逻辑,从而让勘误系统具有更好的智能体验。

此外,为清晰表达现实世界中的语义知识,实现对常识的自动勘误处理,“蜜度校对通”构建了专有的知识图谱,将人物、机构、地域、作品、法律法规等知识进行碎片化处理和语义化组织,并具备开放数据中的知识自动获取和融合的持续更新能力,进而结合实体关系识别和图谱关系推理,实现对常识的一致性检测和勘误处理。

在内容勘误应用能力上,“蜜度校对通”基于大数据大模型的技术路线形成了文字标点差错、知识性差错和内容导向风险识别三大校对方向26个细分小类的错误校对,能够满足新闻出版、网络媒体、政府公文等日常稿件的文字、图片和视频等多模态信息的检测和纠错需要,提升各行业文稿校对的效率和质量。

 

(“蜜度校对通”产品截图)