大数据“喂养”红利下，知识图谱如何走上新道路？

利用 soft logic 将逻辑规则表达为 [0, 1] 之间的连续数值。 基于后验正则化（posterior regularization）方法，利用逻辑规则对 teacher network 进行限制，同时保证 teacher network 和 student network 尽量接近。最终优化函数为：

         其中，ξl,gl是松弛变量，L 是规则个数，Gl 是第 l 个规则的 grounding 数。KL 函数（Kullback-Leibler Divergence）部分保证 teacher network 和student network 习得模型尽可能一致。后面的正则项表达了来自逻辑规则的约束。

对 student network 进行训练，保证 teacher network 的预测结果和 student network 的预测结果都尽量地好，优化函数如下：

         其中，t 是训练轮次，l 是不同任务中的损失函数（如在分类问题中，l 是交叉熵），σθ 是预测函数，sn(t) 是 teacher network 的预测结果。

重复 1~3 过程直到收敛。 结束语

随着深度学习研究的进一步深入，如何有效利用大量存在的先验知识，进而降低模型对于大规模标注样本的依赖，逐渐成为主流的研究方向之一。知识图谱的表示学习为这一方向的探索奠定了必要的基础。近期出现的将知识融合进深度神经网络模型的一些开创性工作也颇具启发性。但总体而言，当前的深度学习模型使用先验知识的手段仍然十分有限，学术界在这一方向的探索上仍然面临巨大的挑战。这些挑战主要体现在两个方面:

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!