加入收藏 | 设为首页 | 会员中心 | 我要投稿 西安站长网 (https://www.029zz.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 业界 > 正文

基于动态知识图谱的大规模数据集成解决方案

发布时间:2020-06-07 20:07:21 所属栏目:业界 来源:站长网
导读:副标题#e# 在信息高速变化的时代,企业、政府对数据的认知是一个不断变化的过程。通常某个数据集成项目的初期,客户与集成方对数据、业务的认知都是不全面的,比如今天提供了人口库的数据,明天提供车辆数据、后天又提供了卡口数据在这种场景下,如果利用常

https://mmbiz.qpic.cn/mmbiz_png/K97zBXUIORsYlm2YdiciawvdHDEzNVvoTXlI4mL2oF6PwkgC1ZxluticdkCtdYXUsbMPnYyJYMwJdKg4v5BfsxYiag/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1


https://mmbiz.qpic.cn/mmbiz_png/K97zBXUIORsYlm2YdiciawvdHDEzNVvoTXhpuNd0CiclT4I3ezRfICJEocIGZdY49b4lNuiaTlsMnrzmAhwIFicvRiaA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1



https://mmbiz.qpic.cn/mmbiz_png/K97zBXUIORsYlm2YdiciawvdHDEzNVvoTX0A7DuuFmDPDIN0QKUhdFiachB853XnDxl7icNTuuzYiaFhvZSNHuNr6ow/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1


https://mmbiz.qpic.cn/mmbiz_png/K97zBXUIORsYlm2YdiciawvdHDEzNVvoTXrvyZUHuHmiaqfsbd28mFp2sF1NWknw8m6np13sYNK8ynE0kJQoPdqHQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1





2.模型变更的动态性

进行新增字段、修改字段、删除字段,以及模型修改的时候,在应用端不用重新导入数据。

实现方式如下:

本体库中的数据元数据的存储与物理数据的存储是分离的,应用层查询MySQL获取元数据并进行缓存,然后在Elasticsearch中检索到数据后,会在应用层的内存中进行元数据与物理数据的拼装。
因此,当元数据变更后,只需要更新MySQL数据库与应用层的缓存,无需对实际的物理数据进行变更。
这里需要注意的是,在Elasticsearch中存储的是融合完成的数据。因此当融合规则变更后,需要重建索引。

https://mmbiz.qpic.cn/mmbiz_png/K97zBXUIORsYlm2YdiciawvdHDEzNVvoTXtnxGNKZMLzo0qbgesqOulNUfS0Km2pb46CibxicgEx3US25zzuPhedzA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

3.融合的动态性

当融合规则变更后,只需要对特定表重建索引,无需重新导入用户数据。

(编辑:西安站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读