加入收藏 | 设为首页 | 会员中心 | 我要投稿 西安站长网 (https://www.029zz.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

1万属性,100亿数据,每秒10万吞吐,架构如何设计?

发布时间:2019-05-06 21:11:03 所属栏目:建站 来源:58沈剑
导读:副标题#e# 有一类业务场景,没有固定的schema存储,却有着海量的数据行数,架构上如何来实现这类业务的存储与检索呢?58最核心的数据帖子的架构实现技术细节,今天和大家聊一聊。 一、背景描述及业务介绍 什么是58最核心的数据? 58是一个信息平台,有很多垂

元数据与索引数据的操作遵循:

  • 对帖子进行tid正排查询,直接访问帖子服务;
  • 对帖子进行修改,帖子服务通知检索服务,同时对索引进行修改;
  • 对帖子进行复杂查询,通过检索服务满足需求;

画外音:这个检索服务,扛起了58同城80%的请求(不管来自PC还是APP,不管是主页、城市页、分类页、列表页、详情页,最终都会转化为一个检索请求),它就是58另一个统一的核心服务E-search,这个搜索引擎,是完全自研的。

对于这个内核自研服务的搜索引擎架构,简单说明一下:

为应对100亿级别数据量、几十万级别的吞吐量,业务线各种复杂的复杂检索查询,扩展性是设计重点:

(1)统一的代理层,作为入口,其无状态性能够保证增加机器就能扩充系统性能;

(2)统一的结果聚合层,其无状态性也能够保证增加机器就能扩充系统性能;

(编辑:西安站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读