范承工:谈基于持续性内存的分布式融合数据平台
在这里除了存储上的加速之外,我们还提供内存上的扩展,因为是以内存为核心的平台,通过内存扩展,和存储的加速,不仅提高了各方面的性能,同时,通过中间数据放到我们这个系统上,使得Spark节点更加弹性。这大大帮助云服务厂商可以随着客户需求而任意上升或下降调节资源。 最后再看得比较远一点,给大家分享一下我们的愿景。我们小的公司首先是有客户能够落地这个是很重要的,同样重要的是我们希望站在历史正确的一边,站在历史的技术趋势、业界趋势正确的一边。 我们认为,在将来5-10年持久性内存带来的会是一个架构上的变革。这个变革是什么样的变革呢?我们先看现在的架构,大家可能都很熟悉现在的架构基本上计算和存储是分离的,计算会有服务器的群体,有CPU、DRAM,存储基本上会有两层,第一层是SSD为主体的,高性能存储。还有一层容量型存储,现在更多是HDD为导向的。 我们认为这个架构分层在将来5-10年会有改变。最大的改变在计算那层里基于持久性内存会有一个新架构层的出现,叫做MCI,内存融合架构。内存融合架构扩大可用内存到几十甚至上百个T,同时某种程度上会取代于第一层性能级存储。并不是说性能级存储迁移到MCI那层,因为有持续性内存的存在而使得性存储还会存在,存储本身存在于以容量为导向的一层,这一层将会转向SSD为主流介质。而大量的活跃数据直接在内存MCI层得到解决。 我们公司希望成为催化剂,能够成为第一个吃螃蟹的,能够最早在这个领域搭建MCI的系统,希望这个变革发生时,我们能成为领先者之一。 今年是MCI的元年或者说持久性内存的元年,也许明年这个峰会再来参加可能就有整个的环节关于持久性内存。 今年闪存大会(FMS)与去年闪存大会有很多的区别,有好几个环节都是关于持久性内存的,这个技术现在正好是刚刚发生的节点,我们非常幸运在这个事情发生的初期做这个工作。现在已经开始通过硬件、软件得到过去得不到的性能。比如1微秒级的访问时延,过去是百微秒级的访问时延。单点至少达到1000万IOPS,这是一个非常激动人心的未来,非常高兴和大家分享! 主持人:谢谢范总给我们带来非常新的信息,今年算是这个技术第一次在这个会议上报告,明年一定会有更精彩的工作,现在给大家一个机会提问题。 提问:第一个问题我们了解RDMA虽然挺快,有4K或者6K传输时延会有10微秒左右,但是这个介质已经是300纳秒左右,如果是在这种场景下我们用分布式网络连接是不是划算的行为呢? 第二个问题如果我们做了分级的系统,MemVerge是不是已经考虑到这个问题做了一个冷热分级的预测? (编辑:西安站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |