传统数据库不适合现代企业架构了？

很显然，当我们投入这个挑战时，这个问题没有现成的解决方案。此外，在构建了支持实时网站的 NoSQL 后，我们知道，分布式系统研究和技术的复兴为我们提供了一套工具，以过去不可能的方式来解决这个问题。我们注意到“流处理”的学术文献，流处理是一个研究领域，可以把数据库的存储和数据处理技术扩展到静态表之外，并把它们应用于这类持续、永不停息的数据流，这种数据流是像 LinkedIn 那样的数字业务的核心。

我们都熟悉这个古老的问题：“我们到了吗？”传统数据库有点像个孩子，要回答这个问题除了不断询问，别无选择。借助流处理，ETA 变成一个连续的计算，总是和问题的位置保持同步。

在社交网络中，一个事件可以代表一次点击、一封电邮、一次登录、一个新的连接，或者一次个人资料的更新。把这些数据作为不断发生的流来对待，可以让 LinkedIn 所有的其他系统都可以访问这些数据。

我们的早期用例涉及为 LinkedIn 的社交图片、搜索、Hadoop、数据仓库环境，以及像推荐系统、新闻提要、广告系统的面向用户的应用程序及其他产品功能提供填充数据。随着时间的流逝，Kafka 的使用扩展到安全系统、低级应用程序监控、电邮、新闻提要以及数以百计的其他应用程序。这些都发生在这样一个大规模要求的背景下：每天都有数以万亿计的消息流经 Kafka，并且数以千计的工程师围绕着它工作。

在我们开源 Kafka 后，它在 LinkedIn 外开始了广泛的传播，在 Netflix、Uber、Pinterest、Twitter、Airbnb 等公司出现了类似的架构。

随着我于 2014 年离开 LinkedIn，创办了 Confluent 后，Kafka 和事件流已经开始引起硅谷科技公司以外的广泛关注，并从简单数据管道转变为直接为实时应用程序提供支持。

如今，全球最大的银行中有一些把 Kafka 和 Confluent 用于欺诈检测、支付系统、风险系统和微服务架构。Kafka 是 Euronext 下一代证券交易平台的核心，用于处理欧洲市场数十亿笔交易。

在零售行业，Walmart、Target 和 Nordstrom 等公司已经采用了 Kafka。项目包括实时库存管理，另外还有电子商务和实体设施的整合。零售业传统上建立于每日缓慢的批处理的基础之上，但是，来自电子商务的竞争已经推动了一体化和实时化。

包括 Tesla 和 Audi 在内的多家汽车公司已经为其下一代联网的汽车构建了物联网平台，把汽车数据建模为实时事件流。他们并不是唯一这么做的。火车、船舶、仓储和重型机械也都开始在事件流中捕获数据了。

从硅谷开始的现象现在成了主流，成千上万的组织都在使用 Kafka，其中包括 60% 的财富 100 强公司。

事件流作为中枢神经系统  

这些公司中的大多数最初采用 Kafka 是为了一个特定用例启用单个可扩展的实时应用程序或数据管道。这种最初的用法往往可以在公司内部迅速传播到其他应用程序。

这种迅速传播的原因是，事件流都是有多个读者的：一个事件流可以有任意数量的“订阅者”，可以对它进行处理、做出反应或回复。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!