Skip to main content

Kafka

Kafka 是一个开源的分布式流处理平台,由 Apache Software Foundation 维护。它被设计用来处理实时数据流,并且具有高吞吐量、可扩展性和容错性等特性。

Kafka 的主要特点和功能包括:

  • 发布和订阅消息:Kafka 以消息的形式处理数据,生产者将消息发布到 Kafka,消费者从 Kafka 订阅并处理这些消息。
  • 存储数据流:Kafka 可以用来存储数据流,以便在需要时进行处理。
  • 处理数据流:Kafka 提供了流处理的能力,可以在数据流入 Kafka 和流出 Kafka 时进行处理。
  • 分布式系统:Kafka 是一个分布式系统,可以在多台机器上运行,以提供高吞吐量和容错性。

Kafka 被广泛应用于大数据和实时数据处理领域,例如日志收集、监控数据、实时分析等场景。

Kafka及相关组件有Enterprise License , Community License 和 Apache Kafka 2.0 license三种授权许可,本文只介绍后两种许可的相关组件

快速开始

参考链接

https://docs.confluent.io/platform/current/installation/docker/image-reference.html