Kafka并不难学 (1) 了解消息队列和Kafka

什么事消息队列？

如何理解消息队列的概念？

• MQ，拥有先进先出(FIFO)的特性

• 异步通信机制，包含详细的数据说明

作用:

• 应用解耦
• 异步处理
• 数据限流
• 消息通信

Kafka的基本概念

• 代理 Broker
• 生产者 Producer
• 消费者 Consumer

• 消费者组 Consumer Group

• Topic 主题

• Partition 分区
• Replication 副本
• Record 记录

kafka 使用范围

设计初衷

• 高吞吐量
• 高可用队列
• 低延时
• 分布式机制

特性

• 异步生产数据
• 偏移量迁移
• 安全机制
• 连接器
• 机架感知
• 数据流
• 时间戳
• 消息语义

场景

• 日志收集
• 消息系统
• 用户轨迹
• 记录运营监控数据
• 实现流处理
• 事件源