首页 > 行业资讯 > Kafka双机房高可用实现方案，哪种更优？

Kafka双机房高可用实现方案，哪种更优？

时间：2023-12-12 来源：浏览：

Kafka双机房高可用实现方案，哪种更优？

原创 twt社区 twt企业IT社区

twt企业IT社区

微信号 talkwithtrend

功能介绍 talkwithtrend.com社区（即twt社区）官方公众号，持续发布优秀社区原创内容。内容深度服务企业内各方向的架构师、运维主管、开发和运维工程师等IT专业岗位人群，让您时刻和国内企业IT同行保持信息同步。

收录于合集

社区探讨，供大家参考：

Kafka双机房高可用的实现方案哪种更优？

为了避免机房故障造成的服务不可用情况，所以考虑做双机房的高可用。

方案1：AB机房各部署一套kafka集群，相当于主备，使用 MirrorMaker、LinkedIn等逻辑复制工具去同步数据。

方案2：将Kafka的节点分布部署在AB机房，通过机架信息确保每个Topic在每个机房都保存了副本。

1方案的网络流量压力会大于2方案，且需要多维护一个复制工具，但如果某个集群挂了，另一个直接就有全量数据。

想请教，在实际的这种应用场景，建议采用哪种？以及其他需要考虑的问题都有哪些？

问题来自社区会员@金金金银行大数据工程师，以下分享均来自社区同行

@waring_id 技术经理：

要结合消费端的场景综合考虑，以下是需要考虑的磁盘和网络性能指标：

1、磁盘IO要求小于1ms（磁盘存储ACK确认原则）

2、光在光纤中的传输速度按20万KM计算（光速理论值的70%），100KM的时延为1ms（单向传输）

@Luga Lee 系统架构师：

这个取决于业务及架构特性，以及围绕业务所带来的成本问题。需要结合自身企业的实际情况进行，比如，技术实力、业务特性、资金支持等……

@HelloWorDomain：

二者对比MirrorMarker的解决方案更好一些。

MirrorMarker是 Kafka 官方提供的一个工具，可以将一个集群的数据复制到另一个集群，实现跨机房的数据同步。但是 MirrorMaker 也有一些缺点，比如性能低下、不支持动态配置、无法保证数据一致性等（这方面也要在设计方案时加以考虑）。

@金金金：

感谢回复，MirrorMarker2应该修复了部分1中的问题，综合考量这些这些复制工具，有没有较为推荐或有接触到的实际投入使用的工具？

@HelloWorDomain：

是的，MirrorMaker2在一定程度上修复了1部分中的内容。它是一个比较新的技术栈，所以需要先进行功能测试，其原因是：MirrorMaker2需要额外的资源来运行，要评估您的业务压力对于资源的损耗。此外此解决方案中，数据在不同的集群传输，所以会增加网络流量和延迟，这部分的带宽资源损耗，需要实际业务场景评估。

您怎么看？

欢迎来探讨