doris中的Broadcast Join

好的，我们来详细解释一下 Doris 中的Broadcast Join。

核心概念

在分布式数据库 Doris 中，当执行涉及多个表的JOIN操作时，系统需要决定如何在集群的不同节点间分发这些表的数据以完成关联计算。Broadcast Join是其中一种数据分发策略。

Broadcast Join 的工作原理

1. 选择广播表：Doris 的优化器会根据表的预估大小（通常是行数或数据量）以及JOIN条件等因素，选择参与JOIN操作中较小的一个表作为广播表。
2. 广播数据：系统会将选定的广播表的所有数据（或者只包含JOIN所需的列）复制（广播）到包含另一个表（称为大表）数据的每一个节点上。
3. 本地 Join：在每个存储大表数据的节点上，该节点本地的大表数据片段就可以直接与接收到的完整广播表数据在本地执行JOIN操作。
4. 汇总结果：各个节点完成本地JOIN后，将结果汇总起来返回给用户。

为什么使用 Broadcast Join？

• 减少网络传输：广播表只需要传输一次到所有节点，避免了在JOIN过程中大表数据在网络上的大量移动（例如 Shuffle Join 需要重新分发大表数据）。这在大表非常大时特别有利。
• 避免数据倾斜：由于每个节点都拥有完整的广播表数据，本地JOIN不依赖于数据在节点间的特定分布，因此不容易因为数据分布不均匀