multus 不支持 pod 同时使用 macvlan 和 ipvlan，因二者在 linux 内核层面互斥；可行方案是为不同网络平面分配不同物理接口或子接口，且每个 networkattachmentdefinition 必须指向独立 cni 配置。
multus 里怎么让 pod 同时用 macvlan 和 ipvlan 网络
不能。Multus 本身不“组合”CNI 类型，它只是按顺序调用多个 CNI 插件；macvlan 和 ipvlan 是互斥的底层网络模式，同一网卡接口上无法同时启用两者——Linux 内核不允许一个 interface 同时处于 macvlan 模式和 ipvlan 模式。
常见错误现象：failed to set interface xxx to macvlan mode: device or resource busy，往往是因为前一个 CNI（比如 ipvlan）已占用了该物理接口，后续 macvlan 尝试绑定失败。
- 真正可行的是：为不同网络平面分别配置
macvlan或ipvlan，比如主网络走macvlan，辅助网络走ipvlan，但必须对应不同的宿主机物理接口（如eth0vseth1）或子接口（eth0.100） - 若只有单物理口，可考虑用
ipvlan的l2模式替代macvlan（避免 MAC 地址冲突），但需确认交换机支持：macvlan 要求交换机学习大量 MAC，ipvlan l2 只需学习一个 - multus 的
networks字段里每个 NetworkAttachmentDefinition 必须指向独立、无重叠的 CNI 配置，不能共用同一个 host interface 的 raw 设备名
NetworkAttachmentDefinition 中 ipvlan 的 mode 参数选 l2 还是 l3
l2 是默认且最常用的选择，l3 仅在极少数隔离要求严格的场景下有用，但会显著增加路由配置负担。
使用场景差异：
-
l2模式下，pod 和宿主机在同一个二层广播域，可以直接 ARP 通信，适合对接已有 VLAN/交换机策略，也兼容大多数 service mesh 流量劫持 -
l3模式下，pod 独立三层子网，宿主机不参与 ARP，所有进出流量必须经由宿主机路由转发（需开启net.ipv4.ip_forward=1且配置静态路由），否则 pod 出不去 - 性能影响：l3 模式多一次内核路由查表，吞吐略低；l2 模式下如果 pod 数量大，交换机 MAC 表可能溢出（但 ipvlan l2 只占用一个 MAC，比 macvlan 更友好）
multus + macvlan 下 pod 无法 ping 通同网段其他机器
90% 是因为交换机没开混杂模式（promiscuous mode）或没允许该端口学习新 MAC 地址——macvlan 为每个 pod 分配独立 MAC，交换机必须能学习并转发这些 MAC。
常见错误现象：Destination Host Unreachable 或 ARP 请求无响应；用 tcpdump -i eth0 arp 在宿主机上看不到目标 IP 的 ARP request 到达，说明被交换机丢弃了。
- 检查交换机端口是否启用
port-security或mac-limit，临时关闭测试 - 确认宿主机物理接口已设为 promisc 模式：
ip link set eth0 promisc on（某些交换机要求上游链路也开启） - macvlan 的
master接口不能是 bond 或 team 设备（部分驱动不支持），优先用直连物理口 - 如果用的是 macvlan 的
bridge模式，注意它不跨节点通信，仅限本机 pod 间互通；要跨节点，必须用passthru或private模式 + 交换机配合
multus 配置里 networks 字段顺序影响什么
顺序决定 CNI 插件执行顺序，直接影响 pod 的 eth0（主网络接口）归属 —— multus 总是把列表中第一个 NetworkAttachmentDefinition 绑定的网络设为 eth0，其余依次为 net1、net2…
这意味着：
- 如果你依赖
eth0访问 kube-apiserver 或 DNS，那第一个网络必须是能通集群网络的那个（比如 calico 或 flannel），不能把 macvlan/ipvlan 放第一位，除非你明确让它们承载控制面流量 - 某些应用硬编码读
eth0的 IP（如旧版 Prometheus Exporter），放错顺序会导致采集地址错误 - 没有运行时动态切换顺序的能力；修改后需重建 pod，DaemonSet 会滚动更新，StatefulSet 需手动 delete pod 触发重建
复杂点在于：macvlan/ipvlan 类网络一旦设为第一个，pod 就彻底脱离集群 CNI 的 IPAM 和策略管理，后续排障要切到对应网络平面查，容易漏掉这个视角。
