在同一台宿主机上,不同的Docker容器可以借助docker0的网桥直接进行通信。而在实际的项目中,一个复杂的系统往往需要部署多个组件。为了提高组件的运行的效率往往这些组件需要部署到不同的主机上。那么在Docker中如何实现容器的跨主机通信呢?目前主要可以通过3种不同的方式来实现Docker容器跨主机通信的功能:
- 方式一:通过容器在宿主机上的端口映射来完成通信。
但使用这种方式在跨主机通信时,由于需要宿主机的转发,使用起来会非常不方便。
- 方式二:通过借助Docker Overlay网络来实现。
这种方式可以直接使用容器本身的虚拟IP地址进行相互通信,这与运行在同一台宿主机上的不同容器通信方式完全一样。Docker原生的Overlay网络则是这样的一个解决方案,它也是目前实现容器跨节点通信的主流的数据传输和路由方案。要使用Overlay网络还需要有注册中心的支持。
- 方式三:通过借助第三方网络来实现容器的跨节点通信,如flannel网络等。
下面着重介绍方式二的实现过程。
Overlay网络是在不改变现有网络的前提下,对IP报文上进行数据格式的封装,从而利用IP路由协议实现了数据的转发功能。在Overlay网络中通过扩展标识位,可以支持高达16M的用户。Docker的Swarm集群便是Overlay网络的一个实现,而使用Overlay网络需要注册中的支持。注册中心能够提供服务的注册与发现功能。Docker支持的注册中心有ZooKeeper、Consul和Etcd。
| 视频讲解如下 |
|---|
【赵渝强老师】Docker容器的跨节点通信 |
下面以ZooKeepper为例来进行介绍。在ZooKeeper网站上提供了ZooKeeper的安装介质。由于ZooKeeper基于的Java语言,因此,在安装ZooKeeper之前需要先安装Java的JDK环境。下面的步骤将部署一个单节点的ZooKeeper实例。
(1)解压缩JDK的安装介质,这里使用的版本是jdk-8u181-linux-x64.tar.gz。
$ tar-zxvf jdk-8u181-linux-x64.tar.gz-C/root/(2)编辑文件“/root/.bash_profile”设置Java的环境变量。输入下面的内容:
JAVA_HOME=/root/jdk1.8.0_181 export JAVA_HOME PATH=$JAVA_HOME/bin:$PATHexport PATH(3)生效Java的环境变量。
$ source/root/.bash_profile(4)解压缩ZooKeeper的安装介质,这里使用的版本是zookeeper-3.4.10.tar.gz。
$ tar-zxvf zookeeper-3.4.10.tar.gz-C/root(5)进入ZooKeeper目录生成ZooKeeper的配置文件。
$ cd zookeeper-3.4.10 $cpconf/zoo_sample.cfg conf/zoo.cfg(6)启动ZooKeeper实例。
$ bin/zkServer.shstart(7)查看ZooKeeper实例的状态,如下图所示。这时ZooKeeper是standalone状态,说明这是一个单节点的ZooKeeper实例。
有了ZooKeeper注册中心的支持,就可以进一步实现Docker容器的跨节点通信了。下表显示了部署的环境信息。
具体的操作步骤如下:
(1)在master节点上修改文件“/usr/lib/systemd/system/docker.service”的内容,将参数“ExecStart”改为下面的内容。
ExecStart=/usr/bin/dockerd-current \--add-runtimedocker-runc=/usr/libexec/docker/docker-runc-current \--default-runtime=docker-runc \--exec-opt native.cgroupdriver=systemd \--userland-proxy-path=/usr/libexec/docker/docker-proxy-current \--init-path=/usr/libexec/docker/docker-init-current \--seccomp-profile=/etc/docker/seccomp.json \-H tcp://0.0.0.0:2375-H unix:///var/run/docker.sock \--cluster-store zk://192.168.79.11:2181 \--cluster-advertise 192.168.79.11:2375 \$OPTIONS\$DOCKER_STORAGE_OPTIONS\$DOCKER_NETWORK_OPTIONS\$ADD_REGISTRY\$BLOCK_REGISTRY\$INSECURE_REGISTRY\$REGISTRIES# 其中增加的主要参数如下。# --cluster-store:指定ZooKeeper的地址和端口。# --cluster-advertise:将Docker注册到ZooKeeper中的地址信息。(2)重启master节点上的Docker服务。
$ systemctl daemon-reload $ systemctl restart docker(3)在node1节点上修改文件“/usr/lib/systemd/system/docker.service”的内容,将参数“ExecStart”改为下面的内容。
ExecStart=/usr/bin/dockerd-current \--add-runtimedocker-runc=/usr/libexec/docker/docker-runc-current \--default-runtime=docker-runc \--exec-opt native.cgroupdriver=systemd \--userland-proxy-path=/usr/libexec/docker/docker-proxy-current \--init-path=/usr/libexec/docker/docker-init-current \--seccomp-profile=/etc/docker/seccomp.json \-H tcp://0.0.0.0:2375-H unix:///var/run/docker.sock \--cluster-store zk://192.168.79.11:2181 \--cluster-advertise 192.168.79.12:2375 \$OPTIONS\$DOCKER_STORAGE_OPTIONS\$DOCKER_NETWORK_OPTIONS\$ADD_REGISTRY\$BLOCK_REGISTRY\$INSECURE_REGISTRY\$REGISTRIES(4)重启node1节点上的Docker服务。
$ systemctl daemon-reload $ systemctl restart docker(5)进入ZooKeeper目录,启动ZooKeeper命令行客户端。
$ cd/root/zookeeper-3.4.10 $ bin/zkCli.sh(6)查看master和node1在ZooKeeper中的注册信息,如下图所示。
(7)在任意节点上创建overlay网络,例如在master上执行下面的语句。
$ docker network create-d overlay my_multi_hosts# 其中的参数-d 用于指定创建网络的类型,这里指定的是overlay。# 在node1节点上此时会自动同步新创建的网络my_multi_hosts。(8)在master或者node1上查看Docker的网络信息,如下图所示。这时可以看到新创建的网络“my_multi_hosts”。
(9)在master节点上,使用my_multi_hosts的overlay网络启动一个容器,并确定容器的IP地址,如下图所示。从图中可以看成box1的IP地址是“10.0.0.2”。
$ docker run-it--net=my_multi_hosts--name box1 busybox $ ifconfig eth0(10)在node1节点上,使用my_multi_hosts的overlay网络启动一个容器,并确定容器的IP地址,如下图所示。从图中可以看成box2的IP地址是“10.0.0.3”。
$ docker run-it--net=my_multi_hosts--name box2 busybox $ ifconfig eth0(11)现在box1和box2既可以通过虚拟IP地址进行通信,也可以通过DNS Server进行通信,如下图所示。
(12)使用ZooKeeper的图形化工具ZooInspector登录ZooKeeper。这时就可以完整看到Overlay网络在ZooKeeper中的注册信息,如下图所示。