零成本构建高可用K8s集群：基于免费云资源的实践指南

1. 项目概述：在免费云上构建高可用K8s集群

最近在社区里看到不少朋友在讨论云原生和Kubernetes，但一提到搭建环境，很多人就被云厂商的计费模型劝退了。确实，一个像样的生产级K8s集群，光是控制节点和ETCD的稳定运行就需要不小的开销。不过，如果你只是想学习、测试，或者搭建一个轻量级的个人项目环境，有没有可能“零成本”玩转K8s呢？

答案是肯定的。今天要聊的这个项目，就是围绕“nce/oci-free-cloud-k8s”展开的。简单来说，它是一套完整的方案，指导你如何利用主流云服务商提供的“永久免费套餐”资源，搭建一个功能完备的Kubernetes集群。这里的“免费”不是指试用期，而是指那些云厂商明确承诺长期免费提供的计算、存储和网络资源。通过巧妙的资源编排和配置，我们可以在不花一分钱的情况下，获得一个接近生产环境的K8s playground，用于CI/CD流水线测试、微服务架构验证、技术学习，甚至是运行一些对资源要求不高的个人应用。

这个项目的核心价值在于“降本”与“学习”并重。对于初学者，它消除了资金门槛，让你可以毫无压力地反复搭建、摧毁、再搭建，深刻理解K8s的每一个组件。对于有经验的开发者，它提供了一个绝佳的沙箱环境，可以安全地尝试Helm Chart、Operator、服务网格（如Istio/Linkerd）等进阶功能，而不用担心操作失误导致账单爆炸。接下来，我将从架构设计、实操步骤到避坑指南，完整拆解如何实现这一目标。

2. 核心架构设计与资源选型

2.1 免费云资源池分析

要实现“零成本”，第一步是摸清我们手上有哪些牌。目前，Oracle Cloud Infrastructure (OCI) 的“永久免费套餐”是资源最慷慨的之一，常被用作此类项目的基石。其免费资源通常包括：

• 计算实例 (VM.Standard.E2.1.Micro 或 Ampere A1)：提供1个OCPU（或4个Arm核心）和1GB/6GB内存的虚拟机。虽然性能有限，但运行K8s的控制平面组件（如kube-apiserver, kube-controller-manager, kube-scheduler）以及1-2个轻量级工作节点是足够的。
• 块存储 (Block Volume)：提供总计200GB的免费块存储，可用于持久化卷（PV），保障有状态应用的数据安全。
• 负载均衡器 (Load Balancer)：提供1个免费的LB实例，带宽10Mbps。这对于暴露K8s集群的Ingress Controller服务（如Nginx Ingress）至关重要，是外部访问集群内服务的门户。
• VCN与公网IP：虚拟云网络和有限的公网IP资源，满足网络隔离和外部访问需求。

除了OCI，其他如Google Cloud Platform (GCP) 的Always Free Tier、AWS的Free Tier（部分资源永久免费）也可以作为补充或备选。但OCI因其提供的Ampere A1实例（4核ARM24GB内存）性价比突出，常被选为主力。

注意：免费套餐通常有严格的区域（Region）限制，并非所有数据中心都提供。在创建资源前，务必在云控制台确认所选区域是否支持免费套餐，并仔细阅读其条款，避免因误操作（如创建了付费实例规格、超出免费额度）而产生意外费用。

2.2 Kubernetes发行版与部署工具抉择

有了资源，下一步是选择如何部署K8s。在资源受限的免费实例上，我们需要一个轻量级、高集成度的方案。

1. K3s vs Kubeadm：

   • K3s：由Rancher（现为SUSE）推出的轻量级Kubernetes发行版，将核心组件打包为单个二进制文件，默认使用containerd而非Docker，内存占用极低（控制平面约512MB内存即可运行）。它内置了SQLite作为默认存储（替代etcd），进一步简化了部署。对于免费实例1GB内存的苛刻环境，K3s几乎是唯一可行的选择。
   • Kubeadm：K8s官方的集群引导工具，更标准，但部署的组件更多，资源消耗更大，在1GB内存的实例上运行会非常吃力，不推荐在此场景使用。

   因此，本项目通常选用K3s作为Kubernetes发行版。它牺牲了一些高级特性（如默认的Alpha API），但换来了极致的轻量和易用性，完美契合免费资源的约束。

2. 部署工具：虽然可以手动通过SSH在每台机器上安装K3s，但为了可重复性和自动化，推荐使用Terraform进行云资源（虚拟机、网络、安全组）的编排，再配合Ansible进行集群内K3s的安装与配置。这套组合能实现“基础设施即代码”，一键创建和销毁整个环境。

2.3 高可用与网络拓扑设计

免费实例通常性能不强，单点故障风险高。我们的设计目标是在“免费”的前提下，尽可能提升可用性。

1. 控制平面高可用（HA）：标准的K3s HA需要2个或3个Server节点（控制节点）和一个外置数据库（如MySQL/PostgreSQL）。但在免费套餐中，运行多个1GB内存的Server节点外加一个数据库实例，资源可能捉襟见肘。一个折中的实践是：

   • 部署两个K3s Server节点，形成主备。
   • 使用K3s内置的嵌入式etcd（而非单机SQLite）。K3s支持以etcd模式运行，多个Server节点间会自动组成etcd集群，实现控制平面和数据存储的双重高可用。这比外置数据库方案更节省资源。
   • 虽然两个节点在etcd集群中无法容忍一个节点同时故障（需要至少3节点才能满足etcd的多数派选举），但这已经比单点大幅提升，且能在主节点维护时进行手动切换。

2. 工作节点与负载均衡：

   • 可以创建1-2个额外的免费实例作为Agent节点（工作节点），专门运行业务Pod。
   • 利用OCI的免费负载均衡器，将流量引导至运行着Nginx Ingress Controller的Agent节点上。Ingress Controller本身以DaemonSet或Deployment形式运行在K8s集群内。

3. 网络规划：

   • 在OCI VCN中创建一个公有子网，用于放置所有实例和负载均衡器，简化配置。
   • 安全列表（Security List）必须精细配置：开放6443端口（K3s API Server）、80/443端口（Ingress）、22端口（SSH管理），以及K3s节点间通信所需的端口（如2379-2380 for etcd, 8472 for Flannel VXLAN等）。

3. 实战部署：从零搭建免费K3s集群

3.1 基础设施自动化部署（Terraform）

我们首先使用Terraform定义所有云资源。以下是一个简化的main.tf示例，用于在OCI创建必要的资源。

# 配置OCI Provider provider "oci" { tenancy_ocid = var.tenancy_ocid user_ocid = var.user_ocid fingerprint = var.fingerprint private_key_path = var.private_key_path region = var.region } # 创建VCN和子网 resource "oci_core_vcn" "free_k8s_vcn" { compartment_id = var.compartment_id cidr_block = "10.0.0.0/16" display_name = "free-k8s-vcn" } resource "oci_core_subnet" "public_subnet" { compartment_id = var.compartment_id vcn_id = oci_core_vcn.free_k8s_vcn.id cidr_block = "10.0.1.0/24" display_name = "public-subnet" prohibit_public_ip_on_vnic = false route_table_id = oci_core_route_table.public_route_table.id security_list_ids = [oci_core_security_list.public_security_list.id] } # 创建互联网网关和路由表 resource "oci_core_internet_gateway" "igw" { compartment_id = var.compartment_id vcn_id = oci_core_vcn.free_k8s_vcn.id display_name = "free-k8s-igw" } resource "oci_core_route_table" "public_route_table" { compartment_id = var.compartment_id vcn_id = oci_core_vcn.free_k8s_vcn.id route_rules { destination = "0.0.0.0/0" destination_type = "CIDR_BLOCK" network_entity_id = oci_core_internet_gateway.igw.id } } # 配置安全列表，开放必要端口 resource "oci_core_security_list" "public_security_list" { compartment_id = var.compartment_id vcn_id = oci_core_vcn.free_k8s_vcn.id display_name = "public-security-list" # 允许SSH ingress_security_rules { protocol = "6" # TCP source = "0.0.0.0/0" tcp_options { min = 22 max = 22 } } # 允许K3s API Server ingress_security_rules { protocol = "6" source = "0.0.0.0/0" tcp_options { min = 6443 max = 6443 } } # 允许Flannel VXLAN (Overlay网络) ingress_security_rules { protocol = "17" # UDP source = "10.0.0.0/16" udp_options { min = 8472 max = 8472 } } # 允许所有出站 egress_security_rules { protocol = "all" destination = "0.0.0.0/0" } } # 创建免费实例：两个Server节点 resource "oci_core_instance" "k3s_server" { count = 2 compartment_id = var.compartment_id availability_domain = data.oci_identity_availability_domains.ads.availability_domains[0].name shape = "VM.Standard.E2.1.Micro" # 免费规格 create_vnic_details { subnet_id = oci_core_subnet.public_subnet.id assign_public_ip = true } source_details { source_type = "image" source_id = data.oci_core_images.linux_images.images[0].id # 选择一个Linux镜像，如Ubuntu } metadata = { ssh_authorized_keys = file(var.ssh_public_key_path) } display_name = "k3s-server-${count.index}" } # 创建一个负载均衡器 resource "oci_load_balancer" "public_lb" { compartment_id = var.compartment_id display_name = "k3s-ingress-lb" shape = "flexible" shape_details { minimum_bandwidth_in_mbps = 10 maximum_bandwidth_in_mbps = 10 # 免费额度内 } subnet_ids = [oci_core_subnet.public_subnet.id] }

执行terraform apply后，基础设施就准备就绪了。你需要将生成的实例公网IP记录到Ansible的inventory文件中。

3.2 K3s集群自动化安装与配置（Ansible）

接下来，使用Ansible在所有节点上安装和配置K3s。我们编写一个playbooksetup-k3s-ha.yml。

1. 准备Ansible Inventory：

   [k3s_servers] server0 ansible_host=<server0_public_ip> server1 ansible_host=<server1_public_ip> [k3s_agents] # 如果有免费Agent节点可以加在这里 # agent0 ansible_host=<agent0_public_ip> [k3s_cluster:children] k3s_servers k3s_agents

2. 编写主Playbook：

   --- - name: 部署高可用K3s集群 hosts: k3s_cluster become: yes vars: k3s_version: v1.28.8+k3s1 # 指定一个稳定版本 k3s_token: "my-super-secret-token" # 用于节点加入的token tasks: - name: 安装基础依赖 apt: name: - curl - gnupg - software-properties-common state: present when: ansible_os_family == 'Debian' - name: 下载并安装K3s block: - name: 在第一个Server节点上安装，并启用etcd和TLS SAN shell: | curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION={{ k3s_version }} \ sh -s - server \ --cluster-init \ --token {{ k3s_token }} \ --tls-san <LOAD_BALANCER_IP> \ --node-taint CriticalAddonsOnly=true:NoExecute \ --disable traefik # 我们将使用Nginx Ingress args: creates: /usr/local/bin/k3s when: inventory_hostname == 'server0' - name: 从第一个Server节点获取join命令 shell: cat /var/lib/rancher/k3s/server/node-token register: k3s_node_token delegate_to: server0 run_once: yes - name: 在第二个Server节点上加入集群 shell: | curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION={{ k3s_version }} \ sh -s - server \ --server https://<server0_private_ip>:6443 \ --token {{ k3s_node_token.stdout }} \ --node-taint CriticalAddonsOnly=true:NoExecute when: inventory_hostname == 'server1' - name: 在Agent节点上加入集群 (如果有) shell: | curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION={{ k3s_version }} \ sh -s - agent \ --server https://<server0_private_ip>:6443 \ --token {{ k3s_node_token.stdout }} when: "'k3s_agents' in group_names" rescue: - name: 安装失败清理 debug: msg: "K3s安装失败，请检查日志。"

   关键参数解释：

   • --cluster-init：在第一个Server节点上初始化一个使用嵌入式etcd的集群。
   • --tls-san <LOAD_BALANCER_IP>：将负载均衡器的IP地址添加到API Server的TLS证书中，这是后续通过LB访问集群的关键。
   • --node-taint：给Server节点打上污点，防止普通Pod调度到控制平面，提升稳定性。
   • --disable traefik：K3s默认安装Traefik作为Ingress Controller，我们选择更通用的Nginx Ingress。

3. 配置kubectl： 在本地机器上，从server0节点获取kubeconfig文件。

   scp ubuntu@<server0_ip>:/etc/rancher/k3s/k3s.yaml ~/.kube/config sed -i 's/127.0.0.1/<LOAD_BALANCER_IP>/g' ~/.kube/config

   现在，运行kubectl get nodes，应该能看到两个Ready的Server节点。

3.3 部署Ingress Controller与示例应用

1. 安装Nginx Ingress Controller： 我们使用Helm来安装，首先添加仓库并安装。

   # 在本地或某个集群节点上操作 kubectl create namespace ingress-nginx helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx helm install ingress-nginx ingress-nginx/ingress-nginx \ --namespace ingress-nginx \ --set controller.service.type=LoadBalancer \ --set controller.service.externalTrafficPolicy=Local

   安装后，查看Service，会分配一个CLUSTER-IP。我们需要将OCI的负载均衡器后端指向这个Service所在的节点端口（NodePort）。

2. 配置OCI负载均衡器后端集： 在OCI控制台，为你之前创建的LB添加后端集（Backend Set）和监听器（Listener）。

   • 后端集：协议选择TCP，健康检查路径为/healthz（Nginx Ingress的默认健康检查端点）。后端（Backend）添加你的两个K3s Server节点的私有IP和端口（NodePort，通过kubectl get svc -n ingress-nginx查看，通常是30000+的随机端口）。
   • 监听器：协议TCP，端口80和443，关联到上面的后端集。

   这样，访问LB的公网IP的80/443端口，流量就会被转发到集群内的Nginx Ingress Controller。

3. 部署一个测试应用：

   # test-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: hello-world spec: replicas: 2 selector: matchLabels: app: hello-world template: metadata: labels: app: hello-world spec: containers: - name: nginx image: nginx:alpine ports: - containerPort: 80 --- apiVersion: v1 kind: Service metadata: name: hello-world-svc spec: selector: app: hello-world ports: - port: 80 targetPort: 80 --- apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: hello-world-ingress spec: ingressClassName: nginx rules: - host: test.your-free-k8s.com # 需要将域名解析到LB的IP，或本地hosts绑定 http: paths: - path: / pathType: Prefix backend: service: name: hello-world-svc port: number: 80

   应用这个配置后，通过配置的域名访问，就能看到Nginx的欢迎页面。至此，一个基于免费云资源的、具备基本高可用能力和外部访问能力的Kubernetes集群就搭建完成了。

4. 运维精要、常见问题与成本控制

4.1 稳定性优化与监控

免费实例资源紧张，稳定性需要额外关注。

1. 资源限制与调度：

   • 务必为所有Pod设置合理的resources.requests和resources.limits，防止单个Pod耗尽节点资源导致系统崩溃。
   • 使用kube-system命名空间下的resourcequota和limitrange来实施命名空间级别的默认限制。

   # limitrange.yaml apiVersion: v1 kind: LimitRange metadata: name: default-limits namespace: default spec: limits: - default: cpu: 100m memory: 128Mi defaultRequest: cpu: 50m memory: 64Mi type: Container

2. 轻量级监控： 部署完整的Prometheus+Grafana栈可能太重。可以考虑：

   • K3s内置指标：K3s默认集成了metrics-server，运行kubectl top nodes/pods可以查看基础资源使用情况。
   • 轻量级替代：使用kube-state-metrics结合一个轻量的时序数据库（如VictoriaMetrics的单节点版）和Grafana。
   • 日志：使用Fluent Bit替代Fluentd，将日志输出到免费或低成本的云日志服务（如OCI Logging），避免在本地存储。

4.2 典型问题排查实录

在免费环境搭建过程中，我踩过不少坑，这里总结几个高频问题：

1. 节点状态为NotReady：

   • 现象：kubectl get nodes显示NotReady。
   • 排查：
     1. SSH到节点，检查systemctl status k3s-agent（或k3s）服务是否运行。
     2. 查看日志：journalctl -u k3s-agent -f。
     3. 常见原因：防火墙未开放Flannel的VXLAN端口（UDP 8472）。确保OCI安全列表和实例内部的防火墙（如ufw）都放行了该端口。
     4. 检查节点间网络是否互通，特别是私有IP之间。

2. Pod一直处于Pending状态：

   • 现象：Pod无法调度。
   • 排查：
     1. kubectl describe pod <pod-name>查看事件。
     2. 常见原因：Insufficient cpu/memory。免费实例资源太小，很容易被系统Pod（如kube-system下的）占满。需要清理不必要的Pod或调整requests。
     3. 检查节点污点（Taint）和Pod容忍（Toleration）。我们的Server节点有污点，普通Pod需要容忍才能调度上去。

3. 通过LB无法访问服务：

   • 现象：LB公网IP可以ping通，但访问HTTP/HTTPS超时。
   • 排查：
     1. 确认LB的后端集健康检查状态是OK。
     2. 登录到后端实例，用curl从节点内部访问Service的ClusterIP和Port，确认应用本身正常。
     3. 检查Nginx Ingress Controller的Pod日志：kubectl logs -n ingress-nginx <ingress-controller-pod>。
     4. 关键检查点：确保Ingress资源中指定的ingressClassName是nginx，并且kubectl get ingressclass中确实存在名为nginx的IngressClass。这是K8s 1.18+版本后的常见配置点。

4.3 成本控制与资源清理

“永久免费”不等于“无限免费”，严格遵守额度是关键。

1. 成本控制清单：

   资源类型	OCI 免费额度	超限风险点	控制措施
   计算实例	2个VM.Standard.E2.1.Micro 或 4个Ampere A1核心	创建了付费规格或超出数量	Terraform中明确定义shape，定期检查实例列表
   块存储	200GB	创建额外卷或扩容超限	仅使用系统盘，如需持久化，使用免费对象存储或精简配置
   负载均衡器	1个，10Mbps带宽	创建多个或带宽升级	Terraform中锁定LB配置
   出站数据	每月10TB	大量镜像拉取、数据下载	使用容器镜像缓存（如registry-mirrors），避免从集群外频繁拉取大镜像

2. 一键清理： 这是Terraform的最大优势。当你完成测试，运行terraform destroy可以自动、干净地释放所有创建的资源，确保不会留下任何“僵尸资源”导致意外计费。务必在非工作时段定期执行销毁和重建，这既是成本控制，也是练习基础设施即代码的好习惯。

3. 资源监控告警： 在OCI控制台，为你的租户（Tenancy）或区间（Compartment）设置预算和用量告警。当任何服务的用量接近免费额度阈值时，你会收到邮件通知，从而及时干预。

5. 场景扩展与进阶玩法

搭建好基础集群只是开始，这个免费环境是绝佳的实验场。

1. GitOps实践：在集群中部署FluxCD或ArgoCD，将你的应用声明（YAML文件）存放在Git仓库（如GitHub）。任何对Git仓库的提交，都会自动同步到集群中。你可以在这个免费集群上完整地体验现代化的GitOps工作流。

2. 服务网格初探：由于资源限制，部署完整的Istio可能困难，但可以尝试更轻量的Linkerd或服务网格接口（SMI）的参考实现，如osm-edge。这能让你理解服务间通信、可观测性和安全策略等概念。

3. Serverless体验：安装Knative或OpenFaaS，在K8s之上体验Serverless函数计算。你可以部署一个简单的HTTP函数，感受事件驱动和自动缩放的魅力。

4. 混合云模拟：如果你有多个云账号（如OCI和GCP Always Free），可以尝试用K3s的k3sup工具或集群连接工具（如Submariner）将不同云上的小型集群连接起来，模拟混合云场景，了解多集群应用分发。

这个项目最吸引我的地方，在于它用极致的成本控制，打开了一扇通往云原生世界的大门。它迫使你去深入理解K8s的每一个组件、每一行配置，因为资源有限，任何浪费和低效都会立刻暴露出来。这种“带着镣铐跳舞”的经历，往往比在资源充沛的生产环境中，能带来更深刻的学习和成长。当你能够在这个免费的微型集群上流畅地部署和管理应用时，面对任何规模的生产环境，你都会更有底气。