k3s部署指南

大家好，欢迎来到IT知识分享网。

轻量级的kubernetes

K3s 是轻量级的 Kubernetes。K3s 易于安装，仅需要 Kubernetes 内存的一半，所有组件都在一个小于 100 MB 的二进制文件中。

它适用于：

• Edge 边缘
• IoT 物联网
• CI 那里
• Development 发展
• ARM 手臂
• 嵌入 K8s

其实k3s特别适用于小规模部署的toB产品，假如你有一套产品基于微服务部署,节点数量能够控制在一定规模内，然后又是基于微服务架构进行开发，需要依赖于k8s的特性进行安装、部署、资源分配和隔离；此时建议使用k3s来作为部署底座。

k3s是一个完全兼容kubernetes的发型版本。

• 打包为单个二进制文件。
• 使用基于 sqlite3 作为默认存储机制的轻量级存储后端。同时支持使用 etcd3、MySQL 和 Postgres。
• 封装在简单的启动程序中，可以处理很多复杂的 TLS 和选项。
• 默认情况下是安全的，对轻量级环境有合理的默认值。
• 添加了简单但强大的 batteries-included 功能，例如：

• 本地存储提供程序
• service load balancer 服务负载均衡器
• Helm controller Helm 控制器
• Traefik ingress controller
  Traefik 入口控制器

• 所有 Kubernetes control plane 组件的操作都封装在单个二进制文件和进程中。因此，K3s 支持自动化和管理复杂的集群操作（例如证书分发等）。
• 最大程度减轻了外部依赖性，K3s 仅需要现代内核和 cgroup 挂载。K3s 打包了所需的依赖，包括：

• containerd
• Flannel (CNI) 法兰绒 （CNI）
• CoreDNS
• Traefik (Ingress) Traefik （入口）
• Klipper-lb (Service LB) Klipper-lb（服务 LB）
• 嵌入式网络策略控制器
• 嵌入式 local-path-provisioner
• 主机实用程序（iptables、socat 等）

以上详细信息来自于官方文档。

命名规范

v1.28.10+k3s1： V1.28.10为k8s版本，k3s1为补丁版本

架构

• server节点指的是运行k3s server进程的主机，control plane和数据存储组件由k3s管理
• agent节点指的是运行k3s agent进程的主机，不具有任何数据存储或control plane组件。
• server 和 agent 都封装了kublet、container runtime、和CNI.

使用嵌入式数据库的单服务器架构

下图显示了具有嵌入式SQLite数据库的单节点k3s server集群示例。

在此示例中，每个Agent节点都注册到同一个Server节点。K3s用户可以通过调用Server节点上的k3s API操作kubernetes资源。

k3s高可用

嵌入式数据库（etcd）

• 三个或多个Server节点为kubernetes API提供服务并运行其他control plane服务
• 在Server节点上启用嵌入式etcd数据存储

依赖外部数据库

• 两个或多个Server节点为kubernetes API提供服务并运行其他control plane服务
• 依赖外部数据库（MySQL postgresql、或etcd集群）

Agent节点的固定注册地址

在HA服务配置中，每个节点都需要使用固定的注册地址向kubernetes API注册。

此时的实现方式有很多种，推荐的方式有如下几种

kube-vip

一般情况下我们会通过haproxy来提供apiserver的VIP地址，kube-vip是云原生的候选组件，支持k8s control plane VIP的实现。

Kube-Vip 最初是为 Kubernetes 控制平面提供 HA 解决方案而创建的，随着时间的推移，它已经发展为将相同的功能合并到 Kubernetes 的 LoadBalancer 类型的 Service 中了。 简单来讲，就是实现了两大功能 - Service LB - k8s control plane VIP VIP 地址可以是 IPv4 或 IPv6 带有 ARP（第 2 层）或 BGP（第 3 层）的控制平面 使用领导选举或 raft 控制平面 带有 kubeadm（静态 Pod）的控制平面 HA 带有 K3s/和其他（DaemonSets）的控制平面 HA 使用 ARP 领导者选举的 Service LoadBalancer（第 2 层） 通过 BGP 使用多个节点的 Service LoadBalancer 每个命名空间或全局的 Service LoadBalancer 地址池 Service LoadBalancer 地址通过 UPNP 暴露给网关 

在k3s集群中，建议使用daemonset的方式部署kube-vip

在k8s集群中，建议使用静态pod的方式部署kube-vip。

haproxy

haproxy还是最早实现高可用的方式，haproxy+keepalived来实现apiserver的高可用，这里就不做过多陈述了。

nginx

这里介绍一种，我之前部署k8s高可用集群的实现方式，通过nginx的stream透明代理功能，在每个agent节点启用一个nginx，监听本机的8443端口，然后反向代理到所有server节点，这种方式适合于公有云环境，且公有云禁止使用VRRP协议，因此无法构建VIP。

基于almalinux 9.5 安装k3s

安装单master+单worker

配置如下：

这里我们使用的是离线部署的方式，安装版本如上表格所示

离线包的下载地址：
https://github.com/k3s-io/k3s/releases

设你已经将同一版本的 K3s 的安装脚本(k3s-install.sh)、K3s 的二进制文件(k3s)、K3s 依赖的镜像(
k3s-airgap-images-amd64.tar)下载到了/root目录下。

我这里使用的是普通用户，almalinux，所以我存放的位置是/home/almalinux目录下。

1. 导入镜像到containerd镜像列表

sudo mkdir -p /var/lib/rancher/k3s/agent/images/ sudo cp /home/almalinux/k3s-airgap-images-amd64.tar.gz /var/lib/rancher/k3s/agent/images/ 

2. 将k3s安装脚本和二进制文件移动到对应的目录下，并给可执行权限

sudo chmod a+x /home/almalinux/k3s /home/almalinux/k3s-install.sh sudo cp /home/almalinux/k3s /usr/bin/

3. 安装k3s

sudo INSTALL_K3S_SKIP_DOWNLOAD=true /home/almalinux/k3s-install.sh

4. 查看节点状态和pod

5. 查看镜像

安装worker节点

1. 将k3s安装脚本和二进制文件移动到对应的目录下，并给可执行权限

sudo chmod a+x /home/almalinux/k3s /home/almalinux/k3s-install.sh sudo cp /home/almalinux/k3s /usr/local/bin/

2. 导入镜像到containerd镜像列表

sudo mkdir -p /var/lib/rancher/k3s/agent/images/ sudo cp /home/almalinux/k3s-airgap-images-amd64.tar.gz /var/lib/rancher/k3s/agent/images/

3. 获取token，安装k3s，加入集群

tocken存放位置：
/var/lib/rancher/k3s/server/token

sudo INSTALL_K3S_SKIP_DOWNLOAD=true K3S_URL=https://192.168.174.61:6443 K3S_TOKEN=Kfa9a439e12303dca4cbadd18cb5df2993e43e4513bd9abf::server:bfdcb4891ba99a0cfd86619d1 /home/almalinux/k3s-install.sh 

4. 查看agent状态