K8s 入门指南(一):单节点集群环境搭建(ubuntu)
# 前言
本文为 K8s 入门指南(一):单节点集群环境搭建
的姊妹篇,针对 ubuntu(ubuntu 22.04) 系统进行安装配置
# 环境准备
官方文档:安装 kubeadm | Kubernetes (opens new window)
注:如果是使用的云服务器,下面的 swap、selinux 和防火墙都是默认关闭的,无需进行对应操作
# 安装 Docker
官方文档:Install Docker Engine on Ubuntu | Docker Docs (opens new window)
# 禁用 SELinux
将 SELinux 设置为 permissive
模式
# 将 SELinux 设置为 permissive 模式(相当于将其禁用)
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
2
3
# 关闭 Swap
Kubernetes 1.8 开始要求关闭系统的 Swap。如果不关闭,默认配置下 kubelet 将无法启动。可以通过 kubelet 的启动参数--fail-swap-on=false
更改这个限制。我们这里简单起见,直接关闭系统的 Swap
禁用交换内存
暂时禁止:
sudo swapoff -a
永久禁止:
sudo vim /etc/fstab
在此文件中,注释掉该 /swapfile 行
# 关闭防火墙
如果各个主机启用了防火墙,需要开放 Kubernetes 各个组件所需要的端口
sudo systemctl stop ufw
sudo systemctl disable ufw
2
# 其他
设置允许 iptables 检查桥接流量
cat > /etc/modules-load.d/k8s.conf << EOF
br_netfilter
EOF
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system
2
3
4
5
6
7
8
9
10
# 集群搭建
sudo apt-get install -y ca-certificates curl software-properties-common apt-transport-https curl
curl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
sudo tee /etc/apt/sources.list.d/kubernetes.list <<EOF
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
2
3
4
5
6
7
8
9
10
11
sudo apt-mark hold kubelet kubeadm kubectl
# 安装 kubeadm
官方文档:安装 kubeadm | Kubernetes (opens new window)
kubeadm:用来初始化集群的指令。
kubelet:在集群中的每个节点上用来启动 Pod 和容器等。
kubectl:用来与集群通信的命令行工具。
kubeadm 不能帮你安装或者管理 kubelet 或 kubectl,所以你需要确保它们与通过 kubeadm 安装的控制平面的版本相匹配。如果不这样做,则存在发生版本偏差的风险,可能会导致一些预料之外的错误和问题。然而,控制平面与 kubelet 之间可以存在一个次要版本的偏差,但 kubelet 的版本不可以超过 API 服务器的版本。例如,1.7.0 版本的 kubelet 可以完全兼容 1.8.0 版本的 API 服务器,反之则不可以。
更新 apt
包索引并安装使用 Kubernetes apt
仓库所需要的包:
sudo apt-get update
# apt-transport-https 可能是一个虚拟包(dummy package);如果是的话,你可以跳过安装这个包
sudo apt-get install -y apt-transport-https ca-certificates curl gpg
2
3
下载用于 Kubernetes 软件包仓库的公共签名密钥。所有仓库都使用相同的签名密钥,因此你可以忽略 URL 中的版本 (适用于 Kubernetes 1.20.2):
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.20.2/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
添加 Kubernetes apt
仓库
# 此操作会覆盖 /etc/apt/sources.list.d/kubernetes.list 中现存的所有配置。
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.20.2/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
2
更新 apt
包索引,安装 kubelet、kubeadm 和 kubectl,并锁定其版本
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
2
3
注:在 Debian 12 和 Ubuntu 22.04 之前的早期版本中,默认情况下不存在
/etc/apt/keyrings
目录;你可以通过运行sudo mkdir -m 755 /etc/apt/keyrings
来创建它
kubelet 现在每隔几秒就会重启,因为它陷入了一个等待 kubeadm 指令的死循环
查看是否安装成功
kubeadm version
kubectl version --client
kubelet --version
2
3
# 拉取镜像
执行 kubeadm config images pull
拉取镜像,但是很大可能因为网络原因连接失败,可以使用如下阿里云命令(版本 v 1.21)
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.21.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.21.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
docker pull coredns/coredns:1.7.0
2
3
4
5
6
7
在 k8s 安装时会默认在镜像中获取 k8s. gcr. io 前缀的镜像,所以我们需要将上文下载好的镜像更改名称
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.1 k8s.gcr.io/kube-apiserver:v1.21.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.21.1 k8s.gcr.io/kube-proxy:v1.21.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.1 k8s.gcr.io/kube-controller-manager:v1.21.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.21.1 k8s.gcr.io/kube-scheduler:v1.21.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0 k8s.gcr.io/etcd:3.4.13-0
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2 k8s.gcr.io/pause:3.2
docker tag coredns/coredns:1.7.0 k8s.gcr.io/coredns:1.7.0
2
3
4
5
6
7
注:后面
kubeadm init
初始集群的时候可能报错,显示镜像版本不对应,自行更改上面的版本即可,重新docker pull
和docker tag
即可,群体替换版本即可(1.21.1 -> 1.20.15),我这里就是偶尔需要用 1.21.1 版本,偶尔需要用 1.20.15 版本,所以我索性给这两个版本镜像都拉取到本地
# 修改主机映射
vim /etc/hosts
# 初始化服务
在初始化集群之前需要先重启下 kubelet systemctl restart kubelet
kubeadm init --apiserver-advertise-address=172.25.234.148 --pod-network-cidr=10.244.0.0/16 --kubernetes-version=v1.21.1
# 或
kubeadm init
2
3
解释下命令
kubeadm init
: 这是命令的主体部分,它告诉kubeadm
初始化一个新的 Kubernetes 控制平面。--apiserver-advertise-address=192.168.44.15
: 这个选项指定 Kubernetes API Server 监听的网络地址。在这里,它设置为192.168.44.15
。--pod-network-cidr=10.244.0.0/16
: 这个选项指定用于 Pod 网络的 CIDR 地址范围。这是容器之间通信的地址范围。在这里,它设置为10.244.0.0/16
。--kubernetes-version=v1.21.1
: 这个选项指定要安装的 Kubernetes 版本,这里设置为v1.21.1
。
如果出现问题,需要自行查看日志然后搜索解决(因为可能的出现错误太多,这里没法一一列出)
可以尝试重新启动 kubelet systemctl restart kubelet
,然后重置集群kubeadm reset
,然后再次尝试初始化
注意:这里我使用的是
kubeadm init
初始化集群
下面解释成功日志输出,要使非 root 用户可以运行 kubectl,请运行以下命令,它们也是 kubeadm init
输出的一部分
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
2
3
如果是 root 用户,可以运行如下
export KUBECONFIG=/etc/kubernetes/admin.conf
我们可以运行 kubectl apply -f [podnetwork].yaml
部署 Pod 网络
然后如果多集群部署,并且多服务器之间内网是连通的话,可以使用如下命令添加工作节点
kubeadm join 172.25.234.148:6443 --token ls55pz.ed4wq51xex0ho1hh \
--discovery-token-ca-cert-hash sha256:a082bb7e27b8c26625edeb8198e49967bd4dd4493b3b532c750a9f98f912f801
2
然后我们可以安装 Flannel,Flannel 通过给每台宿主机分配一个子网的方式为容器提供虚拟网络,它基于 Linux TUN/TAP,使用 UDP 封装 IP 包来创建 overlay 网络,并借助 etcd 维护网络的分配情况
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
最后验证节点,如果为 Ready 则 master 节点已经注册到了 k 8 s
kubectl get nodes
如果是 NotReady,可以执行以下语句判断服务器状态
kubectl get nodes -o yaml
然后查看 kubelet 日志 journalctl -f -u kubelet.service
部分日志显示错误:networkPlugin cni failed to set up pod
vim /etc/yum.repos.d/kubernetes.repo
gpgcheck=0
repo_gpgcheck=0
# 上面两项修改如下
gpgcheck=1
repo_gpgcheck=1
# 然后执行如下
yum clean all
yum install kubernetes-cni -y
2
3
4
5
6
7
8
9
10
11
最后可以看到节点添加成功
# 总结
至此单节点环境部署已经结束,博主刚刚接触学习 k8s
,希望和大家分享学习中的经验教训,如果文中有错误纰漏还望各位指出
后面专栏大概还会有一到两个章节,以实战 demo 代码学习 Pod,Deployment,Service 等概念
除此之外的话,我自己也尝试过 windows(WSL 2)搭建 minikube k8s
环境,不是很理想,哪怕是对于学习目的也并不推荐。然后其实相较于 CentOS 其实官方更推荐使用 Ubuntu ,官方社区长期维护,也比较稳定
sudo apt update
sudo apt upgrade -y
# 禁用防火墙
sudo systemctl disable ufw
sudo apt install -y policycoreutils
sudo setenforce 0
sudo sed -i 's#=permissive#=disabled#g' /etc/selinux/config
sudo sestatus #确保状态为disabled
# 禁用swap分区
sudo swapoff -a
sudo sed -ri 's/.swap./#&/' /etc/fstab
# 或者编辑下面文件,注释掉swap这一行
sudo vim /etc/fstab
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17