【Kubernetes学习笔记】-kubeadm 手动搭建kubernetes 集群
<p></p><div class="toc"><div class="toc-container-header">目录</div><ul><li>K8S 组件构成</li><li>环境准备 (以ubuntu系统为例）<ul><li>1. kubernetes集群机器</li><li>2. 安装 docker、 kubeadm、kubelet、kubectl<ul><li>2.1 在每台机器上安装 docker</li><li>2.2 每台机器上安装 kubelet 、kubeadm 、kubectl</li></ul></li></ul></li><li>创建 kubernetes 集群<ul><li>kubeadm</li><li>在 master 节点 init 集群</li><li>在worker 节点执行命令 join 到集群</li><li>安装 Pod Network (在 master 节点 flannel/Calico 网络插件)</li></ul></li><li>部署一个简单示例</li></ul></div><p></p><hr>
<p>kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，通过将集群的各个组件进行容器化安装管理，通过kubeadm的方式安装集群比二进制的方式安装要方便不少。</p>
<p>安装参考- https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/</p>
<p>每一个节点主机上包括master节点都要手动安装并运行docker，同时也都要手动安装并运行kubelet。如果将第一个节点初始化为master节点，在执行初始化这个步骤，其实就是通过kubeadm工具将API Server、etcd、controller-manager、scheduler各组件运行为Pod，也就是跑在docker上。而其他node节点，因已经运行了kubelet、docker组件，剩下的kube-proxy组件也是要运行在Pod上。</p>
<p>kubeadm</p>
<h2 id="k8s-组件构成">K8S 组件构成</h2>
<ul>
<li>
<p>kubectl</p>
</li>
<li>
<p>kubeadm</p>
</li>
<li>
<p>K8s Master</p>
<ul>
<li>kubelet</li>
<li>kube-proxy</li>
<li>kube-apiserver</li>
<li>kube-scheduler</li>
<li>kube-controller-manager</li>
<li>etcd</li>
</ul>
</li>
<li>
<p>K8s Node</p>
<ul>
<li>kubelet</li>
<li>kube-proxy</li>
</ul>
</li>
<li>
<p>calico</p>
</li>
<li>
<p>coredns</p>
</li>
</ul>
<h2 id="环境准备-以ubuntu系统为例">环境准备 (以ubuntu系统为例）</h2>
<h3 id="1-kubernetes集群机器">1. kubernetes集群机器</h3>
<table>
<thead>
<tr>
<th>机器IP</th>
<th>机器hostname</th>
<th>K8s集群角色</th>
<th>机器操作系统</th>
</tr>
</thead>
<tbody>
<tr>
<td>172.20.249.16</td>
<td>172-20-249-16</td>
<td>master</td>
<td>ubuntu16.04</td>
</tr>
<tr>
<td>172.20.249.17</td>
<td>172-20-249-17</td>
<td>node</td>
<td>ubuntu16.04</td>
</tr>
<tr>
<td>172.20.249.18</td>
<td>172-20-249-18</td>
<td>node</td>
<td>ubuntu16.04</td>
</tr>
</tbody>
</table>
<blockquote>
<p>使用如下命令设置hostname: (非必须)</p>
</blockquote>
<pre><code class="language-bash"># 172.20.249.16
hostnamectl --static set-hostname k8s-master
# 172.20.249.17
hostnamectl --static set-hostname k8s-node-01
# 172.20.249.18
hostnamectl --static set-hostname k8s-node-02
</code></pre>
<p>Kubernetes v1.8+ 要求关闭系统 Swap，请在所有节点利用以下指令关闭 （否则kubelet会出错！）</p>
<p><code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code></p>
<h3 id="2-安装-docker-kubeadmkubeletkubectl">2. 安装 docker、 kubeadm、kubelet、kubectl</h3>
<h4 id="21-在每台机器上安装-docker">2.1 在每台机器上安装 docker</h4>
<pre><code class="language-sh"># step 1: 安装必要的一些系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安装GPG证书
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 写入软件源信息
sudo add-apt-repository "deb http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新并安装 Docker-CE (可指定版本)
sudo apt-get -y update
sudo apt-get -y install docker-ce
sudo apt-get -y install docker-ce=17.03.0~ce-0~ubuntu-xenial
</code></pre>
<h4 id="22-每台机器上安装-kubelet-kubeadm-kubectl">2.2 每台机器上安装 kubelet 、kubeadm 、kubectl</h4>
<ul>
<li>kubeadm: the command to bootstrap the cluster.</li>
<li>kubectl: the command line util to talk to your cluster</li>
<li>kubelet: the component that runs on all of the machines in your cluster and does things like starting pods and containers.</li>
</ul>
<pre><code class="language-sh">apt-get update && apt-get install -y apt-transport-https
# 安装 GPG 证书
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
# 写入软件源；注意：我们用系统代号为 bionic，但目前阿里云不支持，所以沿用 16.04 的 xenial
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl
# 指定版本
apt-get install -y kubelet=1.18.8-00 kubeadm=1.18.8-00 kubectl=1.18.8-00
</code></pre>
<p><img src="https://gitee.com/owen2016/pic-hub/raw/master/202012/install-kubectl.png" alt="install-kube" loading="lazy"></p>
<h2 id="创建-kubernetes-集群">创建 kubernetes 集群</h2>
<h3 id="kubeadm">kubeadm</h3>
<p>kubeadm是一个构建k8s集群的工具。它提供的<code>kubeadm init</code>和 <code>kubeadm join</code> 两个命令是快速构建k8s集群的最佳实践。 其次，kubeadm工具只为构建最小可用集群，它只关心集群中最基础的组件，至于其他的插件（比如dashboard、CNI等）则不会涉及</p>
<ol>
<li>
<p>kubeadm init to bootstrap the initial Kubernetes control-plane node.</p>
</li>
<li>
<p>kubeadm join to bootstrap a Kubernetes worker node or an additional control plane node, and join it to the cluster.</p>
</li>
<li>
<p>kubeadm upgrade to upgrade a Kubernetes cluster to a newer version.</p>
</li>
<li>
<p>kubeadm reset to revert any changes made to this host by kubeadm init or kubeadm join.</p>
</li>
</ol>
<p>更多了解 kubeadm - https://www.cnblogs.com/shoufu/p/13047723.html</p>
<h3 id="在-master-节点-init-集群">在 master 节点 init 集群</h3>
<p>kubeadm 初始化整个集群的过程，会生成相关的各种证书、kubeconfig 文件、bootstraptoken 等等</p>
<p><strong>注意：</strong> 如果使用直接使用<code>kubeadm init</code>，会使用默认配置（如下）</p>
<p><code>kubeadm config print init-defaults --kubeconfig ClusterConfiguration > kubeadm.yml</code> 可打印默认配置</p>
<pre><code class="language-yaml">apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 1.2.3.4
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
name: k8s-master
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
type: CoreDNS
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
# 默认情况下kubeadm会到k8s.gcr.io拉取镜像，不过对于一些私有化部署（比如国内存在墙的情况下，上面的地址是访问不到的），就需要自定义镜像地址了 如： imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.18.0
networking:
dnsDomain: cluster.local
podSubnet: 10.244.0.0/16 # 添加该配置
serviceSubnet: 10.96.0.0/12
scheduler: {}
</code></pre>
<p>修改配置文件后， 执行命令 <code>kubeadm init --config kubeadm.yml</code>即可</p>
<p><strong>或者</strong> 直接传递参数执行（如下）</p>
<pre><code class="language-shell">kubeadm init --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16
#选择flannel作为 Pod 的网络插件，所以需要指定 --pod-network-cidr=10.244.0.0/16
#选择flannel作为 Pod 的网络插件，所以需要指定 --pod-network-cidr=192.168.0.0/16
</code></pre>
<p><strong>参数说明：</strong></p>
<pre><code class="language-text">--apiserver-advertise-address：这个参数指定了监听的API地址。若没有设置，则使用默认网络接口。
--apiserver-bind-port：这个参数指定了API服务器暴露出的端口号，默认是6443
--kubernetes-version：指定kubeadm安装的kubernetes版本。这个是很重要的，因为默认情况下kubeadm会安装与它版本相同的kubernetes版本
--image-repository 可以指定国内的镜像仓库。 默认k8s.gcr.io 国内无法访问
-- token-ttl：令牌被删除前的时间，默认是24h。kubeadm初始化完毕后会生成一个令牌，让其他节点能够加入集群，过时之后这个令牌会自动删除。如果设置为0之后令牌就永不过期
</code></pre>
<p>如下所示，<code>kubeadm init</code> 会 pull 必要的镜像，可能时间会比较长 (<code>kubeadm config images pull</code> 可测试是否可以拉取镜像，如果加了 <code>--image-repository registry.aliyuncs.com/google_containers</code>，不会担心在国内拉取镜像问题)</p>
<pre><code class="language-text">user@k8s-master:~$ kubeadm config images list
k8s.gcr.io/kube-apiserver:v1.18.9
k8s.gcr.io/kube-controller-manager:v1.18.9
k8s.gcr.io/kube-scheduler:v1.18.9
k8s.gcr.io/kube-proxy:v1.18.9
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.7
</code></pre>
<p>init 完后，可以看到如下提示：</p>
<p><img src="https://gitee.com/owen2016/pic-hub/raw/master/202012/master-init.png" alt="master-init" loading="lazy"></p>
<p>按照提示在 master 节点执行以下命令: (<strong>否则会出错</strong>)</p>
<pre><code class="language-sh">mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
</code></pre>
<p>此时， master 处于<code>ready</code> 状态</p>
<pre><code class="language-user@k8s-master:~$">NAME STATUS ROLES AGE VERSION
k8s-master Ready master 14m v1.18.6
</code></pre>
<h3 id="在worker-节点执行命令-join-到集群">在worker 节点执行命令 join 到集群</h3>
<p>拷贝在 master 节点 init 后的 join 命令，在其他两个 worker 节点执行:</p>
<pre><code class="language-sh">kubeadm join 172.20.249.16:6443 --token cma8ob.ow9sfv5erqgkkp30 \
--discovery-token-ca-cert-hash sha256:def379576eacaddbb4bbf4ca12fbb8a0b77383e4521cbf238f21c8dd3cb80fab
</code></pre>
<p>可以看到该节点已经加入到集群中去了，然后我们把 master 节点的~/.kube/config文件拷贝到当前节点对应的位置即可使用 kubectl 命令行工具了。</p>
<pre><code class="language-sh">mkdir -p $HOME/.kube
# copy master "/etc/kubernetes/admin.conf"
sudo scp root@172.20.249.16:/etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
</code></pre>
<p>要注意将上面的加入集群的命令保存下面，如果忘记，可以使用以下命令获取</p>
<p>kubeadm token create --print-join-command</p>
<h3 id="安装-pod-network-在-master-节点-flannelcalico-网络插件">安装 Pod Network (在 master 节点 flannel/Calico 网络插件)</h3>
<p>在 master 节点查看集群情况,可以看到节点的 status 还是 NotReady，这是由于还没有网络插件。</p>
<p>以 flannel插件 为例,在 master 节点 执行</p>
<pre><code class="language-shell">#For Kubernetes v1.7+
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -fkube-flannel.yml
</code></pre>
<p>Calico插件- 参考 https://docs.projectcalico.org/getting-started/kubernetes/quickstart</p>
<p>等待所有的 pod 都是 running 状态，可以看到所有 node 的 status 是 running 的状态，这时 kubernetes 集群就搭建好了。</p>
<p><img src="https://gitee.com/owen2016/pic-hub/raw/master/202012/node-ready.png" alt="node-ready" loading="lazy"></p>
<p>至此3个节点的集群搭建完成，后续可以继续添加node节点，或者部署dashboard、helm包管理工具、EFK日志系统、Prometheus Operator监控系统、rook+ceph存储系统等组件</p>
<h2 id="部署一个简单示例">部署一个简单示例</h2>
<p><code>kubectl create -f nginx-deployment.yaml</code></p>
<pre><code class="language-yaml">apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
labels:
app: nginx
spec:
selector:
matchLabels:
app: nginx
replicas: 3
strategy:
type: RollingUpdate
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:latest
ports:
- containerPort: 80
</code></pre>
<p>发布服务,暴露端口</p>
<p><code>kubectl expose deployment nginx-deployment --port=80 --type=LoadBalancer</code></p>
<img src="https://img2022.cnblogs.com/blog/108082/202203/108082-20220311233734569-275123663.png" width="500" height="350"><br><br>
来源：https://www.cnblogs.com/FLY_DREAM/p/14106157.html
頁:
[1]