kubernetes集群联邦
<h2 id="概念">概念</h2><p>集群联邦 Federation 的目的是实现单一集群统一管理多个kubernetes集群的机制。这些集群可以是跨地域的，跨云厂商的或者是用户内部自建集群。一旦集群建立联邦后，就可以使用集群 Federation API 来管理多个集群的 kubernetes API 资源。</p>
<h2 id="目标">目标</h2>
<ul>
<li>简化管理多个联邦集群的Kubernetes API 资源</li>
<li>在多个集群之间分散工作负载(容器)，以提升应用(服务)的可靠性</li>
<li>在不同集群中，能更快速更容易地迁移应用(服务)</li>
<li>跨集群的服务发现，服务可以就近访问，以降低延迟</li>
<li>实践多云(Multi-cloud)或混合云(Hybird Cloud)的部署</li>
</ul>
<p>集群联邦最初是 v1 版本，因为方案设计问题，导致可扩展性比较差，已经被废弃，目前社区提出了新的方案 Federation V2</p>
<h2 id="federation-v1">Federation V1</h2>
<p><img src="https://img2020.cnblogs.com/blog/2107100/202007/2107100-20200724114003743-200960765.png"><br>
从上图架构中得知Federation v1 的设计沿用类似Kubernetes 模型，其主要组件有以下:</p>
<ul>
<li>federation-apiserver :提供Federation API资源，只支持部分Kubernetes API resources。</li>
<li>federation-controller-manager :协调不同集群之间的状态，如同步Federated资源与策略，并建立Kubernetes组件至对应集群上。</li>
<li>etcd :储存Federation的状态。</li>
</ul>
<p>该方案设计之初没有考虑到crd的特性，支持的 Federation API 资源类型都是写死的，无法有效的扩展，不能兼容新的api资源，不支持跨集群权限管理，如不支持RBAC。联邦层级的设定与策略依赖API 资源的Annotations 内容，这使得弹性不佳。</p>
<h2 id="federation-v2">Federation V2</h2>
<p>Federation V2 是Kubernetes SIG Multi-Cluster团队新提出的集群联邦架构( Architecture Doc与Brainstorming Doc )，新架构在Federation v1基础之上，简化扩展Federated API过程，并加强跨集群服务发现与编排的功能。</p>
<p>相较于V1，Federation V2移除了 federation-apiserver 组件，通过 crd 机制来完成 federated resource的扩充，kubefed-controller 组件通过监听crd的变化来完成联邦资源的同步和调度等功能。<br>
<img src="https://img2020.cnblogs.com/blog/2107100/202007/2107100-20200724114038207-1522586858.png"></p>
<h3 id="联邦成员注册">联邦成员注册</h3>
<p>集群联邦安装文档 DOC，集群成员注册后，会在管理集群创建一个 KubeFedCluster 资源来存储集群的基本信息，如API Endpoint、CA Bundle等，kubefed controller 通过这些信息来访问和管理联邦集群成员。<br>
<img src="https://img2020.cnblogs.com/blog/2107100/202007/2107100-20200724114047030-363316037.png"></p>
<h3 id="联邦化资源">联邦化资源</h3>
<p>Federation V2 可以联邦化任意资源，包括自定义的crd资源。对集群资源联邦化的实现主要是通过两种CRD来完成，分别是 FederatedTypeConfig 和 Federated<API Type> ，FederatedTypeConfig定义了 Federated<API Type> 和kubernetes api资源的关联关系。而 Federated<API Type> 用来定义怎么去联邦化对应的kubernetes api资源。<br>
<img src="https://img2020.cnblogs.com/blog/2107100/202007/2107100-20200724114102098-1670385474.png"></p>
<p>比如我们想将 configmap 通过联邦机制在多个集群中创建，则需要先在Federation Host集群中创建 FederatedConfigMap CRD资源，然后创建FederatedTypeConfig 资源将 FederatedConfigMap 和 Configmap 建立关联。</p>
<pre><code class="language-yaml">apiVersion: core.kubefed.k8s.io/v1beta1
kind: FederatedTypeConfig
metadata:
name: configmaps
namespace: kube-federation-system
spec:
federatedType:
group: types.kubefed.k8s.io
kind: FederatedConfigMap
pluralName: federatedconfigmaps
scope: Namespaced
version: v1beta1
propagation: Enabled
targetType:
kind: ConfigMap
pluralName: configmaps
scope: Namespaced
version: v1
</code></pre>
<p>如果要新增新的 federate type api，执行<code>kubefedctl enable <kubernetes resource api type></code> ，如下，如果想要联邦化新的资源crd资源 etcdclusters，则可以执行 <code>kubefedctl enable etcdclusters</code> ，执行后会自动生成新的crd联邦资源 federatedetcdclusters，以及类型为 federatedtypeconfigs 的cr资源 etcdclusters.<api_group>。</p>
<pre><code class="language-sh">$ kubefedctl enable etcdclusters
$ kubectl api-resources | grep etcd
etcdclusters etcd etcd.database.coreos.com true EtcdCluster
federatedetcdclusters fetcd types.kubefed.k8s.io true FederatedEtcdCluster
$ kubectl -n kube-federation-system get federatedtypeconfigs | grep etcd
etcdclusters.etcd.database.coreos.com 3m16s
</code></pre>
<h3 id="跨集群调度">跨集群调度</h3>
<p>KubeFed提供了一种自动化机制来将工作负载实例分散到不同的集群中，且能够基于总副本数与集群的定义策略来将Deployment或ReplicaSet资源进行编排。编排策略是通过创建ReplicaSchedulingPreference(RSP)，再由KubeFed RSP Controller监听与获取RSP内容来将工作负载实例建立到指定的集群上。<br>
如下例子，假设有三个集群 cluser1，cluser2，cluser3</p>
<pre><code class="language-yaml">apiVersion: scheduling.kubefed.k8s.io/v1alpha1
kind: ReplicaSchedulingPreference
metadata:
name: test-deployment
namespace: test-namespace
spec:
targetKind: FederatedDeployment
totalReplicas: 15
clusters:
"*":
weight: 2
maxReplicas: 12
cluster3:
minReplicas: 1
maxReplicas: 3
weight: 1
</code></pre>
<p>当rsp创建后，kubefed rsp controller 会监听到变化，并获取rsp内容，根据rsp定义的 name/namespace 找到对应的 federatedDeployment 资源，根据定义的策略计算出每个集群的副本数量，之后修改 federatedDeployment 资源的spec.overrides内，最好 kubefed sync cnotroller 会监听到 federatedDeployment 的变化，并将新的副本同步到联邦集群中。<br>
<img src="https://img2020.cnblogs.com/blog/2107100/202007/2107100-20200724114122751-497140357.png"></p>
<h3 id="跨集群服务发现">跨集群服务发现</h3>
<p>kubefed 提供了一系列api 资源和controller来实现跨集群Service/Ingress的DNS records自动发现和生成，并通过 ExternalDNS 将dns记录同步更新到服务提供商。</p>
<pre><code class="language-yaml">apiVersion: multiclusterdns.kubefed.k8s.io/v1alpha1
kind: Domain
metadata:
name: test
namespace: kube-federation-system
domain: k8s.example.com
---
apiVersion: multiclusterdns.kubefed.k8s.io/v1alpha1
kind: ServiceDNSRecord
metadata:
name: nginx
namespace: development
spec:
domainRef: test
recordTTL: 300
</code></pre>
<p>假设我们已经创建了一个名为nginx 的 FederatedDeployment ，并且创建了对应的 FederatedService 来提供 LoadBalancer。这时当创建以上 Domain与ServiceDNSRecord 资源后，KubeFed Service DNS Controller 会监听到 ServiceDNSRecord的创建，并收集联邦集群成员的 Service 信息，更新到 ServiceDNSRecord 中；同时 DNS Endpoint Controller 会依据 ServiceDNSRecord 的内容生成并更新 DNSEndpoint 资源，最后ExternalDNS组件收集 DNSEndpoint 信息同步到DNS服务提供商。<br>
<img src="https://img2020.cnblogs.com/blog/2107100/202007/2107100-20200724114140016-1463668078.png"></p>
<blockquote>
<p>若是Ingress 的话，会由IngressDNSRecord 资源取代，并由Ingress DNS Controller 收集信息。</p>
</blockquote><br><br>
来源：https://www.cnblogs.com/seamounts/p/13371141.html
頁:
[1]