StatefulSet

对于一个有 N 个副本的 StatefulSet，每个副本都会被指定一个整数序数，在 [0,N) 之间，且 唯一

• StatefulSet 中的每个 Pod 从 StatefulSet 的名称 和 Pod 的序数 派生其主机名。构造的主机名的模式是 \((statefulset名称)-\)(序数)

  上面的例子将创建三个名为web-0，web-1，web-2的 Pod
  

• StatefulSet 可以使用 Headless Service 来控制其 Pod 的域
  • 此服务管理的域的格式： $(服务名称).$(namespace).svc.cluster.local
    • “cluster.local” 是 集群域
  • 在创建每个Pod时，它将获取一个匹配的 DNS 子域： $(pod 名称).$(管理服务域)
    • 其中管理服务由 StatefulSet 上的 serviceName 字段定义。

以下是 Cluster Domain，服务名称，StatefulSet 名称以及如何影响 StatefulSet 的 Pod 的 DNS 名称的一些示例:

Kubernetes 为每个 VolumeClaimTemplate 创建一个 PersistentVolume

上面的 nginx 的例子中，每个 Pod 将具有一个由 anything 存储类创建的 1 GB 存储的 PersistentVolume

当该 Pod （重新）调度到节点上，volumeMounts 将挂载与 PersistentVolume Claim 相关联的 PersistentVolume

注意：PersistentVolume Claim 相关联的 PersistentVolume 在 产出 Pod 或 StatefulSet 的时候不会被删除。这必须 手动 完成

在 Kubernetes 1.7 和之后版本，StatefulSet 允许放开顺序保证，同时通过 .spec.podManagementPolicy 字段 保证 身份的唯一性

OnDelete 更新策略实现了遗留（1.6和以前）的行为

当 spec.updateStrategy 未指定时，这是默认策略

当StatefulSet 的 .spec.updateStrategy.type 设置为 OnDelete 时，StatefulSet 控制器将 不会自动更新 StatefulSet 中的 Pod

用户必须手动删除 Pod 以使控制器创建新的 Pod，以反映对StatefulSet的 .spec.template 进行的修改

RollingUpdate 更新策略在 StatefulSet 中实现 Pod 的自动滚动更新。 当StatefulSet的 .spec.updateStrategy.type 设置为 RollingUpdate 时，StatefulSet 控制器将在 StatefulSet 中 删除 并 重新创建 每个 Pod

• 将以与 Pod 终止相同的顺序进行（从最大的序数到最小的序数），每次更新一个 Pod
• 在更新其前身之前，它将等待正在更新的 Pod 状态变成正在运行并就绪

以一个简单的nginx服务web.yaml为例：

---
apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: web
spec:
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
      labels:
	app: nginx
    spec:
      containers:
      - name: nginx
	image: gcr.io/google_containers/nginx-slim:0.8
	ports:
	- containerPort: 80
	  name: web
	volumeMounts:
	- name: www
	  mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
      annotations:
	volume.alpha.kubernetes.io/storage-class: anything
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
	requests:
	  storage: 1Gi

$ kubectl create -f web.yaml
service "nginx" created
statefulset "web" created

# 查看创建的headless service和statefulset
$ kubectl get service nginx
NAME      CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
nginx     None         <none>        80/TCP    1m
$ kubectl get statefulset web
NAME      DESIRED   CURRENT   AGE
web       2         2         2m

# 根据volumeClaimTemplates自动创建PVC（在GCE中会自动创建kubernetes.io/gce-pd类型的volume）
$ kubectl get pvc
NAME        STATUS    VOLUME                                     CAPACITY   ACCESSMODES   AGE
www-web-0   Bound     pvc-d064a004-d8d4-11e6-b521-42010a800002   1Gi        RWO           16s
www-web-1   Bound     pvc-d06a3946-d8d4-11e6-b521-42010a800002   1Gi        RWO           16s

# 查看创建的Pod，他们都是有序的
$ kubectl get pods -l app=nginx
NAME      READY     STATUS    RESTARTS   AGE
web-0     1/1       Running   0          5m
web-1     1/1       Running   0          4m

# 使用nslookup查看这些Pod的DNS
$ kubectl run -i --tty --image busybox dns-test --restart=Never --rm /bin/sh
/ # nslookup web-0.nginx
Server:    10.0.0.10
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local

Name:      web-0.nginx
Address 1: 10.244.2.10
/ # nslookup web-1.nginx
Server:    10.0.0.10
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local

Name:      web-1.nginx
Address 1: 10.244.3.12
/ # nslookup web-0.nginx.default.svc.cluster.local
Server:    10.0.0.10
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local

Name:      web-0.nginx.default.svc.cluster.local
Address 1: 10.244.2.10

还可以进行其他的操作：

# 扩容
$ kubectl scale statefulset web --replicas=5

# 缩容
$ kubectl patch statefulset web -p '{"spec":{"replicas":3}}'

# 镜像更新（目前还不支持直接更新image，需要patch来间接实现）
$ kubectl patch statefulset web --type='json' -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/image", "value":"gcr.io/google_containers/nginx-slim:0.7"}]'

# 删除StatefulSet和Headless Service
$ kubectl delete statefulset web
$ kubectl delete service nginx

# StatefulSet删除后PVC还会保留着，数据不再使用的话也需要删除
$ kubectl delete pvc www-web-0 www-web-1

另外一个更能说明StatefulSet强大功能的示例为 zookeeper.yaml

---
apiVersion: v1
kind: Service
metadata:
  name: zk-headless
  labels:
    app: zk-headless
spec:
  ports:
  - port: 2888
    name: server
  - port: 3888
    name: leader-election
  clusterIP: None
  selector:
    app: zk
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: zk-config
data:
  ensemble: "zk-0;zk-1;zk-2"
  jvm.heap: "2G"
  tick: "2000"
  init: "10"
  sync: "5"
  client.cnxns: "60"
  snap.retain: "3"
  purge.interval: "1"
---
apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
  name: zk-budget
spec:
  selector:
    matchLabels:
      app: zk
  minAvailable: 2
---
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: zk
spec:
  serviceName: zk-headless
  replicas: 3
  template:
    metadata:
      labels:
	app: zk
      annotations:
	pod.alpha.kubernetes.io/initialized: "true"
	scheduler.alpha.kubernetes.io/affinity: >
	    {
	      "podAntiAffinity": {
		"requiredDuringSchedulingRequiredDuringExecution": [{
		  "labelSelector": {
		    "matchExpressions": [{
		      "key": "app",
		      "operator": "In",
		      "values": ["zk-headless"]
		    }]
		  },
		  "topologyKey": "kubernetes.io/hostname"
		}]
	      }
	    }
    spec:
      containers:
      - name: k8szk
	imagePullPolicy: Always
	image: gcr.io/google_samples/k8szk:v1
	resources:
	  requests:
	    memory: "4Gi"
	    cpu: "1"
	ports:
	- containerPort: 2181
	  name: client
	- containerPort: 2888
	  name: server
	- containerPort: 3888
	  name: leader-election
	env:
	- name : ZK_ENSEMBLE
	  valueFrom:
	    configMapKeyRef:
	      name: zk-config
	      key: ensemble
	- name : ZK_HEAP_SIZE
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: jvm.heap
	- name : ZK_TICK_TIME
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: tick
	- name : ZK_INIT_LIMIT
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: init
	- name : ZK_SYNC_LIMIT
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: tick
	- name : ZK_MAX_CLIENT_CNXNS
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: client.cnxns
	- name: ZK_SNAP_RETAIN_COUNT
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: snap.retain
	- name: ZK_PURGE_INTERVAL
	  valueFrom:
	    configMapKeyRef:
		name: zk-config
		key: purge.interval
	- name: ZK_CLIENT_PORT
	  value: "2181"
	- name: ZK_SERVER_PORT
	  value: "2888"
	- name: ZK_ELECTION_PORT
	  value: "3888"
	command:
	- sh
	- -c
	- zkGenConfig.sh && zkServer.sh start-foreground
	readinessProbe:
	  exec:
	    command:
	    - "zkOk.sh"
	  initialDelaySeconds: 15
	  timeoutSeconds: 5
	livenessProbe:
	  exec:
	    command:
	    - "zkOk.sh"
	  initialDelaySeconds: 15
	  timeoutSeconds: 5
	volumeMounts:
	- name: datadir
	  mountPath: /var/lib/zookeeper
      securityContext:
	runAsUser: 1000
	fsGroup: 1000
  volumeClaimTemplates:
  - metadata:
      name: datadir
      annotations:
	volume.alpha.kubernetes.io/storage-class: anything
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
	requests:
	  storage: 20Gi

这个例子仅为讲解，实际可用的配置请使用 https://github.com/kubernetes/contrib/tree/master/statefulsets 中的配置