目录
Pod 的生命周期
Pod 生命期
Pod 阶段
容器状态
Waiting(等待)
Running(运行中)
Terminated(已终止)
容器重启策略
Pod 状况
Pod 就绪态
Pod 就绪态的状态
容器探针
何时该使用存活态探针?
何时该使用就绪态探针?
何时该使用启动探针?
Pod 的终止
强制终止 Pod
失效 Pod 的垃圾收集
配置存活、就绪和启动探测器
准备开始
定义存活命令
定义一个存活态 HTTP 请求接口
定义 TCP 的存活探测
使用命名端口
使用启动探测器保护慢启动容器
定义就绪探测器
配置探测器
HTTP 探测
TCP 探测
探测器级别terminationGracePeriodSeconds
总结
Pod 的生命周期
Pod 遵循一个预定义的生命周期,起始于Pending
阶段,如果至少 其中有一个主要容器正常启动,则进入Running
,之后取决于 Pod 中是否有容器以 失败状态结束而进入Succeeded
或者Failed
阶段。
在 Pod 运行期间,kubelet
能够重启容器以处理一些失效场景。 在 Pod 内部,Kubernetes 跟踪不同容器的状态并确定使 Pod 重新变得健康所需要采取的动作。
在 Kubernetes API 中,Pod 包含规约部分和实际状态部分。 Pod 对象的状态包含了一组Pod 状况(Conditions)。 如果应用需要的话,你也可以向其中注入自定义的就绪性信息。
Pod 在其生命周期中只会被调度一次。 一旦 Pod 被调度(分派)到某个节点,Pod 会一直在该节点运行,直到 Pod 停止或者 被终止。
Pod 生命期
和一个个独立的应用容器一样,Pod 也被认为是相对临时性(而不是长期存在)的实体。 Pod 会被创建、赋予一个唯一的 ID(UID), 并被调度到节点,并在终止(根据重启策略)或删除之前一直运行在该节点。
如果一个节点死掉了,调度到该节点 的 Pod 也被计划在给定超时期限结束后删除。
Pod 自身不具有自愈能力。如果 Pod 被调度到某节点而该节点之后失效,Pod 会被删除;类似地,Pod 无法在因节点资源 耗尽或者节点维护而被驱逐期间继续存活。Kubernetes 使用一种高级抽象 来管理这些相对而言可随时丢弃的 Pod 实例,称作控制器。
任何给定的 Pod (由 UID 定义)从不会被“重新调度(rescheduled)”到不同的节点; 相反,这一 Pod 可以被一个新的、几乎完全相同的 Pod 替换掉。 如果需要,新 Pod 的名字可以不变,但是其 UID 会不同。
如果某物声称其生命期与某 Pod 相同,例如存储卷, 这就意味着该对象在此 Pod (UID 亦相同)存在期间也一直存在。 如果 Pod 因为任何原因被删除,甚至某完全相同的替代 Pod 被创建时, 这个相关的对象(例如这里的卷)也会被删除并重建。
Pod 阶段
Pod 的status
字段是一个PodStatus对象,其中包含一个phase
字段。
下面是phase
可能的值:
如果某节点死掉或者与集群中其他节点失联,Kubernetes 会实施一种策略,将失去的节点上运行的所有 Pod 的phase
设置为Failed
。
容器状态
Kubernetes 会跟踪 Pod 中每个容器的状态,就像它跟踪 Pod 总体上的阶段一样。 你可以使用容器生命周期回调来在容器生命周期中的特定时间点触发事件。
一旦调度器将 Pod 分派给某个节点,kubelet
就通过容器运行时开始为 Pod 创建容器。 容器的状态有三种:Waiting
(等待)、Running
(运行中)和Terminated
(已终止)。
要检查 Pod 中容器的状态,你可以使用kubectl describe pod <pod 名称>
。 其输出中包含 Pod 中每个容器的状态。
每种状态都有特定的含义:
Waiting
(等待)
如果容器并不处在Running
或Terminated
状态之一,它就处在Waiting
状态。 处于Waiting
状态的容器仍在运行它完成启动所需要的操作:例如,从某个容器镜像 仓库拉取容器镜像,或者向容器应用Secret数据等等。 当你使用kubectl
来查询包含Waiting
状态的容器的 Pod 时,你也会看到一个 Reason 字段,其中给出了容器处于等待状态的原因。
Running
(运行中)
Running
状态表明容器正在执行状态并且没有问题发生。 如果配置了postStart
回调,那么该回调已经执行且已完成。 如果你使用kubectl
来查询包含Running
状态的容器的 Pod 时,你也会看到 关于容器进入Running
状态的信息。
Terminated
(已终止)
处于Terminated
状态的容器已经开始执行并且或者正常结束或者因为某些原因失败。 如果你使用kubectl
来查询包含Terminated
状态的容器的 Pod 时,你会看到 容器进入此状态的原因、退出代码以及容器执行期间的起止时间。
如果容器配置了preStop
回调,则该回调会在容器进入Terminated
状态之前执行。
容器重启策略
Pod 的spec
中包含一个restartPolicy
字段,其可能取值包括 Always、OnFailure 和 Never。默认值是 Always。
restartPolicy
适用于 Pod 中的所有容器。restartPolicy
仅针对同一节点上kubelet
的容器重启动作。当 Pod 中的容器退出时,kubelet
会按指数回退 方式计算重启的延迟(10s、20s、40s、...),其最长延迟为 5 分钟。 一旦某容器执行了 10 分钟并且没有出现问题,kubelet
对该容器的重启回退计时器执行 重置操作。
Pod 状况
Pod 有一个 PodStatus 对象,其中包含一个PodConditions数组。Pod 可能通过也可能未通过其中的一些状况测试。
PodScheduled
:Pod 已经被调度到某节点;ContainersReady
:Pod 中所有容器都已就绪;Initialized
:所有的Init 容器都已成功启动;Ready
:Pod 可以为请求提供服务,并且应该被添加到对应服务的负载均衡池中。
Pod 就绪态
FEATURE STATE:Kubernetes v1.14 [stable]
你的应用可以向 PodStatus 中注入额外的反馈或者信号:Pod Readiness(Pod 就绪态)。 要使用这一特性,可以设置 Pod 规约中的readinessGates
列表,为 kubelet 提供一组额外的状况供其评估 Pod 就绪态时使用。
就绪态门控基于 Pod 的status.conditions
字段的当前值来做决定。 如果 Kubernetes 无法在status.conditions
字段中找到某状况,则该状况的 状态值默认为 "False
"。
这里是一个例子:
kind: Pod...spec:readinessGates:- conditionType: "/feature-1"status:conditions:- type: Ready# 内置的 Pod 状况status: "False"lastProbeTime: nulllastTransitionTime: -01-01T00:00:00Z- type: "/feature-1" # 额外的 Pod 状况status: "False"lastProbeTime: nulllastTransitionTime: -01-01T00:00:00ZcontainerStatuses:- containerID: docker://abcd...ready: true...
你所添加的 Pod 状况名称必须满足 Kubernetes标签键名格式。
Pod 就绪态的状态
命令kubectl patch
不支持修改对象的状态。 如果需要设置 Pod 的status.conditions
,应用或者Operators需要使用PATCH
操作。 你可以使用Kubernetes 客户端库之一来编写代码,针对 Pod 就绪态设置定制的 Pod 状况。
对于使用定制状况的 Pod 而言,只有当下面的陈述都适用时,该 Pod 才会被评估为就绪:
Pod 中所有容器都已就绪;readinessGates
中的所有状况都为True
值。
当 Pod 的容器都已就绪,但至少一个定制状况没有取值或者取值为False
,kubelet
将 Pod 的状况设置为ContainersReady
。
容器探针
Probe是由kubelet对容器执行的定期诊断。 要执行诊断,kubelet 调用由容器实现的Handler(处理程序)。有三种类型的处理程序:
ExecAction: 在容器内执行指定命令。如果命令退出时返回码为 0 则认为诊断成功。
TCPSocketAction: 对容器的 IP 地址上的指定端口执行 TCP 检查。如果端口打开,则诊断被认为是成功的。
HTTPGetAction: 对容器的 IP 地址上指定端口和路径执行 HTTP Get 请求。如果响应的状态码大于等于 200 且小于 400,则诊断被认为是成功的。
每次探测都将获得以下三种结果之一:
Success
(成功):容器通过了诊断。Failure
(失败):容器未通过诊断。Unknown
(未知):诊断失败,因此不会采取任何行动。
针对运行中的容器,kubelet
可以选择是否执行以下三种探针,以及如何针对探测结果作出反应:
livenessProbe
:指示容器是否正在运行。如果存活态探测失败,则 kubelet 会杀死容器, 并且容器将根据其重启策略决定未来。如果容器不提供存活探针, 则默认状态为Success
。
readinessProbe
:指示容器是否准备好为请求提供服务。如果就绪态探测失败, 端点控制器将从与 Pod 匹配的所有服务的端点列表中删除该 Pod 的 IP 地址。 初始延迟之前的就绪态的状态值默认为Failure
。 如果容器不提供就绪态探针,则默认状态为Success
。
startupProbe
: 指示容器中的应用是否已经启动。如果提供了启动探针,则所有其他探针都会被 禁用,直到此探针成功为止。如果启动探测失败,kubelet
将杀死容器,而容器依其重启策略进行重启。 如果容器没有提供启动探测,则默认状态为Success
。
如欲了解如何设置存活态、就绪态和启动探针的进一步细节,可以参阅配置存活态、就绪态和启动探针。
何时该使用存活态探针?
FEATURE STATE:Kubernetes v1.0 [stable]
如果容器中的进程能够在遇到问题或不健康的情况下自行崩溃,则不一定需要存活态探针;kubelet
将根据 Pod 的restartPolicy
自动执行修复操作。
如果你希望容器在探测失败时被杀死并重新启动,那么请指定一个存活态探针, 并指定restartPolicy
为 "Always
" 或 "OnFailure
"。
何时该使用就绪态探针?
FEATURE STATE:Kubernetes v1.0 [stable]
如果要仅在探测成功时才开始向 Pod 发送请求流量,请指定就绪态探针。 在这种情况下,就绪态探针可能与存活态探针相同,但是规约中的就绪态探针的存在意味着 Pod 将在启动阶段不接收任何数据,并且只有在探针探测成功后才开始接收数据。
如果你的容器需要加载大规模的数据、配置文件或者在启动期间执行迁移操作,可以添加一个 就绪态探针。
如果你希望容器能够自行进入维护状态,也可以指定一个就绪态探针,检查某个特定于 就绪态的因此不同于存活态探测的端点。
说明:请注意,如果你只是想在 Pod 被删除时能够排空请求,则不一定需要使用就绪态探针; 在删除 Pod 时,Pod 会自动将自身置于未就绪状态,无论就绪态探针是否存在。 等待 Pod 中的容器停止期间,Pod 会一直处于未就绪状态。
何时该使用启动探针?
FEATURE STATE:Kubernetes v1.18 [beta]
对于所包含的容器需要较长时间才能启动就绪的 Pod 而言,启动探针是有用的。 你不再需要配置一个较长的存活态探测时间间隔,只需要设置另一个独立的配置选定, 对启动期间的容器执行探测,从而允许使用远远超出存活态时间间隔所允许的时长。
如果你的容器启动时间通常超出initialDelaySeconds + failureThreshold × periodSeconds
总值,你应该设置一个启动探测,对存活态探针所使用的同一端点执行检查。periodSeconds
的默认值是 10 秒。你应该将其failureThreshold
设置得足够高, 以便容器有充足的时间完成启动,并且避免更改存活态探针所使用的默认值。 这一设置有助于减少死锁状况的发生。
Pod 的终止
由于 Pod 所代表的是在集群中节点上运行的进程,当不再需要这些进程时允许其体面地 终止是很重要的。一般不应武断地使用KILL
信号终止它们,导致这些进程没有机会 完成清理操作。
设计的目标是令你能够请求删除进程,并且知道进程何时被终止,同时也能够确保删除 操作终将完成。当你请求删除某个 Pod 时,集群会记录并跟踪 Pod 的体面终止周期, 而不是直接强制地杀死 Pod。在存在强制关闭设施的前提下,kubelet会尝试体面地终止 Pod。
通常情况下,容器运行时会发送一个 TERM 信号到每个容器中的主进程。 很多容器运行时都能够注意到容器镜像中STOPSIGNAL
的值,并发送该信号而不是 TERM。 一旦超出了体面终止限期,容器运行时会向所有剩余进程发送 KILL 信号,之后 Pod 就会被从API 服务器上移除。如果kubelet
或者容器运行时的管理服务在等待进程终止期间被重启, 集群会从头开始重试,赋予 Pod 完整的体面终止限期。
下面是一个例子:
你使用kubectl
工具手动删除某个特定的 Pod,而该 Pod 的体面终止限期是默认值(30 秒)。
API 服务器中的 Pod 对象被更新,记录涵盖体面终止限期在内 Pod 的最终死期,超出所计算时间点则认为 Pod 已死(dead)。 如果你使用kubectl describe
来查验你正在删除的 Pod,该 Pod 会显示为 "Terminating" (正在终止)。 在 Pod 运行所在的节点上:kubelet
一旦看到 Pod 被标记为正在终止(已经设置了体面终止限期),kubelet
即开始本地的 Pod 关闭过程。
如果 Pod 中的容器之一定义了preStop
回调,kubelet
开始在容器内运行该回调逻辑。如果超出体面终止限期时,preStop
回调逻辑 仍在运行,kubelet
会请求给予该 Pod 的宽限期一次性增加 2 秒钟。
说明:如果
preStop
回调所需要的时间长于默认的体面终止限期,你必须修改terminationGracePeriodSeconds
属性值来使其正常工作。
kubelet
接下来触发容器运行时发送 TERM 信号给每个容器中的进程 1。
与此同时,说明:Pod 中的容器会在不同时刻收到 TERM 信号,接收顺序也是不确定的。 如果关闭的顺序很重要,可以考虑使用
preStop
回调逻辑来协调。
kubelet
启动体面关闭逻辑,控制面会将 Pod 从对应的端点列表(以及端点切片列表, 如果启用了的话)中移除,过滤条件是 Pod 被对应的服务以某选择算符选定。ReplicaSets和其他工作负载资源 不再将关闭进程中的 Pod 视为合法的、能够提供服务的副本。关闭动作很慢的 Pod 也无法继续处理请求数据,因为负载均衡器(例如服务代理)已经在终止宽限期开始的时候 将其从端点列表中移除。超出终止宽限期限时,kubelet
会触发强制关闭过程。容器运行时会向 Pod 中所有容器内 仍在运行的进程发送SIGKILL
信号。kubelet
也会清理隐藏的pause
容器,如果容器运行时使用了这种容器的话。
kubelet
触发强制从 API 服务器上删除 Pod 对象的逻辑,并将体面终止限期设置为 0 (这意味着马上删除)。
API 服务器删除 Pod 的 API 对象,从任何客户端都无法再看到该对象。
强制终止 Pod
注意:对于某些工作负载及其 Pod 而言,强制删除很可能会带来某种破坏。
默认情况下,所有的删除操作都会附有 30 秒钟的宽限期限。kubectl delete
命令支持--grace-period=<seconds>
选项,允许你重载默认值, 设定自己希望的期限值。
将宽限期限强制设置为0
意味着立即从 API 服务器删除 Pod。 如果 Pod 仍然运行于某节点上,强制删除操作会触发kubelet
立即执行清理操作。
说明:你必须在设置
--grace-period=0
的同时额外设置--force
参数才能发起强制删除请求。
执行强制删除操作时,API 服务器不再等待来自kubelet
的、关于 Pod 已经在原来运行的节点上终止执行的确认消息。 API 服务器直接删除 Pod 对象,这样新的与之同名的 Pod 即可以被创建。 在节点侧,被设置为立即终止的 Pod 仍然会在被强行杀死之前获得一点点的宽限时间。
如果你需要强制删除 StatefulSet 的 Pod,请参阅从 StatefulSet 中删除 Pod的任务文档。
失效 Pod 的垃圾收集
对于已失败的 Pod 而言,对应的 API 对象仍然会保留在集群的 API 服务器上,直到 用户或者控制器进程显式地 将其删除。
控制面组件会在 Pod 个数超出所配置的阈值 (根据kube-controller-manager
的terminated-pod-gc-threshold
设置)时 删除已终止的 Pod(阶段值为Succeeded
或Failed
)。 这一行为会避免随着时间演进不断创建和终止 Pod 而引起的资源泄露问题
配置存活、就绪和启动探测器
kubelet使用存活探测器来知道什么时候要重启容器。 例如,存活探测器可以捕捉到死锁(应用程序在运行,但是无法继续执行后面的步骤)。 这样的情况下重启容器有助于让应用程序在有问题的情况下更可用。
kubelet 使用就绪探测器可以知道容器什么时候准备好了并可以开始接受请求流量, 当一个 Pod 内的所有容器都准备好了,才能把这个 Pod 看作就绪了。 这种信号的一个用途就是控制哪个 Pod 作为 Service 的后端。 在 Pod 还没有准备好的时候,会从 Service 的负载均衡器中被剔除的。
kubelet 使用启动探测器可以知道应用程序容器什么时候启动了。 如果配置了这类探测器,就可以控制容器在启动成功后再进行存活性和就绪检查, 确保这些存活、就绪探测器不会影响应用程序的启动。 这可以用于对慢启动容器进行存活性检测,避免它们在启动运行之前就被杀掉。
准备开始
你必须拥有一个 Kubernetes 的集群,同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。 如果你还没有集群,你可以通过Minikube构建一 个你自己的集群,或者你可以使用下面任意一个 Kubernetes 工具构建:
Katacoda玩转 Kubernetes
定义存活命令
许多长时间运行的应用程序最终会过渡到断开的状态,除非重新启动,否则无法恢复。 Kubernetes 提供了存活探测器来发现并补救这种情况。
apiVersion: v1kind: Podmetadata:labels:test: livenessname: liveness-execspec:containers:- name: livenessimage: k8s.gcr.io/busyboxargs:- /bin/sh- -c- touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600livenessProbe:exec:command:- cat- /tmp/healthyinitialDelaySeconds: 5periodSeconds: 5
在这个配置文件中,可以看到 Pod 中只有一个容器。periodSeconds
字段指定了 kubelet 应该每 5 秒执行一次存活探测。initialDelaySeconds
字段告诉 kubelet 在执行第一次探测前应该等待 5 秒。 kubelet 在容器内执行命令cat /tmp/healthy
来进行探测。 如果命令执行成功并且返回值为 0,kubelet 就会认为这个容器是健康存活的。 如果这个命令返回非 0 值,kubelet 会杀死这个容器并重新启动它。
当容器启动时,执行如下的命令:
/bin/sh -c "touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600"
这个容器生命的前 30 秒,/tmp/healthy
文件是存在的。 所以在这最开始的 30 秒内,执行命令cat /tmp/healthy
会返回成功代码。 30 秒之后,执行命令cat /tmp/healthy
就会返回失败代码。
创建 Pod:
kubectl apply -f https://k8s.io/examples/pods/probe/exec-liveness.yaml
在 30 秒内,查看 Pod 的事件:
kubectl describe pod liveness-exec
输出结果表明还没有存活探测器失败:
FirstSeen LastSeen Count From SubobjectPath Type ReasonMessage--------- -------- ----- ---- ------------- -------- -------------24s 24s1 {default-scheduler }NormalScheduled Successfully assigned liveness-exec to worker023s 23s1 {kubelet worker0} spec.containers{liveness} NormalPullingpulling image "k8s.gcr.io/busybox"23s 23s1 {kubelet worker0} spec.containers{liveness} NormalPulledSuccessfully pulled image "k8s.gcr.io/busybox"23s 23s1 {kubelet worker0} spec.containers{liveness} NormalCreatedCreated container with docker id 86849c15382e; Security:[seccomp=unconfined]23s 23s1 {kubelet worker0} spec.containers{liveness} NormalStartedStarted container with docker id 86849c15382e
35 秒之后,再来看 Pod 的事件:
kubectl describe pod liveness-exec
在输出结果的最下面,有信息显示存活探测器失败了,这个容器被杀死并且被重建了。
FirstSeen LastSeen Count From SubobjectPath Type ReasonMessage--------- -------- ----- ---- ------------- -------- -------------37s 37s1 {default-scheduler }NormalScheduled Successfully assigned liveness-exec to worker036s 36s1 {kubelet worker0} spec.containers{liveness} NormalPullingpulling image "k8s.gcr.io/busybox"36s 36s1 {kubelet worker0} spec.containers{liveness} NormalPulledSuccessfully pulled image "k8s.gcr.io/busybox"36s 36s1 {kubelet worker0} spec.containers{liveness} NormalCreatedCreated container with docker id 86849c15382e; Security:[seccomp=unconfined]36s 36s1 {kubelet worker0} spec.containers{liveness} NormalStartedStarted container with docker id 86849c15382e2s 2s1 {kubelet worker0} spec.containers{liveness} WarningUnhealthy Liveness probe failed: cat: can't open '/tmp/healthy': No such file or directory
再等另外 30 秒,检查看这个容器被重启了:
kubectl get pod liveness-exec
输出结果显示RESTARTS
的值增加了 1。
NAME READYSTATUS RESTARTS AGEliveness-exec 1/1 Running 11m
定义一个存活态 HTTP 请求接口
另外一种类型的存活探测方式是使用 HTTP GET 请求。 下面是一个 Pod 的配置文件,其中运行一个基于k8s.gcr.io/liveness
镜像的容器。
pods/probe/http-liveness.yaml
apiVersion: v1kind: Podmetadata:labels:test: livenessname: liveness-httpspec:containers:- name: livenessimage: k8s.gcr.io/livenessargs:- /serverlivenessProbe:httpGet:path: /healthzport: 8080httpHeaders:- name: Custom-Headervalue: AwesomeinitialDelaySeconds: 3periodSeconds: 3
在这个配置文件中,可以看到 Pod 也只有一个容器。periodSeconds
字段指定了 kubelet 每隔 3 秒执行一次存活探测。initialDelaySeconds
字段告诉 kubelet 在执行第一次探测前应该等待 3 秒。 kubelet 会向容器内运行的服务(服务会监听 8080 端口)发送一个 HTTP GET 请求来执行探测。 如果服务器上/healthz
路径下的处理程序返回成功代码,则 kubelet 认为容器是健康存活的。 如果处理程序返回失败代码,则 kubelet 会杀死这个容器并且重新启动它。
任何大于或等于 200 并且小于 400 的返回代码标示成功,其它返回代码都标示失败。
可以在这里看服务的源码server.go。
容器存活的最开始 10 秒中,/healthz
处理程序返回一个 200 的状态码。之后处理程序返回 500 的状态码。
http.HandleFunc("/healthz", func(w http.ResponseWriter, r *http.Request) {duration := time.Now().Sub(started)if duration.Seconds() > 10 {w.WriteHeader(500)w.Write([]byte(fmt.Sprintf("error: %v", duration.Seconds())))} else {w.WriteHeader(200)w.Write([]byte("ok"))}})
kubelet 在容器启动之后 3 秒开始执行健康检测。所以前几次健康检查都是成功的。 但是 10 秒之后,健康检查会失败,并且 kubelet 会杀死容器再重新启动容器。
创建一个 Pod 来测试 HTTP 的存活检测:
kubectl apply -f https://k8s.io/examples/pods/probe/http-liveness.yaml
10 秒之后,通过看 Pod 事件来检测存活探测器已经失败了并且容器被重新启动了。
kubectl describe pod liveness-http
在 1.13(包括 1.13版本)之前的版本中,如果在 Pod 运行的节点上设置了环境变量http_proxy
(或者HTTP_PROXY
),HTTP 的存活探测会使用这个代理。 在 1.13 之后的版本中,设置本地的 HTTP 代理环境变量不会影响 HTTP 的存活探测。
定义 TCP 的存活探测
第三种类型的存活探测是使用 TCP 套接字。 通过配置,kubelet 会尝试在指定端口和容器建立套接字链接。 如果能建立连接,这个容器就被看作是健康的,如果不能则这个容器就被看作是有问题的。
apiVersion: v1kind: Podmetadata:name: goproxylabels:app: goproxyspec:containers:- name: goproxyimage: k8s.gcr.io/goproxy:0.1ports:- containerPort: 8080readinessProbe:tcpSocket:port: 8080initialDelaySeconds: 5periodSeconds: 10livenessProbe:tcpSocket:port: 8080initialDelaySeconds: 15periodSeconds: 20
如你所见,TCP 检测的配置和 HTTP 检测非常相似。 下面这个例子同时使用就绪和存活探测器。kubelet 会在容器启动 5 秒后发送第一个就绪探测。 这会尝试连接goproxy
容器的 8080 端口。 如果探测成功,这个 Pod 会被标记为就绪状态,kubelet 将继续每隔 10 秒运行一次检测。
除了就绪探测,这个配置包括了一个存活探测。 kubelet 会在容器启动 15 秒后进行第一次存活探测。 与就绪探测类似,会尝试连接goproxy
容器的 8080 端口。 如果存活探测失败,这个容器会被重新启动。
kubectl apply -f https://k8s.io/examples/pods/probe/tcp-liveness-readiness.yaml
15 秒之后,通过看 Pod 事件来检测存活探测器:
kubectl describe pod goproxy
使用命名端口
对于 HTTP 或者 TCP 存活检测可以使用命名的ContainerPort。
ports:- name: liveness-portcontainerPort: 8080hostPort: 8080livenessProbe:httpGet:path: /healthzport: liveness-port
使用启动探测器保护慢启动容器
有时候,会有一些现有的应用程序在启动时需要较多的初始化时间。 要不影响对引起探测死锁的快速响应,这种情况下,设置存活探测参数是要技巧的。 技巧就是使用一个命令来设置启动探测,针对HTTP 或者 TCP 检测,可以通过设置failureThreshold * periodSeconds
参数来保证有足够长的时间应对糟糕情况下的启动时间。
所以,前面的例子就变成了:
ports:- name: liveness-portcontainerPort: 8080hostPort: 8080livenessProbe:httpGet:path: /healthzport: liveness-portfailureThreshold: 1periodSeconds: 10startupProbe:httpGet:path: /healthzport: liveness-portfailureThreshold: 30periodSeconds: 10
幸亏有启动探测,应用程序将会有最多 5 分钟(30 * 10 = 300s) 的时间来完成它的启动。 一旦启动探测成功一次,存活探测任务就会接管对容器的探测,对容器死锁可以快速响应。 如果启动探测一直没有成功,容器会在 300 秒后被杀死,并且根据restartPolicy
来设置 Pod 状态。
定义就绪探测器
有时候,应用程序会暂时性的不能提供通信服务。 例如,应用程序在启动时可能需要加载很大的数据或配置文件,或是启动后要依赖等待外部服务。 在这种情况下,既不想杀死应用程序,也不想给它发送请求。 Kubernetes 提供了就绪探测器来发现并缓解这些情况。 容器所在 Pod 上报还未就绪的信息,并且不接受通过 Kubernetes Service 的流量。
说明:就绪探测器在容器的整个生命周期中保持运行状态。
注意:活跃性探测器不等待就绪性探测器成功。 如果要在执行活跃性探测器之前等待,应该使用 initialDelaySeconds 或 startupProbe。
就绪探测器的配置和存活探测器的配置相似。 唯一区别就是要使用readinessProbe
字段,而不是livenessProbe
字段。
readinessProbe:exec:command:- cat- /tmp/healthyinitialDelaySeconds: 5periodSeconds: 5
HTTP 和 TCP 的就绪探测器配置也和存活探测器的配置一样的。
就绪和存活探测可以在同一个容器上并行使用。 两者都用可以确保流量不会发给还没有准备好的容器,并且容器会在它们失败的时候被重新启动。
配置探测器
Probe有很多配置字段,可以使用这些字段精确的控制存活和就绪检测的行为:
initialDelaySeconds
:容器启动后要等待多少秒后存活和就绪探测器才被初始化,默认是 0 秒,最小值是 0。periodSeconds
:执行探测的时间间隔(单位是秒)。默认是 10 秒。最小值是 1。timeoutSeconds
:探测的超时后等待多少秒。默认值是 1 秒。最小值是 1。successThreshold
:探测器在失败后,被视为成功的最小连续成功数。默认值是 1。 存活和启动探测的这个值必须是 1。最小值是 1。failureThreshold
:当探测失败时,Kubernetes 的重试次数。 存活探测情况下的放弃就意味着重新启动容器。 就绪探测情况下的放弃 Pod 会被打上未就绪的标签。默认值是 3。最小值是 1。
说明:在 Kubernetes 1.20 版本之前,exec 探针会忽略
timeoutSeconds
:探针会无限期地 持续运行,甚至可能超过所配置的限期,直到返回结果为止。这一缺陷在 Kubernetes v1.20 版本中得到修复。你可能一直依赖于之前错误的探测行为, 甚至你都没有觉察到这一问题的存在,因为默认的超时值是 1 秒钟。 作为集群管理员,你可以在所有的 kubelet 上禁用
ExecProbeTimeout
特性门控(将其设置为false
),从而恢复之前版本中的运行行为,之后当集群中所有的 exec 探针都设置了timeoutSeconds
参数后,移除此标志重载。 如果你有 Pods 受到此默认 1 秒钟超时值的影响,你应该更新 Pod 对应的探针的 超时值,这样才能为最终去除该特性门控做好准备。当此缺陷被修复之后,在使用
dockershim
容器运行时的 Kubernetes1.20+
版本中,对于 exec 探针而言,容器中的进程可能会因为超时值的设置保持持续运行, 即使探针返回了失败状态。
注意:如果就绪态探针的实现不正确,可能会导致容器中进程的数量不断上升。 如果不对其采取措施,很可能导致资源枯竭的状况。
HTTP 探测
HTTP Probes可以在httpGet
上配置额外的字段:
host
:连接使用的主机名,默认是 Pod 的 IP。也可以在 HTTP 头中设置 “Host” 来代替。scheme
:用于设置连接主机的方式(HTTP 还是 HTTPS)。默认是 HTTP。path
:访问 HTTP 服务的路径。默认值为 "/"。httpHeaders
:请求中自定义的 HTTP 头。HTTP 头字段允许重复。port
:访问容器的端口号或者端口名。如果数字必须在 1 ~ 65535 之间。
对于 HTTP 探测,kubelet 发送一个 HTTP 请求到指定的路径和端口来执行检测。 除非httpGet
中的host
字段设置了,否则 kubelet 默认是给 Pod 的 IP 地址发送探测。 如果scheme
字段设置为了HTTPS
,kubelet 会跳过证书验证发送 HTTPS 请求。 大多数情况下,不需要设置host
字段。 这里有个需要设置host
字段的场景,假设容器监听 127.0.0.1,并且 Pod 的hostNetwork
字段设置为了true
。那么httpGet
中的host
字段应该设置为 127.0.0.1。 可能更常见的情况是如果 Pod 依赖虚拟主机,你不应该设置host
字段,而是应该在httpHeaders
中设置Host
。
针对 HTTP 探针,kubelet 除了必需的Host
头部之外还发送两个请求头部字段:User-Agent
和Accept
。这些头部的默认值分别是kube-probe/{{ skew latestVersion >}}
(其中1.21
是 kubelet 的版本号)和*/*
。
你可以通过为探测设置.httpHeaders
来重载默认的头部字段值;例如:
livenessProbe:httpGet:httpHeaders:- name: Acceptvalue: application/jsonstartupProbe:httpGet:httpHeaders:- name: User-Agentvalue: MyUserAgent
你也可以通过将这些头部字段定义为空值,从请求中去掉这些头部字段。
livenessProbe:httpGet:httpHeaders:- name: Acceptvalue: ""startupProbe:httpGet:httpHeaders:- name: User-Agentvalue: ""
TCP 探测
对于一次 TCP 探测,kubelet 在节点上(不是在 Pod 里面)建立探测连接, 这意味着你不能在host
参数上配置服务名称,因为 kubelet 不能解析服务名称。
探测器级别terminationGracePeriodSeconds
FEATURE STATE:Kubernetes v1.21 [alpha]
在 1.21 版之前,pod 级别的terminationGracePeriodSeconds
被用来终止 未能成功处理活跃性探测或启动探测的容器。 这种耦合是意料之外的,可能会导致在设置了 pod 级别的terminationGracePeriodSeconds
后, 需要很长的时间来重新启动失败的容器。
在1.21中,启用特性标志ProbeTerminationGracePeriod
后, 用户可以指定一个探测器级别的terminationGracePeriodSeconds
作为探测器规格的一部分。 当该特性标志被启用时,若同时设置了 Pod 级别和探测器级别的terminationGracePeriodSeconds
, kubelet 将使用探测器级的值。
例如,
spec:terminationGracePeriodSeconds: 3600 # pod-levelcontainers:- name: testimage: ...ports:- name: liveness-portcontainerPort: 8080hostPort: 8080livenessProbe:httpGet:path: /healthzport: liveness-portfailureThreshold: 1periodSeconds: 60# Override pod-level terminationGracePeriodSeconds #terminationGracePeriodSeconds: 60
探测器级别的terminationGracePeriodSeconds
不能用于设置就绪态探针。 它将被 API 服务器拒绝。
总结
StartupProbe:k8s 1.16版本后新加的探测方式,用于判断容器内应用程序是否已经启动。如果配置了startupProbe,就会先禁止其他的探测,直到它成功为止,成功后将不再进行探测。比较适用于容器启动时间长的场景。
LivenessProbe:用于探测容器是否运行,如果探测失败,kubelet会根据配置的重启策略进行相应的处理。若没有配置该探针,默认就是success。
ReadinessProbe:一般用于探测容器内的程序是否健康,它的返回值如果为success,那么久代表这个容器已经完成启动,并且程序已经是可以接受流量的状态。
#startupProbe: # 可选,检测容器内进程是否完成启动#httpGet:# httpGet检测方式,生产环境建议使用httpGet实现接口级健康检查,健康检查由应用程序提供。#path: /api/successStart # 检查路径#port: 80readinessProbe: # 可选,健康检查httpGet:# httpGet检测方式,生产环境建议使用httpGet实现接口级健康检查,健康检查由应用程序提供。path: / # 检查路径port: 80# 监控端口livenessProbe:# 可选,健康检查#exec:# 执行容器命令检测方式#command:#- cat#- /health#httpGet:# httpGet检测方式#path: /_health # 检查路径#port: 8080#httpHeaders: # 检查的请求头#- name: end-user#value: Jason
二、Pod探针的检测方式
注意:三种检查方式同时只能使用一种。
ExecAction:在容器内执行一个命令,如果返回值为0,则认为容器健康。
TCPSocketAction:通过TCP连接检查容器内的端口是否通的,如果是通的就认为容器健康。
HTTPGetAction:通过应用程序暴露的API地址检查程序是否正常,如果状态码为200~400之间,则认为容器健康。(常用)
三、探针检查参数配置
# initialDelaySeconds: 60 # 初始化时间# timeoutSeconds: 2 # 超时时间# periodSeconds: 5 # 检测间隔# successThreshold: 1 # 检查成功为1次表示就绪# failureThreshold: 2 # 检测失败2次表示未就绪
如果觉得《Pod 的生命周期及探针》对你有帮助,请点赞、收藏,并留下你的观点哦!