Kubernetes 연산자 문제 해결하기
이 페이지의 내용
- 배포된 리소스의 상태 가져오기
- 로그 검토
- 유효성 검사 Webhook의 메시지 확인
MongoDB
리소스 사양 모두 보기- 배포에 실패한 StatefulSet 복원하기
- ConfigMap을 교체하여 변경 사항 반영
- Kubernetes 구성 요소 제거
- 파드 삭제 후 새 영구 볼륨 클레임 생성
- Ops Manager 기능 제어 비활성화
- Kubernetes Operator 실패 시 리소스 제거
- 실패한 컨테이너 디버그
- TLS 인증서에서 도메인 이름의 정확성 확인
- 로컬 모드에서 실행할 때 MongoDB 버전 확인
kubectl
또는oc
사용 시 업그레이드 실패- Helm Charts를 사용한 업그레이드 실패
- 업그레이드 후 두 개의 연산자 인스턴스
- 손상된 자동화 구성으로 인한 리소스 복구
중요
이 섹션은 단일 Kubernetes 클러스터 배포에만 적용됩니다. 다중 Kubernetes 클러스터 MongoDB 배포의 경우 다중 Kubernetes 클러스터를 사용한 배포 문제 해결 을 참조하세요.
배포된 리소스의 상태 가져오기
Kubernetes Operator와 함께 배포된 리소스의 상태를 찾으려면 다음 명령 중 하나를 호출합니다.
Ops Manager 리소스 배포의 경우:
kubectl get <resource-name> -n <metadata.namespace> -o yaml status.applicationDatabase.phase
필드에는 Application Database 리소스 배포 상태가 표시됩니다.status.backup.phase
는 백업 데몬 리소스 배포 상태를 표시합니다.status.opsManager.phase
필드는 Ops Manager 리소스 배포 상태를 표시합니다.
참고
Cloud Manager 또는 Ops Manager 컨트롤러는 다음 설정에 정의된 데이터베이스 리소스를 감시합니다.
spec.backup.s3Stores
MongoDB 리소스 배포용:
kubectl get mdb <resource-name> -n <metadata.namespace> -o yaml status.phase
필드는 MongoDB 리소스 배포 상태를 표시합니다.
다음 키-값 쌍은 리소스 배포 상태를 설명합니다.
키 | 값 | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
message | 리소스가 Pending 또는 Failed 상태인 이유를 설명하는 메시지입니다. | ||||||||||
phase |
| ||||||||||
lastTransition | ISO 의 타임스탬프 마지막 조정이 발생한UTC의 날짜 및 시간 8601 형식입니다. | ||||||||||
link | MongoDB Ops Manager URL의 배포 . | ||||||||||
backup.statusName | MongoDB 리소스에 대해 Kubernetes에서 spec.backup.mode 를 사용하여 연속 백업을 활성화한 경우 이 필드는 백업 상태(예: backup.statusName:"STARTED" )를 나타냅니다. 표시될 수 있는 값은 STARTED , STOPPED , TERMINATED 등입니다. | ||||||||||
리소스별 필드 | 이러한 필드에 대한 설명은 MongoDB 데이터베이스 리소스 사양을 참조하세요. |
예시
developer
네임스페이스에 있는 my-replica-set
로 명명된 복제본 세트의 상태를 보려면 다음을 실행하세요:
kubectl get mdb my-replica-set -n developer -o yaml
my-replica-set
이 실행 중이면 다음이 표시됩니다.
status: lastTransition: "2019-01-30T10:51:40Z" link: http://ec2-3-84-128-187.compute-1.amazonaws.com:9080/v2/5c503a8a1b90141cbdc60a77 members: 1 phase: Running version: 4.2.2-ent
my-replica-set
가 실행 중이 아닌 경우 다음이 표시됩니다:
status: lastTransition: 2019-02-01T13:00:24Z link: http://ec2-34-204-36-217.compute-1.amazonaws.com:9080/v2/5c51c040d6853d1f50a51678 members: 1 message: 'Failed to create/update replica set in Ops Manager: Status: 400 (Bad Request), Detail: Something went wrong validating your Automation Config. Sorry!' phase: Failed version: 4.2.2-ent
로그 검토
문제를 디버깅하고 클러스터 활동을 모니터링하는 데 도움이 되도록 충분한 로그를 보관하고 검토합니다. 권장 로깅 아키텍처 사용 Pod 유지 Pod가 삭제된 후에도 로그를 기록합니다.
로깅 프로세스
Kubernetes Operator는 데이터베이스 배포 파드의 MongoDB Agent 및 mongod
컴포넌트의 로그를 다음 JSON 형식의 구조화된 로깅 항목으로 변환하는 래퍼를 사용하여 파드 로그에 기록합니다.
{ "logType": "<log-type>", "contents": "<log line from a log file>" }
Kubernetes Operator는 다음과 같은 로그 유형을 지원합니다:
automation-agent-verbose
automation-agent-stderr
mongodb
mongodb-audit
agent-launcher-script
automation-agent
monitoring-agent
backup-agent
Kubernetes Operator는 데이터베이스 컨테이너에서 로그를 읽을 때 다양한 소스의 로그를 포함하는 구조화된 JSON 항목을 반환합니다.
Kubernetes Operator의 로그 검토하기
Kubernetes Operator 로그를 검토하려면 이 명령을 실행합니다.
kubectl logs -f deployment/mongodb-enterprise-operator -n <metadata.namespace>
MongoDB Ops Manager 로그를 확인하여 MongoDB Ops Manager 에 보고된 문제가 있는지 확인할 수도 있습니다.
특정 파드 찾기
사용 가능한 pods를 찾으려면 먼저 이 명령을 실행하세요:
kubectl get pods -n <metadata.namespace>
특정 Pod의 로그 검토
특정 파드로 리뷰 범위를 좁히려면 다음 명령을 실행합니다.
kubectl logs <podName> -n <metadata.namespace>
예시
복제본 세트 에 myrs
레이블이 지정되어 있으면 다음을 실행합니다.
kubectl logs myrs-0 -n <metadata.namespace>
그러면 이 복제본 세트에 대한 자동화 에이전트 로그가 반환됩니다.
특정 로그 검토
특정 로그 유형으로 검토 범위를 좁힐 수 있습니다. 예를 들어, 다음 명령어는 mongodb-audit
로그 유형을 지정하여 지정된 Pod의 Kubernetes 로그에서 감사 로그를 반환합니다.
kubectl logs -c mongodb-enterprise-database replica-set-0 | jq -r 'select(.logType == "mongodb-audit") | .contents'
이 명령은 다음 출력과 유사한 항목을 반환합니다.
{{{ "atype":"startup","ts":{"$date":"2023-08-30T20:43:54.649+00:00"},"uuid":{"$binary":"oDcPEY69R1yiUtpMupaXOQ==","$type":"04"},"local":{"isSystemUser":true},"remote":{"isSystemUser":true},"users":[],"roles":[],"param":{"options":{"auditLog":{"destination":"file","format":"JSON","path":"/var/log/mongodb-mms-automation/mongodb-audit.log"},"config":"/data/automation-mongod.conf","net":{"bindIp":"0.0.0.0","port":27017,"tls":{"mode":"disabled"}},"processManagement":{"fork":true},"replication":{"replSetName":"replica-set"},"storage":{"dbPath":"/data","engine":"wiredTiger"},"systemLog":{"destination":"file","path":"/var/log/mongodb-mms-automation/mongodb.log"}}},"result":0} {"atype":"startup","ts":{"$date":"2023-08-30T20:44:05.466+00:00"},"uuid":{"$binary":"OUbUWC1DQM6k/Ih4hKZq4g==","$type":"04"},"local":{"isSystemUser":true},"remote":{"isSystemUser":true},"users":[],"roles":[],"param":{"options":{"auditLog":{"destination":"file","format":"JSON","path":"/var/log/mongodb-mms-automation/mongodb-audit.log"},"config":"/data/automation-mongod.conf","net":{"bindIp":"0.0.0.0","port":27017,"tls":{"mode":"disabled"}},"processManagement":{"fork":true},"replication":{"replSetName":"replica-set"},"storage":{"dbPath":"/data","engine":"wiredTiger"},"systemLog":{"destination":"file","path":"/var/log/mongodb-mms-automation/mongodb.log"}}},"result":0}}}
감사 로그
Kubernetes Pod의 로그에 감사 로그를 포함하려면 리소스 정의에 다음 additionalMongodConfig.auditLog
구성을 추가합니다. 제공된 파일 이름은 필요에 따라 업데이트할 수 있습니다.
spec: additionalMongodConfig: auditLog: destination: file format: JSON path: /var/log/mongodb-mms-automation/mongodb-audit.log
유효성 검사 Webhook의 메시지 확인
Kubernetes Operator는 유효성 검사 웹후크를 사용하여 사용자가 잘못된 리소스 정의를 적용하는 것을 방지합니다. 웹후크는 유효하지 않은 요청을 거부합니다.
ClusterRole 및 ClusterRoleBinding 웹훅용 은 설치 중에 적용하는 기본 구성 파일에 포함되어 있습니다. 역할 및 바인딩을 만들려면 클러스터 관리자 권한이 있어야 합니다.
잘못된 리소스 정의를 생성하면 웹후크는 오류를 설명하는 다음과 유사한 메시지를 셸에 반환합니다.
error when creating "my-ops-manager.yaml": admission webhook "ompolicy.mongodb.com" denied the request: shardPodSpec field is not configurable for application databases as it is for sharded clusters and appdb replica sets
Kubernetes Operator는 각 리소스를 조정할 때 해당 리소스의 유효성도 검사합니다. Kubernetes Operator는 리소스를 생성하거나 업데이트하는 데 유효성 검사 웹 후크를 필요로 하지 않습니다.
유효성 검사 웹후크를 생략하거나, 기본 구성에서 웹후크의 역할과 바인딩을 제거하거나 구성을 실행할 권한이 충분하지 않은 경우 이는 심각한 오류가 아니므로 Kubernetes Operator가 경고를 표시합니다. Kubernetes Operator에 심각한 오류가 발생하면 리소스를 Failed
로 표시합니다.
참고
GKE(Google Kubernetes Engine) 배포
GKE(Google Kubernetes Engine) 비공개 클러스터에 배포할 때 웹훅에 알려진 문제가 있습니다. 자세한 내용은 Google 방화벽 규칙을 업데이트하여 WebHook 문제 해결을 참조하세요.
MongoDB
리소스 사양 모두 보기
제공된 네임스페이스에서 MongoDB
리소스 사양을 모두 보려면 다음을 수행합니다.
kubectl get mdb -n <metadata.namespace>
예시
dublin
독립형 리소스에 대한 자세한 내용을 보려면 이 명령을 실행하세요:
kubectl get mdb dublin -n <metadata.namespace> -o yaml
그러면 다음 응답이 반환됩니다.
apiVersion: mongodb.com/v1 kind: MongoDB metadata: annotations: kubectl.kubernetes.io/last-applied-configuration: | {"apiVersion":"mongodb.com/v1","kind":"MongoDB","metadata":{"annotations":{},"name":"dublin","namespace":"mongodb"},"spec":{"credentials":"credentials","persistent":false,"podSpec":{"memory":"1Gi"},"project":"my-om-config","type":"Standalone","version":"4.0.0-ent"}} clusterDomain: "" creationTimestamp: 2018-09-12T17:15:32Z generation: 1 name: dublin namespace: mongodb resourceVersion: "337269" selfLink: /apis/mongodb.com/v1/namespaces/mongodb/mongodbstandalones/dublin uid: 7442095b-b6af-11e8-87df-0800271b001d spec: credentials: my-credentials type: Standalone persistent: false project: my-om-config version: 4.2.2-ent
배포에 실패한 StatefulSet 복원하기
StatefulSet 파드 Pending
배포 중에 오류가 발생하면 상태로 중단될 수 있습니다.
Pending
Pods 오류를 해결하기 위해 구성을 변경 하고 적용 하더라도 자동으로 종료되지 않습니다.
StatefulSet를 정상 상태로 되돌리려면 Pending
상태의 MongoDB 리소스에 구성 변경 사항을 적용한 다음 해당 pods를 삭제하세요.
예시
호스트 시스템에서는 다음과 같은 여러 개의 파드가 실행됩니다.
kubectl get pods my-replica-set-0 1/1 Running 2 2h my-replica-set-1 1/1 Running 2 2h my-replica-set-2 0/1 Pending 0 2h
my-replica-set-2
Pending
단계에서 멈췄습니다. 오류에 대한 추가 데이터를 수집하려면 다음을 실행합니다.
kubectl describe pod my-replica-set-2 <describe output omitted> Warning FailedScheduling 15s (x3691 over 3h) default-scheduler 0/3 nodes are available: 1 node(s) had taints that the pod didn't tolerate, 2 Insufficient memory.
출력에 메모리 할당 오류가 표시됩니다.
구성 업데이트를 적용한 후에도 pod가 자동으로 종료되지 않기 때문에 MongoDB 리소스의 메모리 할당 업데이트가 충분하지 않습니다.
이 문제를 해결하려면 구성을 업데이트하고 구성을 적용한 다음 중단된 파드를 삭제하세요.
vi <my-replica-set>.yaml kubectl apply -f <my-replica-set>.yaml kubectl delete pod my-replica-set-2
정지된 Pod가 삭제되면 Statefulset 롤링 업그레이드의 일부로 다른 Pod가 새 구성을 사용해 다시 시작됩니다.
참고
이 문제에 대해 자세히 알아보려면 Kubernetes 문제 를 67250 참조하세요.
ConfigMap을 교체하여 변경 사항 반영
kubectl apply 명령을 사용하여 이미 배포된 리소스 ConfigMap
파일을 수정하거나 재배포할 수 없는 경우에는 다음을 실행합니다.
kubectl replace -f <my-config-map>.yaml
이렇게 하면 ConfigMap
리소스 파일이 삭제되고 다시 만들어집니다.
이 명령은 즉각적인 재귀적 변경을 수행하거나 한 번 초기화하면 업데이트할 수 없는 리소스 파일을 업데이트해야 하는 경우에 유용합니다.
Kubernetes 구성 요소 제거
중요
구성 요소를 제거하려면 다음 권한이 필요합니다:
| |
|
리소스 제거 MongoDB
Kubernetes가 배포한 인스턴스를 제거하려면 Kubernetes를 사용해야 합니다.
중요
Kubernetes Operator만 사용하여 Kubernetes 배포 인스턴스를 제거할 수 있습니다. MongoDB Ops Manager 를 사용하여 인스턴스를 제거하면 MongoDB Ops Manager 에서 오류가 발생합니다.
MongoDB 리소스를 삭제해도 MongoDB Ops Manager UI에서는 제거되지 않습니다. MongoDB Ops Manager에서 리소스를 수동으로 제거해야 합니다. 자세한 내용 은 모니터링에서 프로세스 제거를 참조하세요.
백업을 활성화한 MongoDB 리소스를 삭제해도 리소스의 스냅샷은 삭제되지 않습니다. MongoDB Ops Manager에서 스냅샷을 삭제해야 합니다.
예시
Kubernetes를 사용하여 생성한 단일 MongoDB 인스턴스를 제거하려면 다음을 수행합니다.
kubectl delete mdb <name> -n <metadata.namespace>
Kubernetes를 사용하여 생성한 모든 MongoDB 인스턴스를 제거하려면 다음을 수행합니다.
kubectl delete mdb --all -n <metadata.namespace>
Kubernetes Operator 제거
Kubernetes Operator를 제거하려면 다음을 수행합니다.
kubectl delete mdb --all -n <metadata.namespace> 쿠버네티스 오퍼레이터 제거:
kubectl delete deployment mongodb-enterprise-operator -n <metadata.namespace>
CustomResourceDefinitions 제거
CustomResourceDefinitions 를 제거하려면 :
kubectl delete mdb --all -n <metadata.namespace> kubectl delete crd mongodb.mongodb.com kubectl delete crd mongodbusers.mongodb.com kubectl delete crd opsmanagers.mongodb.com
네임스페이스 제거
네임스페이스 를 제거하려면 :
kubectl delete mdb --all -n <metadata.namespace> 네임스페이스 제거 :
kubectl delete namespace <metadata.namespace>
파드 삭제 후 새 영구 볼륨 클레임 생성
실수로 MongoDB 복제본 세트 파드 및 해당 영구 볼륨 클레임을 삭제한 경우 Kubernetes Operator는 MongoDB 파드를 다시 예약하지 못하고 다음 오류 메시지를 발행합니다.
scheduler error: pvc not found to schedule the pod
이 오류를 복구하려면 새 PVC를 수동으로 만들어야 합니다. 이 복제본 세트 Pod에 해당하는 PVC 객체의 이름(예:data-<replicaset-pod-name>
으로 변경합니다.
Ops Manager 기능 제어 비활성화
Kubernetes Operator를 통해 MongoDB Ops Manager 프로젝트를 관리하는 경우, Kubernetes Operator는 프로젝트에 EXTERNALLY_MANAGED_LOCK
기능 제어 정책 을 배치합니다. 이 정책은 Kubernetes Operator 구성을 손상시킬 수 있는 MongoDB Ops Manager 애플리케이션의 특정 기능을 비활성화합니다. 이러한 차단된 기능을 사용해야 하는 경우 기능 제어 API 를 통해 정책을 제거하고 MongoDB Ops Manager 애플리케이션에서 변경한 다음 API 를 통해 원래 정책을 복원할 수 있습니다.
경고
다음 절차를 통해 Kubernetes 연산자에 의해 차단되는 Ops Manager 애플리케이션의 기능을 사용할 수 있습니다.
MongoDB Ops Manager 프로젝트에 대한 기능 제어 정책 을 조회합니다.
curl --user "{USERNAME}:{APIKEY}" --digest \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --include \ --request GET "https://{OPSMANAGER-HOST}:{PORT}/api/public/v1.0/groups/{PROJECT-ID}/controlledFeature?pretty=true" API가 반환하는 응답을 저장합니다. Ops Manager 애플리케이션에서 변경한 후에는 이러한 정책을 프로젝트에 다시 추가해야 합니다.
중요
다음 샘플 응답에서 강조 표시된 필드와 값에 주목합니다. 기능 제어 정책을 제거하고 추가할 때 이후 단계에서 이와 동일한 필드와 값을 보내야 합니다.
externalManagementSystem.version
필드는 Kubernetes 연산자 버전에 해당합니다. 이 작업의 뒷부분에서 요청에 정확히 동일한 필드 값을 보내야 합니다.응답은 다음과 비슷해야 합니다.
{ "created": "2020-02-25T04:09:42Z", "externalManagementSystem": { "name": "mongodb-enterprise-operator", "systemId": null, "version": "1.4.2" }, "policies": [ { "disabledParams": [], "policy": "EXTERNALLY_MANAGED_LOCK" }, { "disabledParams": [], "policy": "DISABLE_AUTHENTICATION_MECHANISMS" } ], "updated": "2020-02-25T04:10:12Z" } policies
배열을 빈 목록으로 업데이트 합니다.참고
externalManagementSystem.version
필드와 같이externalManagementSystem
객체에 제공하는 값은 1단계의 응답에서 받은 값과 일치해야 합니다.curl --user "{USERNAME}:{APIKEY}" --digest \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --include \ --request PUT "https://{OPSMANAGER-HOST}:{PORT}/api/public/v1.0/groups/{PROJECT-ID}/controlledFeature?pretty=true" \ --data '{ "externalManagementSystem": { "name": "mongodb-enterprise-operator", "systemId": null, "version": "1.4.2" }, "policies": [] }' 이전에 차단되었던 기능을 이제 Ops Manager 애플리케이션에서 사용할 수 있습니다.
Ops Manager 애플리케이션에서 변경을 수행합니다.
policies
배열을 원래 기능 제어 정책으로 업데이트 합니다.참고
externalManagementSystem.version
필드와 같이externalManagementSystem
객체에 제공하는 값은 1단계의 응답에서 받은 값과 일치해야 합니다.curl --user "{USERNAME}:{APIKEY}" --digest \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --include \ --request PUT "https://{OPSMANAGER-HOST}:{PORT}/api/public/v1.0/groups/{PROJECT-ID}/controlledFeature?pretty=true" \ --data '{ "externalManagementSystem": { "name": "mongodb-enterprise-operator", "systemId": null, "version": "1.4.2" }, "policies": [ { "disabledParams": [], "policy": "EXTERNALLY_MANAGED_LOCK" }, { "disabledParams": [], "policy": "DISABLE_AUTHENTICATION_MECHANISMS" } ] }' 이제 기능이 다시 차단되어 Ops Manager 애플리케이션을 통해 더 이상 변경할 수 없습니다. 하지만 Kubernetes Operator는 기능을 사용할 수 있는 동안 Ops Manager 애플리케이션에서 변경한 내용을 그대로 유지합니다.
Kubernetes Operator 실패 시 리소스 제거
Operator를 통해 MongoDB 사용자 지정 리소스를 삭제하면 Kubernetes Kubernetes Operator가 Cloud Manager 또는 MongoDB Ops Manager에서 배포 제거를 처리합니다. 자세한 내용 은 MongoDB
리소스 제거를 참조하세요.
그러나 Kubernetes 에서는 리소스 제거가 실패할 수 있습니다. 예를 예시 ,Kubernetes MongoDB 리소스 를 삭제 하기 전에 Operator가 실패하면 Cloud Manager 또는 에서 수동으로 배포서버를 제거 하고 해당 프로젝트를 삭제 해야 MongoDB Ops Manager 합니다.
MongoDB Ops Manager 또는 Cloud Manager 리소스를 수동으로 제거하려면 다음을 수행합니다.
UI 또는 를 사용하여 프로젝트의 MongoDB Ops Manager 또는 에서 배포서버를 Cloud Manager API 제거합니다.
MongoDB Ops Manager 또는 Cloud Manager UI에서 배포서버를 제거합니다. MongoDB Ops Manager 의 Automation에서 배포를 제거하고 Monitoring에서 배포를 제거합니다.
Cloud Manager 의 Automation에서 배포를 제거하고 Monitoring에서 배포를 제거합니다.
또는 API MongoDB Ops Manager 또는 에서 MongoDB Cloud Manager Ops Manager API 요청 또는 요청을 통해 빈 구성으로 자동화 Cloud Manager API 구성을 업데이트하기 위한 를 사용하여 배포를 제거합니다.
다음 MongoDB Ops Manager 예시와 유사한 명령을 실행합니다.
curl --user "{USERNAME}:{APIKEY}" --digest \ --header "Content-Type: application/json" \ --include \ --request PUT "https://{OPSMANAGER-HOST}/api/public/v1.0/groups/{PROJECT-ID}/automationConfig" \ --data '{}' 참고
백업을 활성화한 MongoDB 리소스를 삭제해도 리소스의 스냅샷은 삭제되지 않습니다. MongoDB Ops Manager 에서 스냅샷을 삭제하거나 Cloud Manager 에서 스냅샷을 삭제해야 합니다.
UI 또는 를 사용하여 MongoDB Ops Manager 또는 에서 프로젝트를 Cloud Manager API 삭제합니다. MongoDB Ops Manager에서 프로젝트를 삭제하거나 Cloud Manager 에서 프로젝트를 삭제합니다.
또는 MongoDB Ops Manager API 요청 또는 Cloud Manager API 요청을 사용하여 프로젝트를 삭제합니다.
다음 MongoDB Ops Manager 예시와 유사한 명령을 실행합니다.
curl --user "{USERNAME}:{APIKEY}" --digest \ --request DELETE "{OPSMANAGER-HOST}/api/public/v1.0/groups/${PROJECT-ID}"
실패한 컨테이너 디버그
Kubernetes가 루프에서 해당 컨테이너를 다시 시작하는 오류로 인해 컨테이너가 실패할 수 있습니다.
파일을 검사하거나 명령을 실행하기 위해 해당 컨테이너와 상호 작용해야 할 수도 있습니다. 이를 위해서는 컨테이너가 다시 시작되는 것을 방지해야 합니다.
원하는 텍스트 편집기에서 복구해야 하는 MongoDB 리소스를 엽니다.
이 리소스에 다음과 유사한
podSpec
컬렉션을 추가합니다.podSpec: podTemplate: spec: containers: - name: mongodb-enterprise-database command: ['sh', '-c', 'echo "Hello!" && sleep 3600' ] 수면 의 명령은 컨테이너가 지정한 시간(초)
spec.podSpec.podTemplate.spec
동안 대기하도록 지시합니다. 이 예제에서 컨테이너는 1 시간 동안 대기합니다.이 변경 사항을 리소스에 적용합니다.
kubectl apply -f <resource>.yaml 컨테이너 내부에서 셸을 호출합니다.
kubectl exec -it <pod-name> bash
TLS 인증서에서 도메인 이름의 정확성 확인
TLS 인증서가 유효하지 않은 경우 MongoDB 복제본 세트 또는 샤딩된 클러스터가 READY
상태에 도달하지 못할 수 있습니다.
MongoDB 복제본 세트 또는 샤딩된 클러스터에 대해 TLS를 구성할 때 유효한 인증서를 지정하는지 확인합니다.
각 TLS 인증서에 대해 올바른 도메인 이름을 지정하지 않으면 Kubernetes Operator 로그 에 다음과 유사한 오류 메시지가 포함될 수 있으며, 여기서 foo.svc.local
은(는) cluster 멤버의 Pod에 대해 잘못 지정된 도메인 이름입니다.
TLS attempt failed : x509: certificate is valid for foo.svc.local, not mongo-0-0.mongo-0.mongodb.svc.cluster.local
각 인증서에는 유효한 도메인 이름이 포함되어야 합니다.
각 복제본 세트 또는 샤딩된 클러스터 멤버의 경우, 해당 멤버의 인증서에 대한 일반 이름(도메인 이름이라고도 함)은 이 클러스터 멤버가 배포된 파드의 FQDN과 일치해야 합니다.
각 인증서의 FQDN 이름에는 pod-name.service-name.namespace.svc.cluster.local
구문이 있습니다. 이 이름은 복제본 세트 또는 샤딩된 클러스터의 멤버를 호스팅하는 각 Pod마다 다릅니다.
예를 들어, rs-mongos-0-0
이라는 이름으로 파드에 배포된 복제본 세트의 멤버의 경우, 기본 mongodb
네임스페이스에 생성된 mongo-0
이라는 이름의 Kubernetes 연산자 서비스에서 FQDN은 다음과 같습니다.
rs-mongos-0-0.mongo-0.mongodb.svc.cluster.local
TLS 인증서를 올바르게 구성했는지 확인하려면 다음을 수행합니다.
실행:
kubectl logs -f <pod_name> Kubernetes 연산자 로그 파일에서 TLS 관련 메시지를 확인합니다.
TLS 인증서 요구 사항에 대한 자세한 내용은 복제본 세트 배포의 TLS-Encrypted Connections 탭 또는 샤딩된 클러스터 배포의 사전 요구 사항을 참조하세요.
로컬 모드에서 실행할 때 MongoDB 버전 확인
Ops Manager가 로컬 모드에서 실행 중이고 존재하지 않는 버전의 MongoDB를 지정하거나 로컬 모드로 배포된 Ops Manager가 해당 MongoDB 아카이브를 다운로드하지 않은 유효한 버전의 MongoDB를 지정한 경우 MongoDB CustomResource
가 Running
상태에 도달하지 못할 수 있습니다.
존재하지 않는 MongoDB 버전을 지정하거나 Ops Manager가 MongoDB 아카이브를 다운로드할 수 없는 유효한 MongoDB 버전을 지정하면, 파드가 READY
상태에 도달할 수 있더라도 Kubernetes 연산자 로그에 다음과 유사한 오류 메시지가 포함됩니다.
Failed to create/update (Ops Manager reconciliation phase): Status: 400 (Bad Request), Detail: Invalid config: MongoDB <version> is not available.
이는 MongoDB Agent가 /var/lib/mongodb-mms-automation
디렉토리에 해당 MongoDB 바이너리를 성공적으로 다운로드하지 못했음을 의미할 수 있습니다. MongoDB Agent가 지정된 MongoDB 버전에 대한 MongoDB 바이너리를 성공적으로 다운로드할 수 있는 경우 이 디렉토리에는 mongodb-linux-x86_64-4.4.0
등의 MongoDB 바이너리 폴더가 포함됩니다.
MongoDB 바이너리 폴더가 있는지 확인하려면 다음을 수행하세요.
이 명령에 파드의 이름을 지정합니다.
kubectl exec --stdin --tty $<pod_name> /bin/sh /var/lib/mongodb-mms-automation
디렉토리에 MongoDB 바이너리 폴더가 있는지 확인합니다.MongoDB 바이너리 폴더를 찾을 수 없는 경우, 배포된 각 Ops Manager 복제본 세트에 대한 Ops Manager 영구 볼륨에 MongoDB 아카이브를 복사하세요.
또는 를 사용한 업그레이드 실패 kubectl
oc
Kubernetes 연산자를 업그레이드할 때 다음과 같은 오류가 발생할 수 있습니다.
Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', and 'updateStrategy' are forbidden
이 오류를 해결하려면 다음을 수행합니다.
이전 Kubernetes 연산자 배포를 제거합니다.
kubectl delete deployment/mongodb-enterprise-operator -n <metadata.namespace> 참고
Kubernetes 연산자 배포서버를 제거해도 MongoDB 리소스의 라이프사이클에는 영향을 주지 않습니다.
kubectl apply
명령을 반복하여 새 버전의 Kubernetes 연산자로 업그레이드합니다.
Helm Charts를 사용한 업그레이드 실패
Kubernetes 연산자를 업그레이드할 때 다음과 같은 오류가 발생할 수 있습니다.
Error: UPGRADE FAILED: cannot patch "mongodb-enterprise-operator" with kind Deployment: Deployment.apps "mongodb-enterprise-operator" is invalid: ... field is immutable
이 오류를 해결하려면 다음을 수행합니다.
이전 Kubernetes 연산자 배포를 제거합니다.
kubectl delete deployment/mongodb-enterprise-operator -n <metadata.namespace> 참고
Kubernetes 연산자 배포서버를 제거해도 MongoDB 리소스의 라이프사이클에는 영향을 주지 않습니다.
helm
명령을 반복하여 새 버전의 Kubernetes 연산자로 업그레이드합니다.
업그레이드 후 두 개의 연산자 인스턴스
Kubernetes Operator 버전 1.10 이하에서 버전 1.11 이상으로 업그레이드한 후, Kubernetes 클러스터에 두 개의 Kubernetes Operato 인스턴스가 배포될 수 있습니다.
get pods
명령을 사용하여 Kubernetes 연산자 파드를 확인합니다.
참고
Kubernetes Operator를 OpenShift에 배포한 경우 이 섹션의 kubectl
명령을 oc
명령으로 대체합니다.
kubectl get pods
응답에 enterprise-operator
및 mongodb-enterprise-operator
파드가 모두 포함된 경우 클러스터에는 두 개의 Kubernetes 연산자 인스턴스가 있습니다.
NAME READY STATUS RESTARTS AGE enterprise-operator-767884c9b4-ltkln 1/1 Running 0 122m mongodb-enterprise-operator-6d69686679-9fzs7 1/1 Running 0 68m
enterprise-operator
배포를 안전하게 제거할 수 있습니다. 다음 명령을 실행하여 제거합니다.
kubectl delete deployment/enterprise-operator
손상된 자동화 구성으로 인한 리소스 복구
사용자 지정 리소스가 장기간 Pending
또는 Failed
상태로 유지되는 경우, Kubernetes Operator는 자동화 구성 을 MongoDB Ops Manager로 푸시하여 MongoDB
리소스를 자동으로 복구합니다. 이렇게 하면 이전에 잘못된 자동화 구성을 푸시하여 StatefulSet가 Pending
상태로 멈춰 MongoDB Agent가 업데이트된 자동화 구성 변경 사항을 푸시할 수 없는 교착 상태를 방지할 수 있습니다.
자동 복구를 구성하려면 mongodb-enterprise.yaml 파일에서 다음 환경 변수를 정의합니다.
파드당
MongoDB
리소스에 대한 자동 복구를 활성화 또는 비활성화하려면 MDB_AUTOMATIC_RECOVERY_ENABLE을 사용합니다.Kubernetes Operator가
MongoDB
리소스를 자동으로 복구하기 전에 사용자 지정 리소스가Pending
또는Failed
상태로 유지될 수 있는 시간(초)으로 MDB_AUTOMATIC_RECOVERY_BACKOFF_TIME_S를 설정합니다.
예시
1 spec: 2 template: 3 spec: 4 serviceAccountName: mongodb-enterprise-operator 5 containers: 6 - name: mongodb-enterprise-operator 7 image: <operatorVersionUrl> 8 imagePullPolicy: <policyChoice> 9 env: 10 - name: MDB_AUTOMATIC_RECOVERY_ENABLE 11 value: true 12 - name: MDB_AUTOMATIC_RECOVERY_BACKOFF_TIME_S 13 value: 1200
환경 변수를 정의하는 방법을 알아보려면 컨테이너에 대한 환경 변수 정의를 참조하세요.