시크릿 스토리지 구성

OIDC JSON web token 및 Kubernetes 인증 을 설정하다 하려면 다음을 수행합니다.

1. 다음 명령을 실행하여 마운트 경로에 대해 OIDC JSON 웹 토큰 인증을 활성화합니다. 여러 Kubernetes 클러스터를 설정하는 경우 각 클러스터의 마운트 경로에 대해 OIDC JSON 웹 토큰 인증을 활성화해야 합니다.

   vault auth enable -path=jwt-kube01 jwt

2. 다음 명령을 실행하여 kube01.internal.io 클러스터의 OIDC 검색 URL에 대한 인증되지 않은 액세스를 허용합니다.

   $ kubectl create clusterrolebinding oidc-reviewer  \
     --clusterrole=system:service-account-issuer-discovery \
     --group=system:unauthenticated

3. 다음 명령을 실행하여 HashiCorp Vault 를 지시합니다. 클러스터를 신뢰합니다. https://kube01.internal.io/ 의 클러스터 발급자는 .well-known/openid-configuration 의 OIDC 검색 문서에 있는 URL과 일치해야 합니다.

   curl https://kube01.internal.io/.well-known/openid-configuration | jq .issuer
   https://kube01.internal.io/
   vault write auth/jwt-kube01/config jwks_url="https://kube01.internal.io/openid/v1/jwks"

4. cluster에 노출하려는 시크릿에 대한 액세스를 허용하는 정책을 생성합니다.

   다음 예에서는 이후 단계에서 지정하는 external-secrets 정책을 만듭니다.

   echo external-secrets-policy.hcl
   path "secret/data/kube01/external-secrets/*" {
     capabilities = ["read"]
   }

5. 명령을 실행하여 HashiCorp Vault 를 만듭니다. 역할 을 지정하고 Kubernetes 서비스 계정을 역할 에 바인딩하여 HashiCorp Vault 내에서 서비스 계정의 액세스 를 제한합니다.

   다음 명령은 vault 대상에 대한 JSON 웹 토큰 (OIDC) 유형의 jwt-kube01-system 역할을 생성합니다. 이 명령은 sub 사용자 클레임과 mongodb-atlas-system 네임스페이스의 default Kubernetes 서비스 계정을 바인딩된 주체로 지정합니다. 이 명령은 역할을 external-secrets HashiCorp Vault내의 정책 권한 집합에 연결합니다.

   vault write auth/jwt-kube01/role/jwt-kube01-system role_type="jwt" bound_audiences=vault \
     user_claim="sub" bound_subject="system:serviceaccount:mongodb-atlas-system:default" \
     policies="external-secrets"

6. 명령을 실행하여 외부 비밀 연산자가 default 네임스페이스에 액세스할 수 있는 다른 역할을 만듭니다.

   다음 명령은 vault 대상에 대한 JSON 웹 토큰 (OIDC) 유형의 jwt-kube01-default 역할을 생성합니다. 이 명령은 sub 사용자 클레임과 default 네임스페이스의 default Kubernetes 서비스 계정을 바인딩된 주체로 지정합니다. 이 명령은 역할을 external-secrets HashiCorp Vault내의 정책 권한 집합에 연결합니다.

   vault write auth/jwt-kube01/role/jwt-kube01-default role_type="jwt" bound_audiences=vault \
     user_claim="sub" bound_subject="system:serviceaccount:default:default" \
     policies="external-secrets"

7. 시스템 서비스 계정에 대해 OIDC 인증이 성공적으로 실행되는지 확인합니다.

   export TEST_JWT_TOKEN=$(kubectl -n mongodb-atlas-system create token default --audience "vault")
   vault write auth/jwt-kube01/login role=jwt-kube01-system jwt=$(TEST_JWT_TOKEN)

   Atlas Kubernetes Operator 는 시스템 서비스 계정에 대한 OIDC JSON web token 자격 증명 을 반환합니다.

8. 기본 서비스 계정에 대해 OIDC 인증이 성공적으로 실행되는지 확인합니다.

   export TEST_JWT_TOKEN=$(kubectl -n default create token default --audience "vault")
   vault write auth/jwt-kube01/login role=jwt-kube01-default jwt=$(TEST_JWT_TOKEN)

   Atlas Kubernetes Operator 는 기본값 서비스 계정에 대한 OIDC JSON web token 자격 증명 을 반환합니다.

Kubernetes 인증 을 설정하다 하려면 다음을 수행합니다.

1. 다음 명령을 실행하여 마운트 경로에 대해 Kubernetes 인증 을 활성화 합니다. 여러 Kubernetes 클러스터를 설정하다 하는 경우 각 클러스터의 마운트 경로에 대해 Kubernetes 인증 을 활성화 해야 합니다.

   vault auth enable -path=jwt-kube01 kubernetes

   Helm과 함께 설치하면 클러스터 역할 바인딩이 자동으로 구성됩니다.

2. 클러스터 에 노출하려는 시크릿에 액세스 를 허용하는 정책을 생성합니다.

   다음 예시 에서는 이후 단계에서 사용되는 vault-secret 정책을 만듭니다. Kubernetes 시크릿 을(를)사용합니다. HashiCorp Vault 에 바인딩 Helm Chart CSI 제공자 가 설정하는 서비스 계정입니다.vault

   echo vault-secret.yaml
   apiVersion: v1
   kind: Secret
   metadata:
     name: vault
     annotations:
       kubernetes.io/service-account.name: vault
   type: kubernetes.io/service-account-token
   $ kubectl apply -f vault-secret.yaml

3. 명령을 실행하여 Kubernetes 클러스터 를 신뢰하고 Kubernetes 인증 을 사용합니다.

   export VAULT_JWT ?= $(shell kubectl get secret/vault -o jsonpath='{.data.token}' |base64 -d)

   vault write auth/k8s-kube01/config kubernetes_host="kube01.internal.io" token_reviewer_jwt=$(VAULT_JWT)

4. 명령을 실행하여 HashiCorp Vault 를 만듭니다. 역할 을 지정하고 Kubernetes 서비스 계정을 역할 에 바인딩하여 HashiCorp Vault 내에서 서비스 계정의 액세스 를 제한합니다.

   다음 명령은 default 또는 mongodb-atlas-system 네임스페이스의 Kubernetes 서비스 계정에 바인딩된 auth/k8s-kube01 에 k8s-kube01 역할 을 생성합니다. 이 역할 은 secrets-store HashiCorp Vault내의 권한 정책에 연결됩니다.

   vault write auth/k8s-kube01/role/k8s-kube01-role \
     bound_service_account_names=default,mongodb-atlas-operator \
     bound_service_account_namespaces=default,mongodb-atlas-system \
     policies=secrets-store

   정책이 존재하고 시크릿에 액세스 를 허용해야 합니다. 다음 예시 정책은 kube01/secrets-store 경로 아래에 있는 KV v2 시크릿에 액세스 를 허용합니다.

   path "secret/data/kube01/secrets-store/*" {
     capabilities = ["read"]
   }

5. 시스템 서비스 계정에 대해 Kubernetes 인증 이 성공적으로 실행되는지 확인합니다.

   export TEST_JWT_TOKEN=$( kubectl create -n mongodb-atlas-system token mongodb-atlas-operator)
   vault write auth/jwt-kube01/login role=jwt-kube01-system jwt=$(TEST_JWT_TOKEN)

6. 기본값 계정에 대해 Kubernetes 인증 이 성공적으로 실행되는지 확인합니다.

   export TEST_JWT_TOKEN=$(kubectl -n default create token default)
   vault write auth/jwt-kube01/login role=jwt-kube01-default jwt=$(TEST_JWT_TOKEN)

External Secret Operator로 시크릿을 프로비저닝하려면 다음을 수행하세요.

1. mongodb-atlas-system 네임스페이스의 default 서비스 계정에 대한 SecretStore 사용자 지정 리소스를 배포합니다.

   $ cat external-secrets/vault-system.yaml
   apiVersion: external-secrets.io/v1beta1
   kind: SecretStore
   metadata:
     name: vault-store
     namespace: mongodb-atlas-system
   spec:
     provider:
       vault:
         server: "https://vault.internal.io"
         path: "secret"
         version: "v2"
         auth:
           jwt:
             path: "jwt-kube01"
             role: "jwt-kube01-system"
             kubernetesServiceAccountToken:
               expirationSeconds: 600
               serviceAccountRef:
                 name: "default"
                 audiences:
                 - vault
   $ kubectl apply -f external-secrets/vault-system.yaml

2. default 네임스페이스의 default 서비스 계정에 대한 SecretStore 사용자 지정 리소스를 배포합니다.

   $ cat external-secrets/vault-default.yaml
   apiVersion: external-secrets.io/v1beta1
   kind: SecretStore
   metadata:
     name: vault-store
     namespace: default
   spec:
     provider:
       vault:
         server: "https://vault.internal.io"
         path: "secret"
         version: "v2"
         auth:
           jwt:
             path: "jwt-kube01"
             role: "jwt-role"
             kubernetesServiceAccountToken:
               expirationSeconds: 600
               serviceAccountRef:
                 name: "default"
                 audiences:
                 - vault
   $ kubectl apply -f external-secrets/vault-default.yaml

3. API 키가 포함된 시크릿을 참고하는 ExternalSecret 사용자 지정 리소스를 배포합니다. 외부 Secrets Operator가 생성한 시크릿을 찾으려면 Atlas Kubernetes Operator에 대해 값이 credentials 인 spec.target.template.metadata.labels 를 atlas.mongodb.com/type 로 설정해야 합니다.

   다음 명령을 실행하기 전에 HashiCorp Vault 가 은(는) Kv V 경로 에 다음 속성으로 시크릿이2 채워져 secret/data/kube01/external-secrets/atlas-account 있습니다.

   • orgId

   • publicApiKey

   • privateApiKey

   $ cat external-secrets/atlas.yaml
   apiVersion: external-secrets.io/v1beta1
   kind: ExternalSecret
   metadata:
     name: atlas
     namespace: mongodb-atlas-system
   spec:
       refreshInterval: "15s"
       secretStoreRef:
         name: vault-store
         kind: SecretStore
       target:
         name: mongodb-atlas-operator-api-key
         template:
           metadata:
             labels:
               atlas.mongodb.com/type: credentials
       data:
       - secretKey: orgId
         remoteRef:
           key: secret/data/kube01/external-secrets/atlas-account
           property: orgId
       - secretKey: publicApiKey
         remoteRef:
           key: secret/data/kube01/external-secrets/atlas-account
           property: publicApiKey
       - secretKey: privateApiKey
         remoteRef:
           key: secret/data/kube01/external-secrets/atlas-account
           property: privateApiKey
     $ kubectl apply -f external-secrets/atlas.yaml

   이 명령은 Kubernetes mongodb-atlas-operator-api-key 시크릿 mongodb-atlas-system 을 생성합니다. 네임스페이스의 .

4. 데이터베이스 사용자 자격 증명이 포함된 시크릿을 참고하는 ExternalSecret 사용자 지정 리소스를 배포합니다. 외부 Secrets Operator가 생성한 시크릿을 찾으려면 Atlas Kubernetes Operator에 대해 값이 credentials 인 spec.target.template.metadata.labels 를 atlas.mongodb.com/type 로 설정해야 합니다.

   다음 명령을 실행하기 전에 HashiCorp Vault 가 속성으로 Kv V2 경로 에 secret/data/kube01/external-secrets/db-user 시크릿이 password 채워져 있습니다.

   $ cat external-secrets/dbuser.yaml
   apiVersion: external-secrets.io/v1beta1
   kind: ExternalSecret
   metadata:
     name: dbuser
     namespace: default
   spec:
       refreshInterval: "15s"
       secretStoreRef:
         name: vault-store
         kind: SecretStore
       target:
         name: dbuser-password
         template:
           metadata:
             labels:
               atlas.mongodb.com/type: credentials
       data:
       - secretKey: password
         remoteRef:
           key: secret/data/kube01/external-secrets/db-user
           property: password
     $ kubectl apply -f external-secrets/atlas.yaml

5. 다음 명령을 실행할 때 시크릿이 예상대로 반환되는지 확인합니다.

   $ kubectl get -n mongodb-atlas-system secrets/mongodb-atlas-operator-api-key

   $ kubectl get -n default secrets/dbuser-password

Secret Store CSI로 시크릿을 프로비저닝하려면 다음을 수행합니다.

1. mongodb-atlas-system 네임스페이스 에 SecretProviderClass 사용자 지정 리소스 를 배포합니다. Secrets Store CSI가 생성하는 시크릿을 찾으려면 Atlas Kubernetes Operator 에 대해 값이 credentials 인 spec.secretObjects.labels 를 atlas.mongodb.com/type 로 설정하다 해야 합니다.

   다음 명령을 실행하기 전에 HashiCorp Vault 가 은(는) Kv V 경로 에 다음 속성으로 시크릿이2 채워져 secret/data/kube01/external-secrets/atlas-account 있습니다.

   • orgId

   • publicApiKey

   • privateApiKey

   $ cat secrets-store/atlas.yaml
   apiVersion: secrets-store.csi.x-k8s.io/v1
   kind: SecretProviderClass
   metadata:
     name: atlas
     namespace: mongodb-atlas-system
   spec:
     provider: vault
     secretObjects:
     - data:
       - key: orgId
         objectName: atlas-org
       - key: publicApiKey
         objectName: atlas-pub-key
       - key: privateApiKey
         objectName: atlas-secret-key
       secretName: mongodb-atlas-operator-api-key
       type: Opaque
       labels:
         atlas.mongodb.com/type: credentials
     parameters:
       vaultAddress: https://vault.internal.io
       vaultKubernetesMountPath: k8s-kube01
       roleName: k8s-kube01-role
       objects: |
         - objectName: atlas-org
           secretPath: secret/data/kube01/secrets-store/atlas-account
           secretKey: orgId
         - objectName: atlas-pub-key
           secretPath: secret/data/kube01/secrets-store/atlas-account
           secretKey: publicApiKey
         - objectName: atlas-secret-key
           secretPath: secret/data/kube01/secrets-store/atlas-account
           secretKey: privateApiKey
   $ kubectl apply -f secrets-store/atlas.yaml

   이 명령은 Kubernetes mongodb-atlas-operator-api-key 시크릿 mongodb-atlas-system 을 생성합니다. 네임스페이스의 .

2. 다음 명령을 실행하여 필요한 시크릿을 마운트하는 pod를 추가합니다.

   $ cat secrets-store/ako-patch.yaml
     template:
       spec:
         containers:
         - name: system-secret-placeholder
           image: mongodb/atlas
           command: ["sleep", "infinity"]
           volumeMounts:
           - name: secrets-store-mount
             mountPath: "/mnt/secrets-store"
             readOnly: true
         volumes:
           - name: secrets-store-mount
             csi:
               driver: secrets-store.csi.k8s.io
               readOnly: true
               volumeAttributes:
                 secretProviderClass: atlas
   $ kubectl apply -f secrets-store/ako-patch.yaml

3. 데이터베이스 사용자 자격 증명 이 포함된 시크릿을 참조하는 SecretProviderClass 사용자 지정 리소스 를 배포합니다. Secrets Store CSI가 생성하는 시크릿을 찾으려면 Atlas Kubernetes Operator 에 대한 값으로 credentials spec.target.template.metadata.labels 를 atlas.mongodb.com/type 로 설정하다 해야 합니다.

   다음 명령을 실행하기 전에 HashiCorp Vault 가 속성으로 Kv V2 경로 에 secret/data/kube01/external-secrets/db-user 시크릿이 password 채워져 있습니다.

   $ cat external-secrets/dbuser.yaml
   apiVersion: external-secrets.io/v1beta1
   kind: SecretProviderClass
   metadata:
     name: dbuser
     namespace: default
   spec:
     provider: vault
     secretObjects:
     - data:
       - key: password
         objectName: dbuser
       secretName: dbuser-password
       type: Opaque
       labels:
         atlas.mongodb.com/type: credentials
    parameters:
       vaultAddress: https://vault.internal.io
       vaultKubernetesMountPath: k8s-kube01
       roleName: k8s-kube01-role
       objects: |
         - objectName: "dbuser"
           secretPath: "secret/data/kube01/secrets-store/db-user"
           secretKey: "password"
   $ kubectl apply -f secrets-store/dbuser.yaml

4. 다음 명령을 실행하여 secret-placeholder 센티널 포드를 생성하면 Secrets Store CSI 운전자 가 dbuser 자격 증명 을 가져와 Kubernetes 에 동기화 합니다.

   $ cat secrets-store/placeholder.yaml
   kind: Pod
   apiVersion: v1
   metadata:
     name: secret-placeholder
   spec:
     containers:
     - image: mongodb/atlas
       command: ["sleep", "infinity"]
       name: secret-placeholder
       volumeMounts:
       - name: secrets-store-mount
         mountPath: "/mnt/secrets-store"
         readOnly: true
     volumes:
       - name: secrets-store-mount
         csi:
           driver: secrets-store.csi.k8s.io
           readOnly: true
           volumeAttributes:
             secretProviderClass: dbuser
   $ kubectl apply -f secrets-store/placeholder.yaml

5. 다음 명령을 실행할 때 시크릿이 예상대로 반환되는지 확인합니다.

   $ kubectl get -n mongodb-atlas-system secrets/mongodb-atlas-operator-api-key

   $ kubectl get -n default secrets/dbuser-password