Terraform을 이용한 EKS 클러스터 생성 및 서비스 배포

💡 사전준비

1. Terraform 사용을 위한 환경세팅을 진행해준다.
2. EKS 클러스터 생성 Terraform 코드 준비

#1 테라폼 실행

eks-terraform-final 압축을 푼뒤 eks-terraform-final디렉토리로 들어가서 다음과 같이 명령을 진행

terraform init

terraform plan 

terraform apply →< yes

15~20분정도 IAM 및 VPC와 클러스터등 리소스들이 생성된다.

 

💡 Trouble Shooting

kubernetes 콘솔 접근 권한 이슈

#1 루트 사용자 로그인

terraform을 사용하려면 aws의 iam에서 새롭게 사용자를 생성하고 해당 사용자에 대한 보안자격증명 생성을 통해 키를 등록해주고 사용을 진행한다.

 

이때 생성한 사용자로 로그인 하지 않고 root 사용자로 로그인 하게 되면 위사진과 같이 aws 콘솔에서 리소스에 접근이 안되기에 사용자로 로그인을 해주자

 

#2 콘솔 크레덴셜 추가

https://whchoi98.gitbook.io/k8s/vpc-eksctl/eksconfig

 

크레덴셜을 추가하기위해서는 configmap을 수정해줘야하며 권한을 다음과같이 설정한다

(1) kublet 연결

aws eks update-kubeconfig --region us-east-2 --name clustername

(2)user id랑 account를 알아야하는데 알아내는 명령어

aws sts get-caller-identity

(3)iamidentitymapping 생성

eksctl create iamidentitymapping  --cluster eks-JaeHyuk --arn arn:aws:iam::[account_id]:user/JaeHyuk --username JaeHyuk  --group system:masters

(4) 추가 확인

eksctl get iamidentitymapping --cluster eks-JaeHyuk

#2 AWS Load Balancer 컨트롤러 생성

https://catalog.us-east-1.prod.workshops.aws/workshops/9c0aa9ab-90a9-44a6-abe1-8dff360ae428/ko-KR/60-ingress-controller/100-launch-alb

💡 필요 파일

 

v2_5_4_full.yaml

0.03MB

v2_5_4_ingclass.yaml

0.00MB

iam_policy.json

0.01MB

설치 과정

IAM OIDC(OpenID Connect) identity Provider를 생성

eksctl utils associate-iam-oidc-provider  --region us-east-2   --cluster eks-JaeHyuk  --approve

AWS Load Balancer Controller에 부여할 IAM Policy를 생성하는 작업

aws iam create-policy   --policy-name AWSLoadBalancerControllerIAMPolicy  --policy-document file://iam_policy.json

AWS Load Balancer Controller를 위한 ServiceAccount를 생성

eksctl create iamserviceaccount   --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller  --attach-policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy --override-existing-serviceaccounts  --approve 

인증서 구성을 웹훅에 삽입할 수 있도록 TLS인증서를 자동으로 프로비저닝 및 관리하는 오픈 소스 설치

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.12.0/cert-manager.yaml 

클러스터에 컨트롤러 추가

kubectl apply -f v2_5_4_full.yaml 
kubectl apply -f v2_5_4_ingclass.yaml 

설치 확인

kubectl get deployment -n kube-system aws-load-balancer-controller 
kubectl get sa aws-load-balancer-controller -n kube-system -o yaml

종합 스크립트

aws eks update-kubeconfig --region us-east-2   --name eks-JaeHyuk 

eksctl utils associate-iam-oidc-provider  --region us-east-2   --cluster eks-JaeHyuk  --approve
aws iam create-policy   --policy-name AWSLoadBalancerControllerIAMPolicy  --policy-document file://iam_policy.json
eksctl create iamserviceaccount   --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller  --attach-policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy --override-existing-serviceaccounts  --approve 

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.12.0/cert-manager.yaml 
kubectl apply -f v2_5_4_full.yaml 
kubectl apply -f v2_5_4_ingclass.yaml 

kubectl get deployment -n kube-system aws-load-balancer-controller 
kubectl get sa aws-load-balancer-controller -n kube-system -o yaml

💡 Trouble Shooting

 

aws-load-balancer-controller 가 잘 이뤄졌는지를 확인해보면 다음과같이 결과가 나와야하지만 간혹 과정을 반복하다 보면 0/1 이 되는 경우가 종종있다.

정상적인 모습

 

이럴때 해당 스크립트로 설치된 과정을 모두 삭제하고 다시 설치해주면 오류가 해결된다.

@REM 삭제
kubectl delete -f v2_5_4_ingclass.yaml
kubectl delete -f v2_5_4_full.yaml
kubectl delete -f cert-manager.yaml

eksctl delete iamserviceaccount  --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller
aws iam delete-policy  --policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy
eksctl utils disassociate-iam-oidc-provider  --region us-east-2  --cluster eks-JaeHyuk

@REM 재설치

eksctl utils associate-iam-oidc-provider  --region us-east-2   --cluster eks-JaeHyuk  --approve
aws iam create-policy   --policy-name AWSLoadBalancerControllerIAMPolicy  --policy-document file://iam_policy.json
eksctl create iamserviceaccount   --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller  --attach-policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy --override-existing-serviceaccounts  --approve 

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.12.0/cert-manager.yaml 
kubectl apply -f v2_5_4_full.yaml 
kubectl apply -f v2_5_4_ingclass.yaml 

kubectl get deployment -n kube-system aws-load-balancer-controller 
kubectl get sa aws-load-balancer-controller -n kube-system -o yaml

#3 ECR 이미지 푸쉬

💡 먼저 오류를 방지하기위해 배포할 서비스를 미리 도커화해보면서 도커화 과정에서 이미지 오류가 없는지 먼저 확인하는것이 좋다.

서비스 배포를 위해 도커 이미지를 aws ecr 저장소를 이용할 것이며 다음과같은 명령어로 쉽게 배포가 가능하다.

서비스 코드가 있는 디렉토리 이동

cd 서비스 디렉토리

ecr 레퍼지토리 생성

aws ecr create-repository --repository-name osint-flask --image-scanning-configuration scanOnPush=true --region us-east-2

인증 토큰을 검색하고 레지스트리에 대해 Docker 클라이언트를 인증

aws ecr get-login-password --region us-east-2 | docker login --username AWS --password-stdin 871065065486.dkr.ecr.us-east-2.amazonaws.com

다음 명령을 사용하여 도커 이미지를 빌드(이미지를 이미 빌드한 경우에는 이 단계를 건너뛸 수 있다.)

docker build -t jenkinsflask .

빌드가 완료되면 이미지에 태그를 지정하여 이 리포지토리에 푸시할 수 있습니다.

docker tag jenkinsflask:latest 871065065486.dkr.ecr.us-east-2.amazonaws.com/jenkinsflask:latest

다음 명령을 실행하여 이 이미지를 새로 생성한 AWS 리포지토리로 푸시합니다.

docker push 871065065486.dkr.ecr.us-east-2.amazonaws.com/jenkinsflask:latest

다음과 같이 이미지 배포가 완료되어있다.

종합 스크립트

cd 서비스 디렉토리

aws ecr create-repository --repository-name osint-flask --image-scanning-configuration scanOnPush=true --region us-east-2
aws ecr get-login-password --region us-east-2 | docker login --username AWS --password-stdin 871065065486.dkr.ecr.us-east-2.amazonaws.com

docker build -t osint-flask .
docker tag osint-flask:latest 871065065486.dkr.ecr.us-east-2.amazonaws.com/osint-flask:latest
docker push 871065065486.dkr.ecr.us-east-2.amazonaws.com/osint-flask:latest

#4 서비스 배포

다음과 같이 EKS 클러스터에 서비스를 배포하기위해 YAML 파일을 생성해 배포를 진행한다.

필자는 FALSK를 사용하는 서비스를 배포한다.

1. flask-deployment.yaml:
   • 이 파일은 Kubernetes Deployment를 정의
   • Deployment는 Pod의 레플리카를 관리하며, 어플리케이션의 인스턴스를 실행하고 관리하는데 사용
   • Flask 어플리케이션을 실행하는 컨테이너가 포함된 Pod이 배포
2. flask-service.yaml:
   • 이 파일은 Kubernetes Service를 정의
   • Service는 여러 Pod 간의 네트워크 트래픽을 관리하는 데 사용되며, 어플리케이션의 외부에서 접근할 수 있는 엔드포인트를 제공
   • Flask 어플리케이션에 대한 로드 밸런싱 및 서비스 디스커버리를 제공하기 위해 생성된 서비스를 정
3. flask-ingress.yaml:
   • 이 파일은 Kubernetes Ingress를 정의
   • Ingress는 클러스터 외부에서 클러스터 내부의 서비스로의 HTTP 및 HTTPS 라우팅 규칙을 정의
   • Flask 어플리케이션에 대한 외부에서의 HTTP 트래픽을 처리하고, 특정 경로에 따라 어플리케이션 서비스로 라우팅하는 규칙을 정의

flask-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: osint-flask
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: osint-flask
  template:
    metadata:
      labels:
        app: osint-flask
    spec:
      containers:
        - name: osint-flask
          image: 871065065486.dkr.ecr.us-east-2.amazonaws.com/osint-flask:latest
          imagePullPolicy: Always
          ports:
            - containerPort: 5000

flask-ingress.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: 'osint-flask-ingress'
  namespace: default
  annotations:
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    alb.ingress.kubernetes.io/group.name: eks-demo-group
    alb.ingress.kubernetes.io/group.order: '1'
spec:
  ingressClassName: alb
  rules:
    - http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: 'osint-flask'
                port:
                  number: 5000

flask-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: osint-flask
  annotations:
    alb.ingress.kubernetes.io/healthcheck-path: '/'
spec:
  selector:
    app: osint-flask
  type: NodePort
  ports:
    - port: 5000 # 서비스가 생성할 포트
      targetPort: 5000 # 서비스가 접근할 pod의 포트
      protocol: TCP

💡 Trouble Shooting

간혹가다 FLASK의 포트가 5000이 아니면 오류가 나는경우가 있어 외부 접근 포트를 5000으로 해주는것이 좋다

 

배포 명령어

aws eks update-kubeconfig --region us-east-2 --name eks-JaeHyuk
kubectl apply -f flask-deployment.yaml
kubectl apply -f flask-service.yaml
kubectl apply -f flask-ingress.yaml

#1 ~ #4 스크립트 (ecr 이미지 배포 되었다는 가정)

코드 구성

eks-terraform-final
    └── script
        ├── ingrass
        │   ├── iam_policy.json
        │   ├── v2_5_4_full.yaml
        │   └── v2_5_4_ingclass.yaml
        ├── service
        │   ├── flask-deployment.yaml
        │   ├── flask-ingress.yaml
        └── └── flask-service.yaml

@REM aws-auth ------------------

eksctl create iamidentitymapping  --cluster eks-JaeHyuk --arn arn:aws:iam::871065065486:user/JaeHyuk --username JaeHyuk  --group system:masters

@REM 인그레스 컨트롤러 만들기 -----------------------------------------------------
cd script\ingrass

aws eks update-kubeconfig --region us-east-2   --name eks-JaeHyuk 
eksctl utils associate-iam-oidc-provider  --region us-east-2   --cluster eks-JaeHyuk  --approve
aws iam create-policy   --policy-name AWSLoadBalancerControllerIAMPolicy  --policy-document file://iam_policy.json
eksctl create iamserviceaccount   --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller  --attach-policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy --override-existing-serviceaccounts  --approve 

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.12.0/cert-manager.yaml 
kubectl apply -f v2_5_4_full.yaml 
kubectl apply -f v2_5_4_ingclass.yaml 

kubectl get deployment -n kube-system aws-load-balancer-controller 
kubectl get sa aws-load-balancer-controller -n kube-system -o yaml 

@REM 삭제
pause
kubectl delete -f v2_5_4_ingclass.yaml
kubectl delete -f v2_5_4_full.yaml
kubectl delete -f cert-manager.yaml

eksctl delete iamserviceaccount  --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller
aws iam delete-policy  --policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy
eksctl utils disassociate-iam-oidc-provider  --region us-east-2  --cluster eks-JaeHyuk

@REM 재설치

eksctl utils associate-iam-oidc-provider  --region us-east-2   --cluster eks-JaeHyuk  --approve
aws iam create-policy   --policy-name AWSLoadBalancerControllerIAMPolicy  --policy-document file://iam_policy.json
eksctl create iamserviceaccount   --cluster eks-JaeHyuk  --namespace kube-system  --name aws-load-balancer-controller  --attach-policy-arn arn:aws:iam::871065065486:policy/AWSLoadBalancerControllerIAMPolicy --override-existing-serviceaccounts  --approve 

kubectl get deployment -n kube-system aws-load-balancer-controller 
kubectl get sa aws-load-balancer-controller -n kube-system -o yaml 

cd ../../

@REM 서비스 배포 ----------------------------------------------------------------------
pause

cd D:\wpgur\terraform\eks-terraform-final\JUNGSINT_menifest

aws eks update-kubeconfig --region us-east-2 --name eks-JaeHyuk
kubectl apply -f flask-deployment.yaml
kubectl apply -f flask-service.yaml
kubectl apply -f flask-ingress.yaml

powershell -Command "echo http://$(kubectl get ingress/osint-flask-ingress -o jsonpath='{.status.loadBalancer.ingress[*].hostname}')/"

cd ../