Spring Boot 무중단 배포하기 (AWS ec2 + Nginx + Github self -hosted runner)

들어가며

실무에 적용하는 프로젝트가 아닌 간단한 사이드 프로젝트를 배포하는 경우에도 다양한 방식을 사용할 수 있다.

 

가장 간단한 배포 방식은 Github Action을 이용해 브랜치가 푸시되면 기존 프로그램을 종료하고 새로운 프로그램을 다시 띄우는 방식일 것이다. 하지만 기존 프로그램이 종료되고 새로운 프로그램을 띄우는 사이에 서비스가 중단되기 때문에, 이러한 중단 없이 배포할 수 있는 무중단 배포 를 하고자 한다.

 

무중단 배포를 진행하기 위해 Blue/Green 배포 방식을 사용하고자 한다. Blue/Green 배포 방식은 옛날 버전으로 실행중인 WAS가 존재한다면 해당 WAS를 종료시키지 않은 채 새로운 버전의 WAS를 구동시킨다. 성공적으로 구동되었다면 Nginx가 새로운 버전의 WAS를 바라보게 리로드한다. 리로딩이 성공하면 모든 트래픽이 새로운 버전의 WAS로 들어가게 되므로, 예전 버전의 WAS를 종료시키면 된다.

 

처음에는 회사에서도 경험해본 적 있는 Jenkins를 사용하려 했으나 jar 파일을 빌드하는 과정에서 사양 문제(프리 티어 환경)로 인해 ec2가 죽어버리는 불상사가 발생해.. github action을 사용하기로 했다. 🥲

gradlew build에서 무한대기가 걸려버린 Jenkins..

 

간단히 배포 순서를 요약하면 아래와 같다. 아래에서 하나하나가 어떤 동작을 하는지 코드와 함께 살펴볼 것이다.

• ec2(ubuntu) 인스턴스를 생성한다.
• github action workflow를 작성한다.
• ec2 인스턴스에 Nginx, Github self-hosted runner를 설치한다.
• ec2 인스턴스에 deploy 스크립트를 작성한다.

 

EC2 인스턴스 생성하기

나는 Ubuntu 환경이 익숙하기 때문에 프리티어 사용이 가능한 Ubuntu AMI를 사용했다.

 

그리고 아래와 같이 스토리지를 최대 30GiB 사용할 수 있으므로 최대로 설정해두었다.

8GiB로 설정하면 github runner 파일이 은근 커서 꽉차버려 귀찮게 늘려주어야 하는 불상사가 발생할 수 있다.

 

설정은 이정도로 마무리하고 인스턴스를 시작한다.

이후, 보안 그룹의 인바운드 규칙을 설정하여 사용하려는 포트를 추가해주어야 한다. 80 포트는 Nginx에서 사용하므로 추가해주었다.

Github Action 파일 작성하기

ec2의 리소스 사용량을 줄여줄 Github Action을 작성해보겠다.

 

먼저 build-and-upload와 deploy라는 두 개의 job으로 나누어진다.

build-and-upload job은 github에서 알아서 수행해주는 것이고, deploy job은 ec2에서 수행하도록 구성한다.

• build-and-upload job에서는 gradle으로 jar파일을 만들어 github artifact에 업로드하는 작업을 수행한다.
• deploy job에서는 ec2에서 github artifact로부터 jar 파일을 다운받은 후 deploy 스크립트를 실행시킴으로써 내부적으로 무중단배포가 진행되도록 한다. 그리고 배포가 성공하면 슬랙으로 메시지를 보내게 된다.

name: Backend develop CI/CD

on:
  push:
    branches:
      - develop

permissions:
  contents: read
  
jobs:
  build-and-upload:
    runs-on: ubuntu-22.04

    steps:
    - name: Checkout repository
      uses: actions/checkout@v4
    
    - name: Set up JDK 19
      uses: actions/setup-java@v4
      with:
        distribution: 'corretto'
        java-version: '19'

    - name: Give permission for Gradle
      run: chmod +x gradlew

    - name: Cache Gradle
      id: cache-gradle
      uses: actions/cache@v4
      with:
        path: ~/.gradle/caches
        key: ${{ runner.os }}-gradle-${{ hashFiles('**/*.gradle') }}
        restore-keys: |
          ${{ runner.os }}-gradle-

    - name: Build with Gradle
      run: ./gradlew :perfume-core:clean :perfume-api:clean :perfume-api:bootJar
        
    - name: Upload jar file to artifact
      uses: actions/upload-artifact@v3
      with:
        name: BackendApplication
        path: perfume-api/build/libs/perfume-api-0.0.1.jar

  deploy:
     runs-on: [ self-hosted, dev ]
     needs: build-and-upload
  
     steps:
      - name: Delete old jar file
        run: rm -rf /home/ubuntu/backend/build/*.jar 

      - name: Download jar file from artifact
        uses: actions/download-artifact@v3 
        with:
          name: BackendApplication
          path: /home/ubuntu/backend/build/

      - name: Deploy Application
        run: sh /home/ubuntu/backend/deploy.sh

      - name: Send Slack Message
        uses: 8398a7/action-slack@v3
        with:
          mention: 'here'
          if_mention: always
          status: ${{ job.status }}
          fields: workflow,job,commit,message,ref,author,took
        env:
          SLACK_WEBHOOK_URL: ${{ secrets.SLACK_WEBHOOK_URL }}
        if: always()

Github self-hosted runner 등록하기

프로젝트의 Settings 탭에 들어가 Actions-Runners에서 새로운 Runner를 만든다. ec2는 Linux 환경이므로 Runner image를 Linux로 선택해주었다.

그리고 아래에 제공되는 명령어들을 순차적으로 ec2에서 실행하면 된다.

./run.sh 를 실행할 때 nohup ./run.sh & 명령어를 사용하면 백그라운드에서 수행하도록 할 수 있다.

Nginx 설치하기

sudo apt-get install nginx 명령어로 nginx를 설치한다.

vi /etc/nginx/sites-enabled/default 를 통해 아래와 같은 내용을 추가한다.

client_max_body_size 100M;
include conf.d/service-url.inc;
proxy_pass $service_url;

 

다 작성되면 아래와 같은 모양이 될 것이다.

server {
	listen 80 default_server;
	listen [::]:80 default_server;

	client_max_body_size 100M;
	include conf.d/service-url.inc;

	root /var/www/html;

	index index.html index.htm index.nginx-debian.html;

	server_name _;

	location / {
		# First attempt to serve request as file, then
		# as directory, then fall back to displaying a 404.
		proxy_pass $service_url;
	}
}

 

vi /etc/nginx/conf.d/service-url.inc 를 통해 service url을 설정해준다. 이 url은 배포 스크립트에 의해 유동적으로 변경될 것이다.

set $service_url http://127.0.0.1:8089;

 

이후 sudo systemctl start nginx 를 통해 nginx를 실행시킨다.

deploy 스크립트 작성하기

사실 상 이번 글에서 가장 중요한 deploy.sh 에 대해 소개한다.

토이 프로젝트인 만큼 안정성이 뛰어나지는 않지만 가장 직관적인 방법이다.

 

스크립트에서 수행되는 작업은 다음과 같다.

1. 일단 다양한 스프링 환경 변수를 알맞게 설정해준다.

2. 그리고 nginx에 설정한 현재 포트가 8088인지, 8089인지 확인하여 새로운 프로세스의 포트를 결정한다.

3. 정상적으로 새로운 프로세스가 띄워졌는지 Spring Actuator를 통해 확인한다.

4. 정상적으로 구동이 되었다면 nginx를 리로드하여 새로운 프로세스를 바라보게하고 기존 프로세스는 kill 한다.

# 1
# 스프링 환경 변수 설정
# export DB_HOST=localhost

# 2
CURRENT_PORT=$(sudo cat /etc/nginx/conf.d/service-url.inc | grep -Po '[0-9]+' | tail -1)
if [ ${CURRENT_PORT} -eq 8089 ]
  then
    echo "블루 컨테이너 실행"
    sudo -E nohup java -jar /home/ubuntu/backend/build/perfume-api-0.0.1.jar --spring.profiles.active=dev --server.port=8088 /> /home/ubuntu/backend/backend.log 2>&1 &
    BEFORE_COLOR="green"
    AFTER_COLOR="blue"
    BEFORE_PORT=8089
    AFTER_PORT=8088
elif [ ${CURRENT_PORT}	-eq 8088 ]
  then
    echo "그린 컨테이너 실행"
    sudo -E nohup java -jar /home/ubuntu/backend/build/perfume-api-0.0.1.jar --spring.profiles.active=dev --server.port=8089 /> /home/ubuntu/backend/backend.log 2>&1 &
    BEFORE_COLOR="blue"
    AFTER_COLOR="green"
    BEFORE_PORT=8088
    AFTER_PORT=8089
else
  echo "등록된 포트 없음"
  exit 1
fi

# 3
for cnt in $(seq 10)
  do
    echo "서버 응답 확인중(${cnt}/10)";
    if curl -s http://127.0.0.1:${AFTER_PORT}/api/actuator/health > /dev/null
      then
        UP="up"
        break
      else
        UP="down"
    fi
    if [ "${UP}" != "up" ]
      then
        sleep 10
        continue
      else
        break
    fi
done

if [ $cnt -eq 10 ]
  then
    echo "서버 구동 실패"
    exit 1
fi

# 4
sudo sed -i "s/${BEFORE_PORT}/${AFTER_PORT}/" /etc/nginx/conf.d/service-url.inc
sudo nginx -s reload
echo "배포 완료"

echo "$BEFORE_COLOR server down(port:${BEFORE_PORT})"
sudo lsof -t -i:${BEFORE_PORT} | xargs -I {} sudo kill -15 {}

 

마치며

아주 간단한 무중단 배포를 완료했다.

처음에 CD를 진행하면서 환경변수, Nginx 설정 실수 등으로 인해 아주 애를 먹었는데 이렇게 잘 동작하는 파이프라인을 구축하니 행복하다 ㅠ_ㅠ

앞으로 Nginx를 좀 더 공부해서 어떠한 설정들이 있는지 확인해보아야겠다.

 

참고 자료

https://gnuoyus.tistory.com/96

https://map-befine-official.github.io/github-actions-ci-cd/