배치 서비스 쪼개기

외부 API 를 이용해서 데이터를 수집 후 -> 변환 -> 우리 DB 로 적재하는 케이스

 

문제: 외부 APi 사는 서버가 부하를 잘 못견뎌서 배치 처리가 중간에 실패할 여지가 있음

 

해결 방법: 

• 배치 서비스 쪼개기. 하나는 외부 데이터만을 그대로 적재하는 서비스. 다른 하나는 적재된 데이터를 가공해서 적재하는 배치. 이 방법은 외부 서비스의 의존 문제를 해결해줌. 배치 처리를 여러번 실행시키는데 문제없음
• 체크포인트 기능 도입. 이건 우리쪽 비즈니스 로직의 오류로 여러번 배치를 실행시키면 타사의 서비스에 장애를 유도할 수 있음

 

 

외부 서버에서 안정적으로 데이터를 적재하는 방법은?

• Rate Limiter 적용해서 api 호출 속도 제어

 

 

우리쪽 서비스에서 배치가 터지지 않게 안정적으로 데이터를 가져오는 방법은?

• 조금씩 페이지 처리