로그 수집 서비스 성능 개선하기(수집 서버 편)

이 글에서는 대량의 로그 트래픽을 받아 AWS ElastiCache에 저장하는 로그 수집 서버를 성능 개선하는 방법을 다루고 있습니다.

• (1/4) 성능 테스트

• (2/4) Get started with k6

• (3/4) k6 with InfluxDB(& Prometheus)

• (4/4) 로그 수집 서비스 성능 개선하기(정제 서버 편)

테스트 환경

- Spring Boot 3.3.4
- Java 21

AWS EKS Pod spec
- request.cpu : 125m
- request.memory : 256Mi
- limits.cpu : 1000m
- limits.memory : 512Mi

stages: [
    { duration: '1m', target: 100 }, // 먼저 1분 동안 VUs 1에서 100까지 상승
    { duration: '2m',target: 100 },  // VUs 100에서 2분간 유지
    { duration: '30s', target: 125 },// 30초 동안 VUs 100에서 125까지 상승
    { duration: '2m',target: 125 },  // VUs 125에서 2분간 유지
    { duration: '30s', target: 0 },  // 30초 동안 VUs 0으로 하락
],

성능 측정

• http_req_duration : avg=138.31ms, p(95)=210.89ms

• http_reqs : 253373(reqs) 703.809544/s

성능 저하의 원인

// Controller
@PostMapping
public Callable<ResponseObject> insertLogBuffer(@RequestBody String rawLog) {
    return () -> collectLogService.insertLog(rawLog);
}

// Async Configuration
@Bean
public AsyncTaskExecutor taskExecutor() {
		// 이해를 위해 불필요한 것은 삭제하였습니다.
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
    executor.initialize();
    return executor;
}
@Override
public void configureAsyncSupport(AsyncSupportConfigurer configurer) {
    configurer.setTaskExecutor(taskExecutor());
}

// class ThreadPoolTaskExecutor
private int corePoolSize = 1;
private int maxPoolSize = Integer.MAX_VALUE;
private int queueCapacity = Integer.MAX_VALUE;

@Bean
public AsyncTaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(20);
    executor.setMaxPoolSize(20);
    executor.setQueueCapacity(50);
    executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
    executor.initialize();
    return executor;
}

Callable 최적화

• http_req_duration : avg=78.68ms, p(95)=142.83ms

• http_reqs : 443484 1231.909566/s

• http_req_duration : avg=72.44ms, p(95)=124.29ms

• http_reqs : 480480 1334.623717/s

@Async + CompletableFuture

// Controller
@PostMapping
public CompletableFuture<ResponseObject> insertLogBuffer(@RequestBody String rawLog) {
    return collectLogService.insertLog(rawLog);
}

// Service  
@Async
public CompletableFuture<ResponseObject> insertLog(String rawLog) {
	/* Log Insert 동작 */
}

// Async Configuration
@Bean
public AsyncTaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(10);
    executor.setMaxPoolSize(10);
    executor.setQueueCapacity(50);
    executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
    executor.initialize();
    return executor;
}

• http_req_duration : , avg=68.31ms, p(95)=112.43ms

• http_reqs : 510415 1417.794445/s

VirtualThread + CompletableFuture

• 가상 스레드는 OS 스레드에 직접 매핑되지 않아 매우 가벼움

• 여러 가상 스레드가 하나의 OS 스레드를 공유

• I/O 바운드 작업이 많고 높은 동시성이 요구되는 상황에서 특히 유용

# application.properties
spring.threads.virtual.enabled: true

// Controller
private final ExecutorService taskExecutor = Executors.newVirtualThreadPerTaskExecutor();

@PostMapping
public CompletableFuture<ResponseObject> insertLogAsync(@RequestBody String rawLog) {
    return CompletableFuture.supplyAsync(() -> collectLogService.insertLog(rawLog), taskExecutor);
}

• CPU 880m, 메모리 305Mi

• http_req_duration : avg=53.78ms, p(95)=104.14ms

• http_reqs : 644003 1788.880797/s

정리