Linux Transparent Huge Pages(THP) 활성화 시 장단점 분석

Linux의 메모리 관리 기능 중 하나인 Transparent Huge Pages(THP)는 애플리케이션이 별도 설정을 하지 않아도 큰 페이지(Huge Page)를 자동으로 사용하게 해 성능을 개선하려는 목적의 기능이다.
하지만 THP는 모든 환경에서 무조건 이점만 주는 것은 아니며, 워크로드 특성에 따라 성능 저하나 지연(latency)을 유발하기도 한다.
이 글에서는 THP의 동작 원리와 활성화 시 얻을 수 있는 장점, 그리고 실제 운영 환경에서 주의해야 할 단점을 기술적으로 분석한다.

1. Transparent Huge Pages(THP)의 기본 개념

리눅스는 기본적으로 4KB 크기의 페이지를 사용해 메모리를 관리한다.
THP는 이 기본 페이지 대신 2MB 크기의 Huge Page를 자동으로 할당해 사용하는 기능이다.

THP의 핵심 특징은 다음과 같다.

애플리케이션 수정 없이 Huge Page 사용 가능
커널이 자동으로 페이지 병합 및 분할 수행
TLB(Translation Lookaside Buffer) 효율 향상 목적
명시적 HugeTLB 설정 없이 동작

즉, THP는 Huge Page 사용을 “투명하게” 제공하는 메모리 최적화 기능이다.

2. THP의 동작 방식

THP는 메모리 할당 시점과 실행 중에 다음과 같은 방식으로 동작한다.

메모리 할당 시 가능한 경우 2MB Huge Page로 매핑
기존 4KB 페이지들을 백그라운드에서 병합
필요 시 Huge Page를 다시 4KB 페이지로 분할
khugepaged 커널 스레드가 병합 작업 담당

이 과정은 애플리케이션 입장에서는 보이지 않지만, 커널 내부에서는 상당한 연산이 발생할 수 있다.

3. THP 활성화의 장점

TLB 미스 감소로 인한 성능 향상

Huge Page를 사용하면 동일한 메모리 영역을 더 적은 TLB 엔트리로 관리할 수 있다.
그 결과 TLB 미스가 줄어들고 CPU 메모리 접근 효율이 개선된다.

메모리 접근 성능 개선

대용량 연속 메모리를 사용하는 애플리케이션에서는 페이지 테이블 탐색 비용이 줄어들어 성능 향상이 나타날 수 있다.

설정 및 관리의 편의성

HugeTLB처럼 사전 예약이나 애플리케이션 수정이 필요 없기 때문에 운영 관리 부담이 적다.

일부 워크로드에서 체감 성능 향상

다음과 같은 경우 THP의 효과가 비교적 뚜렷하다.

대규모 힙을 사용하는 자바 애플리케이션
인메모리 캐시
대용량 연속 메모리 접근 패턴을 가진 서비스

4. THP 활성화의 단점

예측 불가능한 지연(latency) 발생

THP는 페이지 병합과 분할을 런타임 중에 수행한다.
이 과정에서 CPU 사용량이 증가하거나 일시적인 지연이 발생할 수 있다.

실시간·저지연 워크로드에 부적합

데이터베이스, 금융 트레이딩 시스템처럼 지연에 민감한 서비스에서는
THP로 인한 일시적인 스톨이 문제를 일으킬 수 있다.

메모리 단편화 가능성 증가

2MB 연속 공간이 필요하기 때문에 메모리 단편화가 심한 시스템에서는 Huge Page 할당이 실패하거나 빈번한 분할이 발생할 수 있다.

NUMA 환경에서의 부작용

NUMA 시스템에서는 Huge Page가 특정 노드에 치우쳐 할당되면서
메모리 접근 지연이나 불균형이 발생할 수 있다.

5. 데이터베이스 환경에서의 THP 이슈

THP는 특히 데이터베이스 환경에서 자주 비활성화된다.

대표적인 이유는 다음과 같다.

페이지 분할 시 응답 지연 발생
메모리 접근 패턴이 THP와 맞지 않음
성능 편차가 커짐
MySQL, Oracle, PostgreSQL 공식 권장 사항에서 비활성화 권고

이 때문에 많은 DB 서버 운영 가이드에서는 THP를 disable로 설정하는 것을 기본 전제로 한다.

6. THP 설정 모드별 차이

THP는 세 가지 모드로 설정할 수 있다.

always

가능한 모든 경우 Huge Page 사용
성능 향상 가능성은 높지만 지연 리스크도 큼

madvise

애플리케이션이 명시적으로 요청한 경우만 사용
성능과 안정성의 절충안
현대 리눅스 환경에서 가장 권장되는 설정

never

THP 완전 비활성화
지연 민감 워크로드에 적합

운영 환경에서는 madvise 또는 never가 많이 선택된다.

7. 실제 운영 환경에서의 선택 기준

THP 활성화 여부는 워크로드 특성에 따라 결정해야 한다.

THP를 활성화하기 좋은 경우

배치 처리 위주의 서버
대용량 메모리 연속 접근이 많은 서비스
지연보다 처리량이 중요한 환경

THP를 비활성화하기 좋은 경우

데이터베이스 서버
실시간 처리 시스템
응답 시간 일관성이 중요한 서비스
NUMA 최적화가 중요한 환경

“모든 서버에 THP를 켠다” 또는 “무조건 끈다”는 접근은 바람직하지 않다.

8. 성능 테스트와 모니터링의 중요성

THP는 환경에 따라 결과가 극단적으로 달라질 수 있다.
따라서 설정 변경 전후에는 반드시 다음 항목을 확인해야 한다.

평균 응답 시간 및 P99 latency
CPU 사용률 변화
메모리 단편화 상태
khugepaged CPU 사용량
TLB miss 변화

실제 측정 결과를 기반으로 판단하는 것이 가장 안전한 접근이다.

9. 정리 및 결론

Transparent Huge Pages는 메모리 접근 효율을 높이기 위한 유용한 기능이지만,
모든 워크로드에서 항상 성능 향상을 보장하지는 않는다.

THP의 핵심 요약

TLB 효율 개선으로 처리량 향상 가능
자동 병합/분할로 관리 편의성 제공
지연 민감 환경에서는 성능 저하 위험
데이터베이스 환경에서는 대부분 비활성화 권장

결국 THP는 “성능 향상 옵션”이 아니라
워크로드 특성에 맞춰 선택해야 하는 메모리 정책이다.
운영 환경에 맞는 설정과 충분한 검증이 THP를 올바르게 활용하는 핵심이다.