Skip to content
TungDaDev's Blog

Docker cho dev Java: bẫy PID 1, OOMKilled 137 và image distroless

Docker.jpeg
Published on
13 mins read

Rolling update xong, dashboard lốm đốm một loạt lỗi 502. Pod cũ đang xử lý dở request thì bị giết ngang, dù app đã cấu hình graceful shutdown cẩn thận. Thủ phạm là một dòng ENTRYPOINT viết thiếu cặp ngoặc vuông.

Lỗi kiểu này hay đến từ chỗ coi Docker là "máy ảo thu nhỏ". Container không phải máy ảo, và hiểu sai chỗ đó thì lên Production hay gặp mấy lỗi quen mặt:

  • Nhét nguyên JDK 800MB cùng Maven vào image Production, container thành cái kho CVE vulnerabilities di động.
  • Chạy container bằng root, ngược hẳn nguyên tắc Least Privilege.
  • Rolling update trên Kubernetes thì service bị gián đoạn, vì process Java không nhận được SIGTERM (bẫy PID 1).
  • App Java tự dưng chết với Exit Code 137 (OOMKilled), chỉ vì không nắm cách Cgroups v2 và JVM Container Awareness hoạt động.

# container nhìn từ linux kernel

Có một điều nên nhớ thật kỹ: trong Linux kernel không hề có thứ gì tên là "container".

Container thật ra chỉ là một process Linux bình thường, bị giới hạn những gì nó được nhìn thấy và được dùng, dựa trên 3 tính năng của kernel:

# virtual machine với container khác nhau chỗ nào

Tiêu chíMáy ảo (Virtual Machine - KVM/VMware)Linux Container (Docker/containerd)
Kiến trúcChạy nguyên một hệ điều hành khách (Guest OS) trên Hypervisor.Dùng chung Linux kernel với Host OS.
Thời gian khởi động30 giây tới vài phút (boot BIOS, boot OS).Dưới một giây (dựng namespace, cgroup rồi exec() process).
Tốn bộ nhớMất vài GB RAM chỉ để nuôi Guest OS.Gần như bằng 0 (process dùng bao nhiêu thì tốn bấy nhiêu).
Hiệu năng I/OChậm hơn vì phải đi qua lớp ảo hoá Hypervisor.Gần như ngang chạy thẳng trên phần cứng.

# filesystem phân tầng overlayfs & copyOnWrite

Pull một image 500MB rồi chạy 100 container từ nó, liệu máy có tốn 500MB x 100 = 50GB ổ cứng không?

Không. Ổ cứng chỉ tốn đúng 500MB, cộng thêm phần mỗi container tự ghi ra (lúc mới chạy thường chỉ vài KB). Có được vậy là nhờ OverlayFS:

Cơ chế ở đây nằm ở hai nguyên tắc: Immutable layers và Copy-on-Write (CoW). Mọi layer lấy từ image (LowerDir) đều chỉ đọc, nên cả 100 container cùng trỏ vào đúng một bản dữ liệu trên đĩa. Khi một container muốn sửa một file có sẵn trong base image, OverlayFS mới chép nguyên file đó từ LowerDir lên tầng ghi riêng (UpperDir) của container đó rồi mới cho sửa, các container khác không hề hấn gì.

Cũng vì Copy-on-Write chép ở mức nguyên file (file-level) chứ không phải từng block, nếu trong image có sẵn một file 1GB mà container mở ra sửa dù chỉ 1 byte, kernel vẫn phải copy cả 1GB đó lên UpperDir ngay lần ghi đầu tiên, gây khựng I/O rõ rệt. Đó là lý do dữ liệu thay đổi liên tục như database hay file log lớn nên mount qua Docker Volume hoặc bind mount để đi thẳng xuống đĩa host, bỏ qua OverlayFS.


# bẫy pid 1 & graceful shutdown trên kubernetes

Hiểu cách container được cô lập rồi, giờ nhìn vào bên trong PID Namespace của nó sẽ thấy một lỗi rất hay gặp khi chạy Docker trên Kubernetes: process Java bị giết ngang lúc rolling update.

# ĐỊNH DẠNG SAI LẦM PHỔ BIẾN (Shell Form):
ENTRYPOINT java -jar app.jar

# shell form hỏng ở đâu

Viết ENTRYPOINT java -jar app.jar (shell form) thì Docker chạy lệnh qua /bin/sh -c:

PID 1 = /bin/sh  --->  PID 2 (Child) = java -jar app.jar

Khi Kubernetes muốn tắt Pod để lên version mới, nó gửi tín hiệu SIGTERM tới PID 1 trong container. Khổ nỗi PID 1 lúc này là /bin/sh chứ không phải JVM. /bin/sh mặc định không chuyển tiếp (forward) SIGTERM xuống các process con như Java (PID 2). Chưa kể trong Linux kernel, PID 1 được đối xử đặc biệt: kernel bỏ qua các hành vi mặc định kiểu "nhận SIGTERM là dừng" nếu bản thân PID 1 không tự đăng ký signal handler. Thế là tín hiệu tắt máy rơi vào khoảng không.

Hệ quả là suốt 30 giây chờ đợi (terminationGracePeriodSeconds mặc định), ứng dụng Java không hề biết mình sắp bị tắt, vẫn nhận request mới như thường. Hết 30 giây, Kubernetes hết kiên nhẫn và bắn thẳng SIGKILL (force kill) ở tầng kernel. Mọi request đang chạy bị cắt ngang, phía gateway/load balancer thường trả về HTTP 502 Bad Gateway cho khách.

Có một chi tiết hơi oái oăm: không phải /bin/sh nào cũng vậy. Busybox sh trên Alpine thấy -c chỉ có đúng một lệnh thì exec thẳng lệnh đó, Java thành PID 1 luôn. Còn dash trên image Debian/Ubuntu (như eclipse-temurin:21-jre-jammy) thì vẫn giữ sh làm PID 1. Đừng trông vào chuyện may rủi này, cứ dùng exec form như dưới đây.

# cách đúng: exec form

Luôn dùng cú pháp mảng JSON (exec form). Như vậy process Java trở thành PID 1 luôn. JVM tự cài handler cho SIGTERM (để chạy các shutdown hook), nên nó nhận được tín hiệu và có thời gian xử lý xong các request đang chạy rồi mới tắt:

# ĐỊNH DẠNG CHUẨN XÁC (Exec Form):
ENTRYPOINT ["java", "-jar", "app.jar"]

Nếu buộc phải chạy qua script shell (ví dụ cần xử lý biến môi trường trước khi chạy), thì dòng cuối script dùng exec java -jar app.jar để Java thay chỗ shell làm PID 1. Cần dọn process zombie thì chạy container với docker run --init (hoặc dùng tini).

TIP

Với Spring Boot, cấu hình server.shutdown=graceful và spring.lifecycle.timeout-per-shutdown-phase=20s trong application.yml để Tomcat xử lý xong các request in-flight trước khi process thoát. Từ Spring Boot 3.4, graceful shutdown đã bật sẵn với timeout mặc định 30s, nên chủ yếu là chỉnh timeout cho nhỏ hơn grace period của Kubernetes. Trên Kubernetes còn một cái bẫy nữa: Pod nhận SIGTERM gần như cùng lúc với việc bị gỡ khỏi Service endpoint, nên vài giây đầu vẫn có request mới chạy tới. Cách hay dùng là thêm preStop hook chờ vài giây (vd sleep 5, hoặc action sleep có sẵn từ Kubernetes 1.30) để traffic kịp chuyển đi.


# jvm container awareness và exit code 137

Trước Java 10 (và bản backport 8u191), JVM không hề biết mình đang chạy trong container. Riêng cgroups v2 thì phải từ Java 15, hoặc các bản backport 11.0.16 và 8u372, JVM mới đọc được. Host đời mới (Ubuntu 22.04+, RHEL 9, Kubernetes bản gần đây) đều đã chuyển sang cgroups v2, nên một bản Java 11/8 cũ chưa cập nhật vẫn "mù" y như thời trước.

Thử hình dung kịch bản này: bạn giới hạn cho container limits.memory = 1GB, nhưng node Kubernetes bên dưới là máy host có 64GB RAM. Lúc khởi động, JVM cũ hỏi hệ điều hành xem máy có bao nhiêu RAM; namespace không che phần này nên câu trả lời vẫn là 64GB RAM của máy host. Theo quy tắc mặc định, JVM tự lấy 1/4 RAM làm Max Heap:

Max Heap = 64GB / 4 = 16GB

Thế là JVM tưởng heap còn rộng, cứ nới heap ra thay vì dọn rác sớm. Khi tổng bộ nhớ của process vượt ngưỡng 1GB của container, Linux Cgroup OOM-Killer lập tức nhảy vào giết chết process kèm Exit Code 137 (128 + 9, tức bị giết bởi SIGKILL số 9).

# bộ tham số jvm nên dùng

java -XX:+UseContainerSupport \
     -XX:MaxRAMPercentage=75.0 \
     -XX:InitialRAMPercentage=75.0 \
     -XX:+ExitOnOutOfMemoryError \
     -jar app.jar
  • -XX:+UseContainerSupport: bật sẵn từ Java 10 (và 8u191), bắt JVM đọc giới hạn tài nguyên từ /sys/fs/cgroup. Ghi ra cho rõ ý thôi, bỏ đi cũng không sao.
  • -XX:MaxRAMPercentage=75.0: heap được dùng tối đa 75% RAM của container. Mặc định JVM chỉ lấy 25%, nên container 1GB mà để nguyên mặc định thì heap chỉ được 256MB, phí khá nhiều. 25% còn lại phải chừa cho Metaspace, stack của các thread, Garbage Collector và native memory buffer. Container nhỏ (dưới 1GB) hoặc app nhiều thread, dùng nhiều direct buffer thì nên hạ xuống 60-70%.
  • -XX:+ExitOnOutOfMemoryError: hết heap thì JVM thoát hẳn để orchestrator khởi động lại, thay vì sống dở chết dở sau OutOfMemoryError.

# dockerfile multi-stage & distroless hardening

Một Dockerfile viết vội thường cho ra image 600MB - 1GB, chứa đủ compiler, package manager (apt, apk) và chạy bằng root.

Dưới đây là Dockerfile mình dùng cho production, kết hợp Spring Boot Layered JARs (cú pháp dưới cho Spring Boot 3.3 trở lên) với distroless non-root image. Riêng base image distroless Java 21 đã khoảng 200MB trên đĩa (nén trong registry chừng 63MB), cộng thêm dependency của app:

# STAGE 1: Extract Spring Boot Layered JAR
FROM eclipse-temurin:21-jre-jammy AS extractor
WORKDIR /builder
ARG JAR_FILE=target/*.jar
COPY ${JAR_FILE} application.jar
# Tách Fat JAR thành 4 layers độc lập tận dụng Docker Cache
# (Spring Boot < 3.3: java -Djarmode=layertools -jar application.jar extract, layertools đã bị gỡ từ 4.1)
RUN java -Djarmode=tools -jar application.jar extract --layers --launcher --destination /extracted
 
# STAGE 2: Production Distroless Runtime
# Sử dụng Google Distroless Image: Không chứa shell, không package manager -> giảm mạnh attack surface
FROM gcr.io/distroless/java21-debian12:nonroot
WORKDIR /application
 
# Copy từng layer theo thứ tự tần suất thay đổi từ thấp đến cao:
# 1. Thư viện bên thứ 3 (Hiếm khi đổi -> Cache hit 100%)
COPY --from=extractor /extracted/dependencies/ ./
COPY --from=extractor /extracted/spring-boot-loader/ ./
COPY --from=extractor /extracted/snapshot-dependencies/ ./
# 2. Mã nguồn ứng dụng của công ty (Thay đổi liên tục -> Tầng trên cùng)
COPY --from=extractor /extracted/application/ ./
 
# Chạy dưới quyền non-root mặc định (UID 65532 của distroless)
USER nonroot:nonroot
 
# Phơi bày cổng dịch vụ
EXPOSE 8080
 
# Cấu hình JVM Container Support & Exec Form chuẩn mực
ENV JAVA_TOOL_OPTIONS="-XX:+UseContainerSupport -XX:MaxRAMPercentage=75.0 -XX:+ExitOnOutOfMemoryError"
 
ENTRYPOINT ["java", "org.springframework.boot.loader.launch.JarLauncher"]

# vì sao viết dockerfile kiểu này

  1. Tận dụng layer cache: sửa 1 dòng code Java thì Docker chỉ build lại layer application/ (vài MB). Cả trăm MB thư viện trong dependencies/ lấy lại từ cache gần như tức thì, lúc push/pull cũng chỉ phải đẩy layer đã đổi.
  2. Gần như không có gì để tấn công: image distroless không có /bin/sh, không curl, không apt. Kẻ tấn công có khai thác được lỗ hổng Remote Code Execution (RCE) thì cũng không có sẵn shell hay công cụ để tải thêm đồ nghề, leo quyền khó hơn nhiều. Khó hơn chứ không phải bất khả thi, nên vẫn phải vá lỗ hổng và quét image định kỳ.
  3. Chạy non-root: lỡ có lỗ hổng thoát ra khỏi container (container escape) thì host OS vẫn an toàn hơn nhiều.

# so sánh hai cách viết

Tiêu chíDockerfile viết vộiDockerfile chuẩn production
Dung lượng image800MB - 1.2GB~200-300MB trên đĩa (nén ~100MB)
User chạyChạy quyền rootChạy quyền nonroot (UID 65532)
Bề mặt tấn công (Attack Surface)Có shell, curl, compilerDistroless (không shell, không package manager)
Tốc độ CI/CDMỗi lần upload nguyên 1GBChỉ upload vài MB nhờ Layered JARs
Graceful ShutdownDính shell form (bị kill sau 30s)Exec form (PID 1 nhận được SIGTERM)
Quản lý RAMDễ dính OOMKilled 137MaxRAMPercentage 75%, tự theo cgroups

# tổng kết

Mở Dockerfile của service đang chạy production và soát bốn chỗ, mỗi chỗ chưa tới năm phút:

  • ENTRYPOINT/CMD có viết dạng mảng JSON không. Nếu là script shell thì dòng cuối phải là exec java ....
  • Bản Java trong image có đọc được cgroups v2 không (Java 15+, hoặc 11.0.16 / 8u372 trở lên), và đã đặt MaxRAMPercentage chưa.
  • Có dòng USER nào không, hay container vẫn chạy bằng root.
  • Stage cuối có còn kéo theo JDK, Maven, curl hay không. Nếu có thì tách multi-stage như mẫu ở trên.

Chỗ nào chưa đạt thì sửa trước khi tối ưu thứ khác. Mấy lỗi này chỉ lộ ra lúc deploy hoặc lúc tải cao, đúng thời điểm khó gỡ nhất.


Chỉ là những ghi chép cá nhân với hy vọng mang lại chút giá trị. Nếu thấy hữu ích, đừng ngại chia sẻ cho bạn bè & đồng nghiệp nhé!

Happy coding 😎 👍🏻 🚀 🔥.