Java string pool: StringTable, cái bẫy intern() và string dedup

- Published on
- 11 mins read
Một heap dump mở ra, top đầu là byte[] và String. Đào sâu thêm thì thấy hàng chục triệu bản sao của đúng mấy chuỗi "VND", "USD", "ACTIVE".
Chuyện này không hiếm. Theo số đo được dẫn trong JEP 192, ở các ứng dụng Java lớn, object String chiếm khoảng 25% dữ liệu sống trên heap, và khoảng một nửa trong số đó là bản trùng của nhau.
Nhiều người chỉ biết String Pool qua câu hỏi phỏng vấn mẹo: s1 == s2 ra true hay false. Nhìn từ góc người tối ưu JVM thì nó là một bảng băm C++ native (StringTable) nằm ngay trong HotSpot runtime. Gọi String.intern() bừa bãi trên dữ liệu động có thể làm GC khổ sở và phình bảng băm, trên JDK cũ còn kéo tốc độ tra cứu từ O(1) xuống O(N). Còn bật String Deduplication thì đỡ phải sửa code, nhưng tiết kiệm được ít hơn bạn tưởng.
# String Pool dời từ PermGen sang heap
Muốn hiểu kiến trúc bây giờ thì phải nhìn lại JVM đã thay đổi thế nào qua các đời:
# sao lại dời String Pool ra khỏi PermGen?
Ở Java 6, PermGen có kích thước cố định và khá nhỏ. Ứng dụng nào nạp hàng triệu chuỗi vào String Pool bằng String.intern() là PermGen tràn, ném OutOfMemoryError: PermGen space.
Từ Java 7 (rồi tới Java 8 thì bỏ hẳn PermGen, thay bằng Metaspace), String Pool được đưa về Java Heap bình thường. Nghĩa là: chuỗi trong String Pool hoàn toàn có thể bị Garbage Collector dọn khi không còn biến nào tham chiếu tới. StringTable chỉ giữ tham chiếu yếu (weak) tới các chuỗi đã intern, nên nó không tự giữ chuỗi sống.
# cấu trúc native StringTable trong HotSpot
Nhiều bạn tưởng String Pool là một class Java nào đó. Thật ra nó là một bảng băm (HashTable) viết bằng C++ nằm bên trong HotSpot JVM:
# cách băm và xử lý xung đột
Tới tận JDK 10, StringTable vẫn là một bảng băm kiểu separate chaining có số bucket cố định, được chốt ngay lúc JVM khởi động qua cờ -XX:StringTableSize=N. Mỗi lần intern một chuỗi, JVM tính hash code của chuỗi rồi chia lấy dư cho số bucket để tìm vị trí; nếu nhiều chuỗi rơi vào cùng một bucket (collision), chúng được nối đuôi nhau thành một linked list. Phải tới JDK 11, StringTable mới được viết lại trên nền ConcurrentHashTable của HotSpot: số bucket luôn là lũy thừa của 2 và bảng tự động nhân đôi kích thước (rehash) khi số phần tử trung bình mỗi bucket vượt ngưỡng, nên -XX:StringTableSize từ đây chỉ còn đóng vai trò kích thước khởi điểm.
# bảng băm quá nhỏ thì hiệu năng tụt thảm
Thiết kế cố định số bucket ở các bản JDK cũ từng gây ra không ít vụ sập hiệu năng. Ở Java 6 và các bản Java 7 đầu (trước 7u40), StringTableSize mặc định chỉ có vỏn vẹn 1.009 bucket. Nếu ứng dụng của bạn gọi intern() trên 1.000.000 chuỗi, trung bình mỗi bucket phải gánh một danh sách liên kết dài tới:
1,000,000 / 1,009 ≈ 991 phần tử / bucket!Lúc đó, mỗi lần kiểm tra hay chèn một chuỗi mới, JVM phải duyệt lần lượt gần 1.000 node. Tốc độ tra cứu từ O(1) của bảng băm tụt thẳng xuống O(N), CPU vọt lên 100% chỉ để đi duyệt danh sách chuỗi.
Giá trị mặc định bây giờ: Từ 7u40 tới JDK 10, mặc định được nâng lên 60.013 bucket, nhưng vì vẫn cố định nên nếu intern vài triệu chuỗi bạn vẫn phải tự tăng tay. Từ JDK 11 mặc định là 65.536 và bảng tự giãn, nên chuyện tra cứu tụt về
O(N)gần như không còn; tuy vậy, intern bừa bãi vẫn tốn bộ nhớ và kéo dài thời gian GC quét bảng.
# cái bẫy của String.intern
# ví dụ: xử lý giao dịch ngân hàng
Giả sử bạn có 100 triệu object Transaction trong bộ nhớ, object nào cũng có trường currency:
- Không intern (chuỗi được parse ra từ file, JSON, kết quả query...): bạn có 100 triệu object String
"VND"riêng rẽ trên heap. Với compressed oops, mỗi chuỗi gồm objectString24 bytes cộng mảngbyte[]24 bytes (16 bytes header + 3 bytes dữ liệu, làm tròn), tức là tốn cỡ 100,000,000 * 48 bytes ≈ 4.8 GB RAM chỉ để chứa chữ "VND". - Có intern (
transaction.setCurrency(curr.intern())): cả 100 triệu transaction cùng trỏ về đúng 1 instance String"VND"trong String Pool, tiết kiệm được gần như toàn bộ 4.8 GB đó (mỗi transaction vẫn giữ một reference 4 bytes, nhưng cái đó có hay không intern cũng phải giữ).
Chuỗi viết thẳng trong code (literal "VND") thì JVM đã tự intern sẵn rồi, vấn đề chỉ nằm ở chuỗi sinh ra lúc runtime. Với tập giá trị nhỏ và cố định như mã tiền tệ, một Map<String, String> tự quản hoặc enum (xem checklist bên dưới) thường dễ kiểm soát hơn intern().
# g1gc string deduplication
Thấy giao intern() cho dev tự gọi vừa nguy hiểm vừa khó kiểm soát, đội JVM đã thêm vào G1GC một tính năng: String Deduplication tự động (JEP 192, có từ 8u20). Ban đầu chỉ G1 hỗ trợ; từ JDK 18 tính năng này được viết lại để chạy với cả Serial, Parallel và ZGC (Shenandoah đã có từ trước).
# String.intern vs string deduplication
| Tiêu chí | String.intern() | G1GC String Deduplication (-XX:+UseStringDeduplication) |
|---|---|---|
| Ai làm | Dev phải tự gọi trong code | Tự động 100%, chạy ngầm trong lúc GC |
| Dùng chung cái gì | Dùng chung cả instance String | Các instance String vẫn tách riêng, chỉ dùng chung mảng dữ liệu byte[] value |
Ảnh hưởng == | s1 == s2 trả về true | s1 == s2 vẫn trả về false, ngữ nghĩa code không đổi |
| Rủi ro rò rỉ bộ nhớ | Có thể làm phình StringTable C++ | Không có, mảng byte tự được dọn khi không còn ai trỏ tới |
# bật trên production
Chỉ cần thêm mấy cờ JVM này khi chạy ứng dụng:
java -XX:+UseG1GC -XX:+UseStringDeduplication -XX:StringDeduplicationAgeThreshold=3 -jar app.jar(AgeThreshold=3: chỉ chuỗi nào sống qua 3 lần Minor GC mới được đưa vào hàng đợi kiểm tra trùng, đỡ phí CPU cho mấy chuỗi tạm.)
TIP
Nên làm trên production: Thay vì tự quản String.intern() trong code rồi lo phình bộ nhớ, cách an toàn cho ứng dụng chạy JDK 17/21 là bật -XX:+UseStringDeduplication (mặc định đang tắt). Tính năng này trong suốt (transparent), không đổi ngữ nghĩa code, và tự giải phóng bộ nhớ khi chuỗi không còn dùng. Đổi lại nó tốn thêm một ít CPU chạy nền, và chỉ tiết kiệm phần mảng byte[], còn mỗi object String 24 bytes vẫn nằm đó. Bật rồi thì đo lại heap trước/sau để biết có đáng không.
# theo dõi và tinh chỉnh StringTable
Muốn biết String Pool đang khoẻ hay đang nghẽn thì bật cờ in thông số chẩn đoán:
-XX:+PrintStringTableStatisticsKhi ứng dụng tắt, hoặc khi gọi jcmd <pid> VM.stringtable, JVM sẽ in ra báo cáo (mẫu dưới từ JDK 8, các bản mới định dạng gần giống):
StringTable statistics:
Number of buckets : 60013 = 480104 bytes, avg 8.000
Number of entries : 245102 = 3921632 bytes, avg 16.000
Number of literals : 245102 = 12856400 bytes, avg 52.453
Total footprint : = 17258136 bytes
Average bucket size : 4.084
Variance of bucket size : 4.120
Std. dev. of bucket size: 2.030
Maximum bucket size : 18# đọc báo cáo thế nào
- Average bucket size: đẹp nhất là trong khoảng 1.0 đến 4.0.
- Maximum bucket size: nếu số này vượt 50 hay 100 thì hash đang phân bố lệch nặng (collision skew) hoặc số bucket quá ít.
- Cách chỉnh: nếu ứng dụng intern hơn 1 triệu chuỗi, nâng số bucket khởi đầu lên:
-XX:StringTableSize=1000003(Trên JDK 7/8, số nguyên tố giúp hash rải đều hơn ra các bucket. Từ JDK 11, JVM làm tròn giá trị này lên lũy thừa của 2 gần nhất, ví dụ 1000003 thành 1048576, và bảng vẫn tự giãn, nên chỉnh cờ này chủ yếu để tránh vài lần giãn bảng lúc khởi động.)
# checklist tối ưu bộ nhớ cho chuỗi
- 1. Không intern dữ liệu tự do: rà code, đảm bảo không gọi
intern()trên chuỗi người dùng nhập vào (user-generated content), UUID hay token. - 2. Bật String Deduplication: ứng dụng doanh nghiệp chạy JDK 17/21 với heap lớn (vài GB trở lên) thì nên cân nhắc bật
-XX:+UseStringDeduplication. - 3. Chỉnh StringTableSize khi cần: trên JDK 8 mà buộc phải intern hàng triệu mã danh mục tĩnh thì cấu hình
-XX:StringTableSize=1000003để giữ được tra cứu O(1). JDK 11+ bảng tự giãn, ít khi phải đụng. - 4. Theo dõi Native Memory Tracking (NMT): bật
-XX:NativeMemoryTracking=summaryrồi xem bằngjcmd <pid> VM.native_memory summaryđể biết bộ nhớ ngoài heap mà các bảng băm C++ đang ăn (StringTable nằm trong mụcSymbol, bảng dedup nằm ở mụcString Deduplication). - 5. Tập giá trị cố định thì dùng Enum: thay vì intern chuỗi trạng thái (
"ACTIVE","INACTIVE"), dùng luôn Java Enum, bản thân enum đã là singleton instance trong bộ nhớ rồi.
# tổng kết
Thử ngay trên một service đang chạy: jcmd <pid> VM.stringtable rồi nhìn hai con số average và maximum bucket size theo ngưỡng ở trên. Xong thì grep codebase tìm .intern(). Mỗi chỗ tìm thấy, hỏi một câu: tập giá trị này có cố định không? Có thì đổi sang enum. Không thì gỡ intern() ra, rồi đo xem String Deduplication bù lại được bao nhiêu.
Muốn hiểu thêm về chuyện chuỗi tốn bộ nhớ lúc nối thì đọc tiếp String, StringBuilder và StringBuffer.
Chỉ là những ghi chép cá nhân với hy vọng mang lại chút giá trị. Nếu thấy hữu ích, đừng ngại chia sẻ cho bạn bè & đồng nghiệp nhé!
Happy coding 😎 👍🏻 🚀 🔥.
On this page
- # String Pool dời từ PermGen sang heap
- # sao lại dời String Pool ra khỏi PermGen?
- # cấu trúc native StringTable trong HotSpot
- # cách băm và xử lý xung đột
- # bảng băm quá nhỏ thì hiệu năng tụt thảm
- # cái bẫy của String.intern
- # ví dụ: xử lý giao dịch ngân hàng
- # g1gc string deduplication
- # String.intern vs string deduplication
- # bật trên production
- # theo dõi và tinh chỉnh StringTable
- # đọc báo cáo thế nào
- # checklist tối ưu bộ nhớ cho chuỗi
- # tổng kết