Optimasi Penyimpanan
Catatan ini memaparkan strategi arsitektur dan optimasi penyimpanan data kitab pada aplikasi Maktabah:
- Kompresi Konten Zstandard (ZSTD Level 10) pada kolom
nass. - Indeks Pencarian Terpadu (Unified FTS5) dengan konfigurasi
content=''dan Bitwise Packed RowID. - Penyangga Aliran & Resolusi Malas (
SearchResultBufferdanSearchHitResolver) untuk meminimalkan beban memori kerja (RAM).
Tujuannya adalah menjaga ukuran data tetap ringkas tanpa mengorbankan performa pembacaan maupun pencarian skala besar melintasi jutaan halaman.
1. Tujuan & Tantangan Skala
Ukuran koleksi kitab Maktabah Syamilah sangat masif (mencapai lebih dari 7.000 kitab). Jika seluruh konten disimpan dalam bentuk teks mentah tanpa kompresi, total ukuran basis data dapat melampaui 20 GB.
Oleh karena itu, proyek ini menerapkan pemisahan berkas basis data per arsip:
- Berkas Konten Utama (
N.sqlite): Menyimpan tabel datab{bkid}(konten) dant{bkid}(daftar isi/TOC). - Berkas Indeks Pencarian (
N_fts.sqlite): Menyimpan indeks pencarian terpaduarchive_ftsdan pemetaan metadataarchive_index(atau tabel warisanb{bkid}_ftsuntuk arsip lama).
2. Kompresi Konten nass (Zstandard)
Data yang Disimpan
Kolom nass pada tabel kitab b{bkid}:
- Data hasil pembaruan dikonversi menjadi BLOB terkompresi ZSTD (Level 10).
- Data versi lama yang masih bertipe TEXT tetap didukung melalui alur pembacaan adaptif (backward compatibility).
Waktu Pelaksanaan Kompresi
Saat proses impor atau integrasi kitab (BookUpdateManager / BookArchiveIntegrator):
1. Membuat tabel sementara b{bkid}_zstd.
2. Menyalin kolom metadata (id, page, part).
3. Mengompresi teks kolom nass menjadi BLOB menggunakan pustaka C Zstandard tingkat rendah (ZstdDecompressor.compressData).
4. Mengganti tabel lama dengan tabel baru yang telah terkompresi.
Waktu Pelaksanaan Dekompresi
Saat membaca baris konten (BookConnection.getContent atau saat sel pencarian terlihat di layar):
1. Kolom nass dibaca sebagai BLOB.
2. Didekompresi melalui ZstdDecompressor menggunakan context wrapper per-thread untuk menghindari overhead alokasi memori berulang.
3. Hasil pembacaan disimpan sementara di cache halaman (BookPageCache) untuk mempercepat navigasi berikutnya.
3. Arsitektur Unified FTS5 & Bitwise Packed RowID
Pada generasi awal Maktabah, setiap buku memiliki tabel virtual FTS5 individual (b{bkid}_fts). Meskipun menggunakan content='', memiliki 300+ tabel virtual di setiap berkas arsip menimbulkan pemborosan metadata B-Tree SQLite yang signifikan serta fragmentasi I/O.
Mengapa Beralih ke Unified FTS?
Dalam skema Unified FTS5, seluruh kitab di dalam satu arsip disatukan ke dalam satu tabel virtual archive_fts dan satu tabel indeks reguler archive_index:
- Penghematan Metadata B-Tree: Mengeliminasi ribuan tabel virtual internal (
%_data,%_idx,%_config) SQLite FTS5, menghemat ratusan megabyte ruang disk. - Page Cache Locality: Indeks FTS terkonsentrasi pada segmen pohon terpadu, memaksimalkan efisiensi cache memori OS.
Inovasi Bitwise Packed RowID
Untuk membedakan halaman antar-buku di dalam satu tabel FTS tanpa mengotori kamus kata FTS5, Maktabah menerapkan pengemasan bitwise 64-bit pada rowid:
$$\text{packedRowId} = (\text{bookId} \ll 32) \mid (\text{rowId} \ \& \ \text{0xFFFFFFFF})$$
- Zero Posting List Overhead:
Tidak ada token buatan seperti
bk_123yang disuntikkan ke dalam teks Arab. Ukuran berkas FTS5 dan kamus kata FST sama sekali tidak membengkak. - Binary Seek & Early Cutoff Alami:
Di SQLite FTS5, seluruh posting list disimpan terurut menaik (ascending) berdasarkan
rowid. Ketika kueri memfilter rentang buku tertentu: $$\text{f.rowid BETWEEN } (\text{bookId} \ll 32) \text{ AND } ((\text{bookId} \ll 32) \mid \text{0xFFFFFFFF})$$ mesin FTS5 (xFilter) langsung melakukan binary search ke posisiminRowId, membaca hanya kecocokan di dalam rentang tersebut, dan seketika berhenti (early break) begitu membacarowid > maxRowId. Seluruh data ribuan buku lain dilewati tanpa sentuhan I/O.
4. Efisiensi Transaksi Migrasi (1 Commit vs 300 Commit)
Setiap perintah COMMIT pada SQLite FTS5 memicu proses penggabungan segmen indeks (segment merge) pada B-Tree.
- Kelemahan Skema Lama: Melakukan transaksi per-buku (300+ kali
COMMIT) menyebabkan I/O thrashing parah karena mesin FTS5 dipaksa menulis ulang struktur indeks ratusan kali. - Optimasi Migrasi Modern: Skrip migrasi terkompilasi (
Scripts/migrate_unified_fts.swift) membungkus seluruh buku di satu arsip dalam 1 Transaksi Tunggal (BEGIN TRANSACTION...COMMIT): - Seluruh segmen FTS5 ditampung di dalam RAM cache (1 GB via
PRAGMA cache_size = -1048576danPRAGMA mmap_size = 1GB). - Proses segment merge hanya terjadi 1 kali di akhir transaksi.
- Mempercepat proses migrasi hingga 3x s.d. 5x dan menjamin sifat atomik 100% (zero corrupted state jika terjadi kegagalan).
5. Ringkasan Penghematan Ruang & Memori
| Komponen | Strategi Optimasi | Dampak Penghematan |
|---|---|---|
Konten Kitab (b{id}) |
Kompresi ZSTD Level 10 | Mengurangi ukuran berkas konten hingga ~65% |
| Indeks Pencarian | FTS5 content='' |
Tidak ada duplikasi teks mentah di tabel pencarian |
| Arsitektur FTS | Unified FTS (archive_fts) |
Mengurangi ribuan tabel virtual & metadata B-Tree |
| Posting List FTS | Bitwise packedRowId |
Nol overhead ukuran kamus kata (Zero index bloat) |
| Memori Tampilan (UI) | SearchHitResolver (Lazy Snippet) |
Penghematan RAM signifikan saat menemukan ratusan ribu hasil |