Biaya, penagihan, dan operasional22 September 2026Flatkey Team

Prompt Caching OpenAI (Oktober 2026): Cara Kerja, Harga, dan ROI

Prompt caching OpenAI aktif otomatis dan menagih input yang di-cache sekitar 0,1 kali tarif normal. Pelajari harga tulis dan baca Oktober 2026, TTL 30 menit dan 12 jam, breakpoint eksplisit, contoh ROI, serta perbandingannya dengan Claude dan Gemini.

Prompt Caching OpenAI (Oktober 2026): Cara Kerja, Harga, dan ROI

Prompt caching OpenAI aktif secara default: ketika sebuah permintaan diawali prefiks yang sama (minimal 1.024 token pada GPT-5.6 dan yang lebih baru) dengan permintaan baru-baru ini, OpenAI memakai ulang hasil komputasi yang tersimpan dan menagih token tersebut dengan tarif input ter-cache, sekitar 90–95% lebih murah daripada input biasa. Pada GPT-5.6 dan yang lebih baru, Anda juga membayar biaya tulis cache satu kali: 1,25 kali tarif input untuk masa berlaku default 30 menit atau 2,5 kali untuk 12 jam, per 25 Oktober 2026. Jika sebuah prefiks dipakai ulang sekali saja dalam masa berlakunya, caching sudah lebih murah daripada mengirimnya dua kali.

Panduan ini menjelaskan cara kerja cache OpenAI, biayanya pada model saat ini, cara mengendalikannya dengan breakpoint dan TTL, cara mengukur penghematan, serta perbandingannya dengan caching Anthropic dan Gemini. Semua tarif diambil dari panduan prompt caching OpenAI dan halaman harga API OpenAI, dicek pada 25 Oktober 2026.

Harga prompt caching OpenAI

Harga tier Standard per 1 juta token:

Model	Input	Input ter-cache (baca)	Tulis 30 menit	Tulis 12 jam	Output
gpt-6-astra	$10.00	$1.00	$12.50	$25.00	$50.00
gpt-6.1-sol	$2.00	$0.10	$2.50	$5.00	$10.00
gpt-6-luna	$0.10	$0.01	$0.125	$0.25	$0.50
gpt-5.6-sol	$4.00	$0.40	$5.00	$10.00	$20.00

Satu kali baca cache berbiaya 0,1 kali tarif input tanpa cache pada sebagian besar model dan 0,05 kali pada GPT-6.1 Sol. Tier Batch memotong separuh semua angka di tabel ini, sedangkan mode Fast menggandakannya. Endpoint residensi data regional dikenai tambahan 10% untuk model yang dirilis pada atau setelah 5 Maret 2026.

Satu hal yang sering disalahpahami: harga tulis cache bukan biaya tambahan di atas input. Setiap token input hanya ditagih sekali, dengan tarif tanpa cache, baca cache, atau tulis cache. Tulis 30 menit berbiaya 25% lebih mahal daripada input biasa untuk token tersebut, dan setiap hit berikutnya hanya 10% (atau 5%) dari tarif itu.

Cara kerja prompt caching OpenAI

Saat model membaca prompt, ia menghitung status key-value (KV) untuk setiap token. Prompt caching menyimpan status tersebut untuk prefiks yang dapat dipakai ulang, yaitu bagian awal prompt yang tidak berubah. Jika permintaan berikutnya diawali prefiks yang persis sama dan menemukan entri cache yang cocok, model melewati penghitungan ulang sehingga biaya dan waktu hingga token pertama sama-sama turun.

Prefiks yang di-cache mencakup semua yang dirender OpenAI sebelum konten Anda berubah: konten sistem tersembunyi, pesan developer, definisi tool, dan riwayat percakapan, termasuk teks, gambar, dokumen, dan audio yang didukung. Kecocokannya harus persis. Jika ada yang berubah sebelum breakpoint, misalnya timestamp di system prompt, urutan daftar tool yang berganti, atau gambar yang berbeda, semua yang ada setelah perubahan itu menjadi miss.

Aturan utama pada GPT-5.6 dan yang lebih baru:

Panjang minimum: prefiks harus minimal 1.024 token agar di-cache. Token sistem tersembunyi milik OpenAI tidak dihitung.
Breakpoint: breakpoint menandai akhir prefiks yang dapat ditulis ke cache. Dalam mode implisit (default), OpenAI menempatkan satu breakpoint di akhir pesan terbaru yang memenuhi syarat. Dalam mode eksplisit, Anda menentukan posisinya dengan prompt_cache_breakpoint.
Hingga empat tulis per permintaan: setiap permintaan dapat membuat hingga empat tulis cache, sehingga Anda bisa meng-cache lapisan yang berubah dengan kecepatan berbeda.
Masa berlaku: atur prompt_cache_options.ttl ke "30m" (default) atau "12h" di Responses API. Harga baca cache sama untuk keduanya.

Pada model sebelum GPT-5.6, hanya caching implisit yang tersedia. Retensi dikendalikan dengan prompt_cache_retention: in_memory menyimpan entri selama sekitar 5–10 menit tanpa aktivitas (hingga satu jam), sedangkan 24h memperpanjangnya hingga 24 jam. Organisasi tanpa Zero Data Retention memakai 24h secara default; organisasi ZDR memakai in_memory. Pada model lama ini, prompt_cache_key yang stabil membantu merutekan permintaan terkait ke cache yang sama. OpenAI menyarankan sekitar 15 permintaan per menit per key dan membagi lalu lintas yang lebih padat ke beberapa key.

Kapan caching menguntungkan

Panduan OpenAI memberikan hitungan dasarnya. Dengan tarif baca 0,1 kali dan tulis 1,25 kali, menulis prefiks sekali lalu memakainya ulang sekali berbiaya 1,35 kali harga input normal, dibandingkan 2 kali bila dikirim dua kali. Sepuluh permintaan dengan satu tulis dan sembilan baca berbiaya 2,15 kali, dibandingkan 10 kali tanpa caching.

Permintaan yang berbagi prefiks	Tanpa cache	Cache 30 menit	Cache 12 jam	Hemat dengan cache 30 menit
1	1.00×	1.25×	2.50×	−25%
2	2.00×	1.35×	2.60×	33%
10	10.00×	2.15×	3.40×	79%
100	100.00×	11.15×	12.40×	89%

Masa berlaku 12 jam hanya masuk akal bila jeda antarpermintaan lebih dari 30 menit tetapi prefiks tetap dipakai ulang beberapa kali, misalnya manual produk besar yang ditanyakan sepanjang hari kerja oleh tool internal dengan lalu lintas rendah.

OpenAI juga menjelaskan kapan prefiks pendek perlu ditambah hingga mencapai minimum. Dengan minimum 1.024 token, tarif baca 0,1 kali, dan tulis 1,25 kali, menambah panjang prefiks lebih murah bila prefiks asli Anda lebih dari 102,4 + 1.177,6 / N token, dengan N adalah jumlah permintaan. Untuk 10 permintaan, memperpanjang prefiks 221 token atau lebih menjadi 1.024 token akan menguntungkan.

Contoh perhitungan

Misalkan asisten layanan pelanggan di gpt-6.1-sol menangani 50.000 permintaan per hari. Setiap permintaan mengirim prefiks stabil 8.000 token (instruksi, definisi tool, dan dokumen kebijakan), pesan pengguna 500 token, dan menerima jawaban 400 token. Lalu lintasnya stabil, sehingga cache 30 menit ditulis ulang sekitar 48 kali sehari.

Pos biaya harian	Tanpa caching	Dengan caching eksplisit
Prefiks stabil	400M × $2.00 = $800.00	tulis: 0.38M × $2.50 = $0.96; baca: 399.6M × $0.10 = $39.96
Pesan pengguna	25M × $2.00 = $50.00	25M × $2.00 = $50.00
Output	20M × $10.00 = $200.00	20M × $10.00 = $200.00
Total	$1,050.00	≈ $290.92

Tagihan harian turun sekitar 72%. Baris output sama di kedua kolom, jadi setelah caching berjalan, memperpendek jawaban adalah langkah berikutnya.

Mengapa memakai mode eksplisit di sini? Dalam mode implisit, breakpoint berada di akhir pesan terbaru, sehingga 500 token pengguna yang selalu berubah juga ditulis ke cache dengan tarif 1,25 kali setiap kali. Dalam contoh ini, itu menambah sekitar $12,50 per hari. Mode eksplisit memungkinkan Anda mengakhiri tulis cache tepat setelah prefiks stabil, sehingga pesan pengguna ditagih dengan tarif input biasa.

Cara menyiapkannya

Anda tidak perlu kode apa pun untuk mendapat manfaat caching implisit. Untuk mengendalikannya, gunakan Responses API. Permintaan berikut meng-cache instruksi bersama selama 12 jam dan konteks sesi selama 30 menit, serta tidak meng-cache pertanyaan saat ini:

curl https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6.1-sol",
    "prompt_cache_options": { "mode": "explicit", "ttl": "30m" },
    "input": [
      { "role": "developer", "content": [
        { "type": "input_text", "text": "<shared instructions and policy docs>",
          "prompt_cache_breakpoint": { "mode": "explicit", "ttl": "12h" } } ] },
      { "role": "user", "content": [
        { "type": "input_text", "text": "<session context>",
          "prompt_cache_breakpoint": { "mode": "explicit" } },
        { "type": "input_text", "text": "What is the refund window for annual plans?" } ] }
    ]
  }'

Baca field cache dari setiap respons dan catat di log:

from openai import OpenAI

client = OpenAI()
resp = client.responses.create(model="gpt-6.1-sol", input=[...])  # same input as above

d = resp.usage.input_tokens_details
print("input:", resp.usage.input_tokens)
print("cache reads:", d.cached_tokens)
print("cache writes:", d.cache_write_tokens)
hit_rate = d.cached_tokens / max(resp.usage.input_tokens, 1)
print(f"token cache-hit rate: {hit_rate:.0%}")

Pada model yang mendukung prompt_cache_options, cache_write_tokens_details memisahkan tulis menjadi ttl_30m_tokens dan ttl_12h_tokens. Nilai cached_tokens yang dilaporkan dibulatkan ke bawah ke kelipatan 128. OpenAI juga menyediakan Prompt Caching Dashboard untuk memantau hit rate dan tool Prompt Cache Diagnostics yang menjelaskan penyebab miss.

Aturan desain prompt untuk menaikkan hit rate

Statis di awal, dinamis di akhir. Letakkan instruksi, skema tool, contoh few-shot, dan dokumen referensi di bagian atas. Letakkan pesan pengguna, potongan hasil retrieval, dan apa pun yang berisi tanggal atau ID di bagian bawah.
Bekukan daftar tool. Mengubah definisi tool akan merusak prefiks. Jika permintaan berbeda membutuhkan tool berbeda, pertahankan definisinya dan ubah saja tool mana yang boleh dipanggil.
Tambahkan, jangan tulis ulang. Dalam chat multi-giliran, tambahkan giliran baru di akhir. Meringkas atau mengedit giliran sebelumnya membuat cache tidak berlaku.
Jaga pengaturan tetap stabil. Model, pengaturan reasoning, dan opsi permintaan lain dapat mengubah prefiks yang dirender. Kunci pengaturan ini untuk lalu lintas yang di-cache.
Waspadai fallback. Jika Anda beralih ke model atau penyedia lain, Anda mulai dengan cache kosong. Playbook fallback model kami membahas cara failover tanpa kehilangan seluruh lokalitas cache.

Perbandingan prompt caching OpenAI vs Anthropic vs Gemini

Cache tidak bisa dipindahkan antarpenyedia. Mekanisme dan harganya berbeda:

	OpenAI (GPT-5.6+)	Anthropic Claude	Google Gemini
Default	Otomatis	Opt-in dengan `cache_control` (otomatis atau per blok)	Caching implisit otomatis pada Gemini 2.5 dan yang lebih baru
Prefiks minimum	1.024 token	512 token pada model saat ini	4.096 token pada Gemini 4 Argon dan 3.8 Flash
Biaya tulis	1,25x (30 menit) atau 2,5x (12 jam)	1,25x (5 menit) atau 2x (1 jam)	Tanpa biaya tulis untuk implisit; caching eksplisit menambah biaya penyimpanan per jam
Biaya baca	0,1x (0,05x pada GPT-6.1 Sol)	0,1x (0,05x pada Opus 5.5 dan Sonnet 5.5)	mis. $0.10 vs input $2.00 pada Gemini 4 Argon
Field usage	`cached_tokens`, `cache_write_tokens`	`cache_read_input_tokens`, `cache_creation_input_tokens`	`total_cached_tokens`

Sumber: dokumentasi prompt caching Anthropic, harga Claude API, context caching Gemini, dan harga Gemini API, semuanya dicek pada 25 Oktober 2026. Gemini 4 Argon hanya mendukung caching implisit. Objek cache eksplisit berfungsi pada model Gemini 3 dan 2.5 yang didukung melalui generateContent, dengan biaya penyimpanan per juta token per jam (misalnya $0.50 pada Gemini 3.8 Flash hingga 31 Desember 2026). DeepSeek juga melakukan caching otomatis; lihat panduan caching DeepSeek.

Pemeriksaan ROI caching selama tujuh hari

Sebelum menyebut caching berhasil, ukurlah pada lalu lintas nyata:

Hari 1: pilih satu alur kerja bervolume tinggi dengan prefiks bersama yang panjang. Catat token input, cached_tokens, cache_write_tokens, token output, dan latensi per permintaan.
Hari 2–3: pindahkan semua konten statis ke atas dan hapus nilai dinamis darinya. Bandingkan token cache-hit rate (token ter-cache ÷ token input) sebelum dan sesudah.
Hari 4–5: jika tulis tinggi dan baca rendah, lalu lintas Anda terlalu jarang untuk entri 30 menit. Coba "12h" pada lapisan stabil, atau satukan prefiks agar lebih banyak permintaan berbagi.
Hari 6–7: hitung biaya riil per jawaban yang diterima, bukan hanya per token. Permintaan yang lebih murah tetapi ditolak pengguna bukanlah penghematan.

Target yang baik untuk beban kerja chat atau agent yang stabil adalah token cache-hit rate di atas 60% dan jumlah baca minimal 10 kali jumlah tulis. Panduan observabilitas LLM API dan panduan dashboard penggunaan token kami menunjukkan cara membangun tampilan ini.

Peran Flatkey

Flatkey adalah router yang kompatibel dengan OpenAI dengan satu key dan satu saldo untuk OpenAI, Claude, Gemini, DeepSeek, Qwen, dan model lainnya. Caching di sisi penyedia tetap mengikuti aturan masing-masing penyedia, jadi jaga prompt tetap stabil per model dan hindari mengganti model di setiap permintaan jika Anda menginginkan cache hit. Mulailah dengan quickstart router, cek tarif terkini di halaman harga Flatkey, dan baca panduan optimasi biaya AI API kami untuk cara lain memangkas pengeluaran.

FAQ

Apakah prompt caching OpenAI otomatis?

Ya. Prompt caching aktif secara default untuk model OpenAI yang didukung, dan Anda tidak perlu mengubah kode untuk mendapatkan cache hit. Pada GPT-5.6 dan yang lebih baru, Anda dapat beralih ke mode eksplisit dan memilih breakpoint dengan prompt_cache_breakpoint.

Berapa penghematan dari prompt caching OpenAI?

Input ter-cache berbiaya 0,1 kali tarif input normal pada sebagian besar model saat ini dan 0,05 kali pada GPT-6.1 Sol, atau diskon 90–95% untuk bagian yang di-cache. Total penghematan bergantung pada seberapa besar porsi prefiks bersama dalam setiap prompt dan seberapa sering prefiks itu dipakai ulang.

Berapa panjang prompt minimum untuk caching?

1.024 token untuk GPT-5.6 dan yang lebih baru. Untuk model lebih lama, nilainya bergantung pada pengaturan permintaan. Prefiks yang lebih pendek tetap diproses normal tanpa error.

Berapa lama cache prompt OpenAI bertahan?

Pada GPT-5.6 dan yang lebih baru, entri bertahan minimal 30 menit secara default, atau minimal 12 jam jika Anda mengatur ttl ke "12h". Pada model lama, in_memory menyimpan entri sekitar 5–10 menit tanpa aktivitas, hingga satu jam, dan 24h dapat menyimpannya hingga 24 jam.

Apakah prompt caching mengurangi latensi?

Ya. Memakai ulang prefiks ter-cache melewati penghitungan ulang, sehingga waktu hingga token pertama berkurang, terutama untuk prompt panjang.

Apakah saya membayar untuk menulis ke cache?

Pada GPT-5.6 dan yang lebih baru, ya: 1,25 kali tarif input untuk tulis 30 menit atau 2,5 kali untuk 12 jam. Biaya ini menggantikan biaya input normal untuk token tersebut, bukan ditambahkan di atasnya.

Apa itu prompt_cache_key?

Parameter opsional yang mengelompokkan permintaan terkait agar dirutekan ke cache yang sama. Pada model sebelum GPT-5.6, parameter ini meningkatkan hit rate; OpenAI menyarankan sekitar 15 permintaan per menit per key.