Panduan Konteks Panjang Kimi K3: Muat Seluruh Buku dan Repositori dalam 1 Juta Token
Panduan Konteks Panjang Kimi K3: Muat Seluruh Buku dan Repositori dalam 1 Juta Token
Konteks panjang ialah keupayaan tandatangan lini produk Kimi, dan kimi-k3 mendorong tetingkap ke 1,000,000 token dikongsi antara input dan output. Untuk merasai skala: satu permintaan boleh memuat buku teknikal lengkap, semua fail teras repositori kecil, atau minit mesyuarat setahun penuh. Tetapi "muat" dan "berfungsi dengan baik" adalah dua perkara berbeza — semakin besar tetingkap, semakin tertib anda perlu mengurus kualiti input dan kos.
Ringkasan 30 saat
Konteks kimi-k3 = 1,000,000 token, dikongsi. Penukaran kasar: bahasa Inggeris ~750,000 perkataan; bahasa Cina ~550,000–700,000 aksara (sahkan dengan tokenizer). Buku penuh, repositori, dan sejarah perbualan panjang muat dalam satu permintaan. Memberi lebih banyak tidak bermakna menjawab lebih baik — tapis sebelum tuang.
Apa yang sebenarnya dimuat 1 juta token
| Jenis kandungan | Penukaran kasar | 1M token memuat |
|---|---|---|
| Teks Inggeris | 1 token ≈ 0.75 perkataan | ~750,000 perkataan |
| Teks Cina | 1.4–1.8 token/aksara | 550,000–700,000 aksara |
| Kod | Bergantung bahasa dan kepadatan simbol | Puluhan ribu baris |
| Dokumen bercampur | Imej ditukar per resolusi | Ratusan halaman |
Rujukan: buku teknikal 500 halaman berjalan 250,000–400,000 perkataan Inggeris; kod teras projek web bersaiz sederhana biasanya puluhan ribu baris; minit mesyuarat setahun jarang melebihi 300,000 aksara. Semuanya berada dalam tetingkap 1 juta token — itulah makna praktikal "konteks sekelas buku".
Jenis kerja yang berbaloi guna penuh tetingkap
Kefahaman penuh teks dengan kebergantungan antara bahagian. Kontrak, prospektus, laporan kajian panjang — kesimpulan tersebar merentasi bab, klausa merujuk antara satu sama lain. Pemecahan hilang rujukan silang; satu bacaan penuh membina gambaran lengkap.
Tanya-jawab tahap repositori. Masukkan semua fail teras projek kecil–sederhana ke dalam konteks dan model menjawab soalan merentas fail seperti "siapa memanggil fungsi ini" atau "modul mana rosak jika antara muka ini berubah" tanpa saluran pengambilan. Untuk repositori lebih besar dari tetingkap, lakukan satu pusingan pemilihan fail — kekalkan modul teras, titik masuk, dan definisi jenis — kemudian berikan hasilnya secara menyeluruh.
Konteks perbualan atau saluran paip yang menumpuk. Dalam projek jangka panjang, keputusan dan kesimpulan awal perlu sentiasa hadir. Tetingkap 1 juta token memuatkan rantai keputusan berbulan-bulan, menghapuskan keperluan jentera ringkasan yang kerap.
Tetingkap besar tidak menggantikan pengambilan
RAG dan konteks panjang menyelesaikan masalah berbeza: RAG menemukan serpihan berkaitan dalam korpus gergasi; konteks panjang memahami secara mendalam set bahan yang diketahui. Dengan pangkalan pengetahuan seratus ribu dokumen anda masih mencari dahulu, kemudian memberi teks penuh yang sepadan. Kedua-duanya saling melengkapi, bukan pilihan berganti.
Corak dua peringkat: cari kedudukan, kemudian baca
Menuang semuanya ke tetingkap mahal dan bising. Corak produksi yang lebih murah ada dua peringkat:
Peringkat satu: kecilkan. Guna model kecil atau carian kata kunci untuk memilih bahagian berkaitan. Matlamatnya bukan menjawab soalan — ia menyusutkan bahan daripada "semua" kepada "berkaitan".
Peringkat dua: baca mendalam. Berikan bahan terpilih secara menyeluruh kepada kimi-k3 agar ia bekerja dengan konteks penuh untuk analisis, penaakulan, dan penjanaan.
from openai import OpenAI
import os
client = OpenAI(
api_key=os.environ["EXAIV_API_KEY"],
base_url="https://exaiv.com/api/ai/v1",
)
# Stage two: hand the filtered full text to kimi-k3
resp = client.chat.completions.create(
model="kimi-k3",
messages=[
{"role": "system", "content": "You are a contract review assistant. Answer only from the given text."},
{"role": "user", "content": "Below is the full agreement. List every clause unfavorable to party B:\n\n" + contract_text},
],
)
print(resp.choices[0].message.content)
Keuntungan corak ini adalah ketepatan: peringkat baca mendalam tidak mengandungi bahan tidak berkaitan, jadi perhatian model tidak dicairkan — jawapan lebih stabil berbanding pendekatan tuang-semua.
Kawalan kos
Struktur kos konteks panjang jelas: input token mendominasi. Empat tuas menjaga bil tetap rendah:
Beri mengikut keperluan. Bertanya apa fungsi tertentu tidak perlukan seluruh repositori — hantar fail berkaitan sahaja. Konteks panjang adalah siling keupayaan, bukan tetapan lalai.
Guna semula prefix stabil. Letakkan system prompt dan bahagian tetap dokumen di hadapan messages tanpa perubahan, supaya cache prefix mengena. kimi-k3 menyokong prefix caching automatik; permintaan berulang ke atas dokumen panjang yang sama jauh lebih murah bila hit.
Pangkas derau. Log, tag HTML, imej base64 padat-token dan tipis-maklumat — bersihkan sebelum memberi. Jika 30% daripada 1 juta token ialah derau log, anda membakar 30% bajet tanpa hasil.
Hadkan panjang output. Output memakai tetingkap yang sama. Tetapkan siling max_tokens yang munasabah agar model yang tersasar tidak menulis esei yang anda bayar.
Output panjang juga memakan kapasiti input
Tetingkap dikongsi antara input dan output. Jika output mungkin panjang — terjemahan penuh contohnya — sisihkan kapasiti dan pendekkan input sewajarnya. Rancang dengan input plus output yang dijangka, tidak pernah input semata-mata.
Perangkap yang kerap berlaku
Hilang di tengah. Dalam konteks sangat panjang, maklumat hampir tengah tetingkap kadang digunakan lebih lemah daripada bahagian awal dan akhir. Kurangkan dengan meletakkan arahan terpenting dalam system prompt dan di akhir mesej pengguna, serta bahan kritikal berhampiran tepi.
Menyimpan keseluruhan sejarah perbualan. Mesej yang menumpuk akan memakan tetingkap. Ringkaskan secara berkala — kekalkan kesimpulan dan keputusan, persaraan butiran proses.
Menganggap konteks sebagai ingatan. Model tidak mempunyai ingatan merentas permintaan — setiap permintaan bermula baru. Untuk ingatan kekal, sama ada lampirkan bahan latar yang diperlukan setiap kali, atau urus fail ringkasan yang anda suntik bagi setiap permintaan.
Mengabaikan perbezaan tokenizer. Teks bercampur Cina-Inggeris, kod, dan simbol khas berbeza luas dalam kepadatan token; menganggarkan daripada bilangan aksara tidak boleh dipercayai. Ukur sekali dengan data sebenar sebelum menetapkan bajet.
Demonstrasi tanya-jawab repositori
Tanya-jawab tahap repositori memperlihatkan corak ini berjalan dari hujung ke hujung. Pilih fail teras dahulu, kemudian bertanya dengan konteks penuh:
core_files = ["src/app.ts", "src/routes.ts", "src/services/payment.ts"]
repo_text = "\n\n".join(
f"// ===== {p} =====\n{open(p).read()}" for p in core_files
)
resp = client.chat.completions.create(
model="kimi-k3",
messages=[
{"role": "system", "content": "You answer questions about this repository. Cite file names."},
{"role": "user", "content": f"{repo_text}\n\nQuestion: where is the refund policy enforced, and what breaks if we change it?"},
],
)
Dua tabiat menjadikan cara ini boleh dipercayai. Satu, kekalkan inventari fail stabil antara soalan supaya cache prefix mengena — soalan kedua hanya berkos sebahagian kecil berbanding soalan pertama. Dua, minta model memetik nama fail dalam jawaban; petikan mempercepat semakan dan mendedahkan halusinasi serta-merta.
Memantau penggunaan token
Beban kerja konteks panjang berbaloi mendapat pemantauan eksplisit. Setiap respons membawa objek usage:
print(resp.usage.prompt_tokens) # kos bahagian input
print(resp.usage.completion_tokens) # kos bahagian output
print(resp.usage.total_tokens)
Log ini bagi setiap permintaan dan agregatkan mengikut beban kerja. Tiga isyarat penting: nisbah prompt-terhadap-completion (memberitahu sama ada memangkas input ialah tuas yang betul), token setiap soalan (memberitahu sama ada peringkat pemilihan anda terlalu murah hati), dan tingkah laku cache-hit antara soalan berulang (memberitahu sama ada prefix anda benar-benar stabil). Panduan pemantauan penuh ada dalam panduan penjejakan token.
Menyusun perbualan panjang untuk tetingkap yang tahan lama
Untuk pembantu pelbagai giliran yang perlu bertahan berbulan-bulan, tiga tabiat menjaga tetingkap digunakan dengan baik:
Ringkaskan mengikut bab, bukan mengikut giliran. Sebaliknya meringkas setiap mesej, ringkaskan mengikut unit kerja — satu ciri yang siap, satu insiden yang selesai. Ringkasan itu mengekalkan konteks yang diperlukan model sambil membuang butiran aras token.
Pisahkan arkib daripada konteks aktif. Simpan sejarah penuh di sisi aplikasi anda sendiri; masukkan hanya ringkasan plus beberapa giliran terkini ke dalam permintaan. Jika model perlu butiran lama, permintaan khas untuk mengambilnya daripada arkib dengan kimi-k3 berkos beberapa detik sekali guna — jauh lebih murah daripada mengalirkan semuanya sepanjang masa.
Guna penanda sempadan yang jelas. Apabila menggabungkan ringkasan dengan perbualan terkini, tandakan bahagian tersebut secara jelas (RINGKASAN TERDAHULU, PERBUALAN TERKINI) supaya model mengetahui bobot relatifnya dan tidak menganggap ringkasan sebagai fakta baharu.
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": f"PREVIOUS SUMMARY:\n{summary}\n\nRECENT TURNS:\n{recent}"},
]
Dengan tiga tabiat ini, tetingkap 1 juta token melayani projek yang berjalan berbulan-bulan tanpa pernah bermula dari sifar — dan tanpa kos arkib yang terus membengkak.
Membandingkan kapasiti tetingkap antara model
Kimi-k3 tidak bersendirian dalam lini 1 juta token; beberapa keluarga model lain di EXAIV turut menawarkan tetingkap besar. Perbezaannya terletak pada apa yang mengapitnya:
- kimi-k3 memasangkan 1 juta token dengan multimodal natif — dokumen panjang dan tangkapan skrin berkongsi konteks yang sama
- DeepSeek V4.1 Flash menawarkan ~1 juta token pada tingkat jimat kos — sesuai untuk volum tinggi yang peka kos
- Model GPT memuatkan tetingkap besar di sisi tertutup — kukuh tetapi tanpa pilihan hos sendiri
Jika aliran kerja anda menggabungkan analisis dokumen panjang dengan imej atau video, gabungan konteks-panjang-multimodal kimi-k3 ialah satu-satunya yang meliputi kedua-duanya dalam satu permintaan. Untuk pemprosesan teks tulen bervolum tinggi, tingkat jimat DeepSeek sering kali pilihan lebih murah. Spesifikasi langsung ada di halaman model.
Tiga tabiat kecil menutup panduan ini: ukur dahulu dengan tokenizer sebelum menetapkan bajet, guna nama fail dalam jawaban model agar mudah disemak, dan tetapkan satu hari dalam bulan untuk menyemak token setiap ciri. Konteks panjang bukan sekadar ciri — ia mengubah cara anda mereka saluran paip dokumen sepenuhnya, dan pasukan yang menguasai corak dua peringkat di atas akan membina produk yang mustahil dibina pada tetingkap kecil.
FAQ
Seberapa besar tetingkap konteks kimi-k3
Bolehkah memuat buku penuh
Masih perlukan RAG dengan konteks panjang
Bagaimana mengawal kos konteks panjang
Adakah model mengabaikan maklumat di tengah tetingkap
Adakah sejarah perbualan melimpahkan tetingkap
Apa yang dijawab artikel ini
- apa yang dimuat oleh 1 juta token konteks
- menganalisis dokumen panjang
- mengawal kos konteks panjang
Peta senario ringkas
| Jika anda perlu | Pergi ke |
|---|---|
| analisis dokumen panjang | Corak dua peringkat |
| Q&A peringkat repositori | Q&A peringkat repositori |
| jimat bil | Kawalan kos |
Pandangan ke hadapan
Katalog dan weights terus berubah; konvensi integrasi dan panggilan di sini mengikut dokumen rasmi pada masa penerbitan.
Sumber dan pengesahan
Fakta utama dalam artikel ini datang daripada kad model rasmi Kimi K3 (spesifikasi konteks) dan ukuran tokenizer platform dan disahkan pada 2026-11-09. ID model, harga dan ketersediaan mengikut katalog langsung platform — sengaja tidak menulis angka tetap yang cepat lapuk. Contoh kod mengikut kontrak API pada masa penerbitan; semak dokumen rasmi sebelum menyambung ke produksi.
Skop dan khalayak
Khalayak: pembangun yang mengendali dokumen panjang atau repositori besar. Skop: corak penggunaan konteks panjang, kawalan kos, dan sempadannya. Tidak merangkumi: reka bentuk seni bina RAG atau pemilihan vector store.
Nota editorial dan pembetulan
Ditulis oleh pasukan kandungan EXAIV daripada fakta yang boleh disahkan, dengan sumber dan kod disemak sebelum penerbitan. Jika ada yang lapuk atau salah, halaman keluaran rasmi dan katalog langsung yang muktamad — maklumkan melalui saluran maklum balas halaman supaya kami membetulkannya.
Bacaan berkaitan
- Panduan sambungan Kimi K3
- Panduan RAG Knowledge Base
- Qwen KV Cache dan konteks panjang
- Penjejakan token dan kos
- Panduan structured output