Cara Mulai Pakai Jev, LLM yang Jago Ambil Keputusan

Ringkasan: Jev adalah model System One pertama dari TypeSafe AI yang tidak menulis teks sama sekali. Anda mengirim satu state beserta questions bertipe, lalu Jev membalas probabilitas, bukan paragraf, sehingga kode Anda bisa langsung bercabang tanpa mengurai teks manual. Cocok untuk langkah yang berulang di dalam loop, bukan sebagai pengganti LLM.

• Bukan LLM – Tidak menghasilkan teks, hanya keputusan typed beserta confidence
• Decision model – Mengembalikan probabilitas yang bisa langsung di-threshold
• Satu pass – Semua questions dievaluasi paralel, latensi tambahan hampir nol
• Konteks 32.000 token – Untuk state beserta questions, bukan untuk dokumen panjang
• Harga $0.042 per juta token – Input saja, keluaran gratis, field usage.cost bisa diaudit
• Latensi 70–500ms – Angka vendor, bukan pengukuran independen
• Multi-bahasa – TypeScript, Python, dan Go

Apa Ini

Hampir tiap langkah membangun agent berakhir di pertanyaan yang sama: model mana yang perlu dipanggil? Untuk routing atau triage, memanggil LLM penuh terasa lambat sekaligus mahal. Di sinilah Jev masuk, satu lapisan sempit yang dipanggil berulang di dalam loop, berdampingan dengan LLM yang sudah Anda pakai.

Mekanismenya sederhana: Jev menerima satu state dan beberapa questions bertipe, mengevaluasinya dalam satu kali jalan, lalu mengembalikan nilai typed beserta nilai confidence. Kode Anda bercabang langsung dari angka itu, tanpa parsing teks, tanpa retry karena format keluaran rusak.

Model Jev di katalog OpenRouter, termasuk ID model dan daftar harga.

Cara Kerja

Alurnya pendek dan sengaja tidak fleksibel. Anda kirim state berupa teks yang menggambarkan situasi saat ini, lalu daftar questions. Tiap question punya tipe yang menentukan bentuk jawaban: Choice memilih satu dari beberapa opsi, Score memberi angka, dan Noul menjawab ya, tidak, atau tidak tahu. Semua pertanyaan dievaluasi dalam satu pass dan hasilnya keluar sebagai angka yang bisa langsung dibandingkan.

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()
response = classifier.invoke({
    "state": "The deploy failed twice and customers are seeing 500s. Can someone look now?",
    "questions": {"urgent": Noul(instructions="Does this need attention right now?")},
})
urgency = response.nouls["urgent"].noul

Keunggulan ini bukan karena Jev lebih pintar dalam bahasa, melainkan karena tugasnya sempit: LLM umum mengembalikan prosa yang harus Anda parse sendiri, sedangkan Jev mengembalikan nilai typed beserta probabilitas. Kode berbasis aturan if tetap tercepat, tetapi hanya untuk kondisi yang memang bisa ditulis demikian.

Pembagian kerja yang paling masuk akal begini: LLM untuk generasi teks, Jev untuk keputusan terstruktur, kode untuk ambang batas, dan manusia untuk kasus berisiko tinggi. Kelemahannya juga jelas, Jev tidak bisa menjelaskan diri sendiri karena memang tidak menyimpan jejak penalaran.

Kapan Dipakai

Lima kasus penggunaan yang paling masuk akal, semuanya berbasis keputusan terstruktur yang berulang:

Pada triage tiket, satu permintaan bisa memuat tiga pertanyaan sekaligus. Choice menentukan departemen, Score mengukur tingkat frustrasi, dan Noul mengecek urgensi. Antrean kemudian disusun berdasarkan nilai confidence sehingga tiket yang meragukan bisa naik lebih dulu ke manusia.

Pada routing model, biaya harus ikut kesulitan tugas yang sedang dikerjakan. Pencarian sederhana cukup memakai model murah, sedangkan pekerjaan arsitektur diarahkan ke model yang lebih kuat. Tagihan tidak membengkak hanya karena satu langkah kecil memakai model mahal.

Untuk guardrail tool, pemanggilan seperti bash dicek lebih dulu terhadap permintaan pengguna. Yang aman diizinkan, yang tidak didukung ditolak, dan kasus ambigu dijeda untuk manusia. Pada cascade terverifikasi, draf cukup dibuat LLM murah lalu diperiksa Jev. Model yang lebih kuat baru dipakai waktu pemeriksaan gagal.

Pelabelan massal bekerja pada batch besar komentar atau email. Satu kategori utama cukup untuk pengelompokan, sementara jumlah tag bebas ditambah sesuai kebutuhan. Penilaian mentah dari model sebaiknya disimpan, supaya ambang batas bisa disetel ulang tanpa menjalankan permintaan lagi dari awal.

Cara Mulai

Enam langkah supaya Jev bisa langsung dipakai:

1. Ambil kunci akses dari OpenRouter atau typesafe.ai
2. Pasang paket langchain-typesafe
3. Set variabel lingkungan TYPESAFE_API_KEY
4. Kirim state beserta questions
5. Bercabang pada hasil, atur ambang batas per aksi
6. Kunci versi jev-1.13 agar hasil pengukuran konsisten

pip install langchain-typesafe
export TYPESAFE_API_KEY=your_key_here

Langkah pertama adalah mendapatkan kunci akses. Anda bisa mendaftar di typesafe.ai lewat konfirmasi email, terima ketentuan, isi profil, lalu isi kredit. Jika Anda sudah punya kunci OpenRouter, langkah ini bisa dilewati tanpa daftar tunggu.

Proyek selain Python bisa memakai SDK TypeScript atau Go sebagai gantinya. Setelah paket terpasang, kirim satu state beserta questions bertipe, dan semua pertanyaan dievaluasi paralel dalam satu kali jalan.

Pencabangan kode adalah bagian yang paling menentukan. Anda bercabang pada hasil lalu atur ambang batas per aksi sesuai biaya dari kesalahan. Jika salah klasifikasi hanya membutuhkan beberapa detik untuk diperbaiki, ambangnya boleh longgar. Sebaliknya, jika salah klasifikasi berarti transaksi gagal, ambang batas harus dibuat jauh lebih ketat.

Kunci versi jev-1.13 supaya hasil pengukuran Anda konsisten dari waktu ke waktu. Untuk mencoba tanpa biaya, pakai varian jev-1.13-free yang tersedia lewat OpenCode. Varian ini tidak muncul di katalog model OpenRouter, jadi aksesnya memang lewat OpenCode. Dengan begitu Anda bisa mengukur sendiri selisih biaya dan latensinya sebelum memutuskan untuk serius.

Varian gratis jev-1.13-free tersedia lewat OpenCode, jalur mencoba tanpa biaya.

Kelebihan dan Kekurangan

Kelebihan

• Keputusan terstruktur konsisten, tanpa penguraian teks manual
• Semua questions dievaluasi dalam satu pass dengan latensi tambahan hampir nol
• Angka confidence memungkinkan ambang batas yang bisa diaudit
• Field usage.cost membuat biaya bisa diverifikasi per permintaan
• Varian gratis lewat OpenCode untuk mengukur sendiri selisih biaya dan latensi

Kekurangan

• Tidak punya teks, jejak penalaran, dan penjelasan diri
• Sumber tidak menyebut kompetitor komersial lain, perbandingan hanya antar kategori
• Angka 193–200× lebih cepat dan 400–444× lebih murah adalah klaim vendor
• Integrasi masih berada di modul eksperimental

Yang Perlu Diwaspadai

Tujuh hal yang perlu diwaspadai sebelum dipakai serius:

Pertanyaan seperti apakah ini bernilai, mendesak, dan kemungkinan besar membeli terlalu banyak isi sekaligus membuat model kewalahan. Pecah jadi question terpisah yang atomik dan deskriptif.

Skill yang kedaluwarsa juga bisa membuat agent mengarang field permintaan dan response yang tidak pernah ada. Perbarui berkala supaya agent tetap sinkron dengan API yang sebenarnya.

Coba di Agent Anda Sendiri

Tidak ada cara cepat selain mencobanya. Kalau agent Anda punya langkah routing atau triage yang berulang, ukur sendiri selisih biaya dan latensinya memakai varian jev-1.13-free sebelum memutuskan untuk serius.

Mulai dari satu decision module kecil, log setiap nilai mentah plus usage.cost, lalu atur ambang batas setelah Anda punya data sendiri. Jangan menjadikan angka vendor sebagai dasar keputusan.

Tautan Proyek

• Halaman model Jev 1.13 di OpenRouter – sumber untuk harga, konteks, dan spesifikasi System One
• Paket langchain-typesafe di PyPI – versi terbaru saat artikel ini ditulis masih 0.0.1a3, yaitu pre-alpha
• Organisasi TypeSafe AI di GitHub – SDK dan referensi API

Artikel Terkait

Belum ada artikel lain di Tech Guide. Koleksi panduan teknis ini baru dimulai, dan artikel berikutnya akan membahas setup AI agent, MCP, dan memory layer.