Sarvam resmi membuka Sarvam Token Factory untuk semua orang. Platform ini adalah layanan inference yang menjalankan model milik Sarvam sendiri plus model open weight dari klaster GPU di India, dan semua model bisa diakses developer lewat satu API yang kompatibel dengan OpenAI. Bagi tim yang berbasis di India, artinya token latensi rendah tanpa harus mengirim trafik ke cloud luar negeri.
Sebelumnya platform ini sempat dipreview dengan nama Sarvam Inference di acara Epoch. Kini versi penuhnya membawa delapan model sekaligus, jadi bukan cuma satu model unggulan. Pendekatannya managed inference stack, bukan model tunggal, sehingga developer tinggal pilih model sesuai kebutuhan.
Model apa saja yang tersedia di Sarvam Token Factory?
Ada delapan model yang terdaftar saat peluncuran: Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro, dan Gemma 4 31B. Sarvam 105B membawa 105B parameter total dengan 9B aktif dan konteks 128K.
Dokumentasi membagi model jadi dua kelompok. Model pay-as-you-go jalan di endpoint bersama. Sementara DeepSeek V4 Pro, Kimi K3.1 Pro, Qwen 3.8 27B, Clef, dan EmbeddingGemma 2 butuh Provisioned Throughput yang diaktifkan per organisasi. Untuk perusahaan, tersedia opsi deployment on-premise.
Bagaimana arsitektur dan performanya?
Stack-nya dibangun dari tiga lapisan di sekitar cache bersama. Ada control plane berisi cache-aware router, admission control, dan planner. Lalu inference engine dengan pool GPU terpisah untuk prefill dan decode. Terakhir cache yang memakai memori GPU plus shared G3 store berbasis Mooncake. Fondasinya menumpang pada vLLM, SGLang, Dynamo, Mooncake, NIXL, DeepEP, DeepGEMM, dan FlashInfer.
Caching jadi sumber penghematan terbesar. DeepSeek V4.1 Flash melayani lebih dari 450B token per hari, dengan 95,7 persen prompt token dilayani dari cache. Di GLM 5.3, planner memangkas prefill GPU-hours dari 32,3 jadi 17,1 pada beban replay yang sama. Untuk Sarvam 105B, bobot MXFP8 plus speculative decoding menaikkan throughput output sekitar 2,2 kali, sehingga tiap replica cukup satu B200 dari sebelumnya dua. Sarvam menyebut perubahan ini tidak menurunkan akurasi.
Seberapa cepat dibanding penyedia lain?
Semua angka benchmark berasal dari postingan peluncuran Sarvam, jadi sifatnya self-reported. Sarvam 105B mencatat 0,2 detik first token dan 330 token per detik untuk satu pengguna. Gemma 4 31B dengan prompt 10K dari Mumbai mencatat 0,40 detik first token dan 308 token per detik, lawan 2,00 detik dan 193 token per detik di satu-satunya penyedia lain.
Kimi K3.1 Pro dengan 16 B200 mencatat 6.177 token per detik per GPU, versus 3.213 milik InferenceX pada 70 token per detik per pengguna, atau sekitar 1,9 kali. Pada beban agent berat 72 sesi, median first token 0,8 detik lawan 11,6 detik. GLM 5.3 Flash dengan 64 sesi mencatat p99 first token 3,2 detik lawan 14,1 detik untuk vLLM dan Dynamo standar.
Hasilnya tidak menang mutlak. Di DeepSeek V4.1 Flash dengan prompt 10K, Together mencatat 0,71 detik first token lawan 0,90 detik Sarvam. Together juga streaming lebih cepat, 278 token per detik lawan 130 di Sarvam Standard.
Berapa harganya dan siapa yang cocok pakai?
Harga dipatok dalam rupee India per 1 juta token sesuai dokumentasi. Sarvam 105B mulai dari ₹10 input dan ₹25 output per 1 juta token. Harga introductori berlaku sampai akhir 2026. Endpoint DeepSeek Interactive yang lebih cepat dibanderol ₹25 input dan ₹105 output. Tarif model provisioned belum dipublikasikan di halaman docs.
Platform ini paling masuk akal buat tim India yang butuh latensi rendah tanpa trafik keluar negeri. Untuk pengguna Indonesia, belum ada informasi soal ketersediaan regional atau pembayaran, jadi pantau dokumentasi resminya dulu
Orang Juga Bertanya
Apa itu Sarvam Token Factory?
Sarvam Token Factory adalah platform inference terkelola dari Sarvam yang menyajikan model miliknya sendiri dan model open weight dari klaster GPU di India. Semua model diakses lewat satu API kompatibel OpenAI.
Model apa saja yang ada di Sarvam Token Factory?
Ada delapan model saat peluncuran, termasuk Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro, dan Gemma 4 31B.
Berapa harga Sarvam Token Factory?
Sarvam 105B mulai ₹10 input dan ₹25 output per 1 juta token dalam rupee India. Harga introductori berlaku sampai akhir 2026, sedangkan tarif model provisioned belum dipublikasikan.
Apakah Sarvam Token Factory bisa dipakai di Indonesia?
Belum diumumkan. Sumber hanya menyebut layanan ini dijalankan dari klaster GPU di India dan menyasar tim berbasis India, tanpa keterangan soal ketersediaan untuk pengguna Indonesia.
Bagaimana performa Sarvam Token Factory dibanding penyedia lain?
Sarvam mengklaim unggul di banyak kasus, misalnya 1,9 kali throughput per GPU pada Kimi K3.1 Pro. Namun Together masih lebih cepat di DeepSeek V4.1 Flash, dan semua angka benchmark bersifat self-reported.
Menurut kalian, layanan inference lokal seperti ini lebih penting buat latensi atau buat soal kedaulatan data? Tulis pendapat kalian di kolom balasan ya
Diolah redaksi N3 dari laporan MarkTechPost.
Sebelumnya platform ini sempat dipreview dengan nama Sarvam Inference di acara Epoch. Kini versi penuhnya membawa delapan model sekaligus, jadi bukan cuma satu model unggulan. Pendekatannya managed inference stack, bukan model tunggal, sehingga developer tinggal pilih model sesuai kebutuhan.
Model apa saja yang tersedia di Sarvam Token Factory?
Ada delapan model yang terdaftar saat peluncuran: Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro, dan Gemma 4 31B. Sarvam 105B membawa 105B parameter total dengan 9B aktif dan konteks 128K.
Dokumentasi membagi model jadi dua kelompok. Model pay-as-you-go jalan di endpoint bersama. Sementara DeepSeek V4 Pro, Kimi K3.1 Pro, Qwen 3.8 27B, Clef, dan EmbeddingGemma 2 butuh Provisioned Throughput yang diaktifkan per organisasi. Untuk perusahaan, tersedia opsi deployment on-premise.
Bagaimana arsitektur dan performanya?
Stack-nya dibangun dari tiga lapisan di sekitar cache bersama. Ada control plane berisi cache-aware router, admission control, dan planner. Lalu inference engine dengan pool GPU terpisah untuk prefill dan decode. Terakhir cache yang memakai memori GPU plus shared G3 store berbasis Mooncake. Fondasinya menumpang pada vLLM, SGLang, Dynamo, Mooncake, NIXL, DeepEP, DeepGEMM, dan FlashInfer.
Caching jadi sumber penghematan terbesar. DeepSeek V4.1 Flash melayani lebih dari 450B token per hari, dengan 95,7 persen prompt token dilayani dari cache. Di GLM 5.3, planner memangkas prefill GPU-hours dari 32,3 jadi 17,1 pada beban replay yang sama. Untuk Sarvam 105B, bobot MXFP8 plus speculative decoding menaikkan throughput output sekitar 2,2 kali, sehingga tiap replica cukup satu B200 dari sebelumnya dua. Sarvam menyebut perubahan ini tidak menurunkan akurasi.
Seberapa cepat dibanding penyedia lain?
Semua angka benchmark berasal dari postingan peluncuran Sarvam, jadi sifatnya self-reported. Sarvam 105B mencatat 0,2 detik first token dan 330 token per detik untuk satu pengguna. Gemma 4 31B dengan prompt 10K dari Mumbai mencatat 0,40 detik first token dan 308 token per detik, lawan 2,00 detik dan 193 token per detik di satu-satunya penyedia lain.
Kimi K3.1 Pro dengan 16 B200 mencatat 6.177 token per detik per GPU, versus 3.213 milik InferenceX pada 70 token per detik per pengguna, atau sekitar 1,9 kali. Pada beban agent berat 72 sesi, median first token 0,8 detik lawan 11,6 detik. GLM 5.3 Flash dengan 64 sesi mencatat p99 first token 3,2 detik lawan 14,1 detik untuk vLLM dan Dynamo standar.
Hasilnya tidak menang mutlak. Di DeepSeek V4.1 Flash dengan prompt 10K, Together mencatat 0,71 detik first token lawan 0,90 detik Sarvam. Together juga streaming lebih cepat, 278 token per detik lawan 130 di Sarvam Standard.
Berapa harganya dan siapa yang cocok pakai?
Harga dipatok dalam rupee India per 1 juta token sesuai dokumentasi. Sarvam 105B mulai dari ₹10 input dan ₹25 output per 1 juta token. Harga introductori berlaku sampai akhir 2026. Endpoint DeepSeek Interactive yang lebih cepat dibanderol ₹25 input dan ₹105 output. Tarif model provisioned belum dipublikasikan di halaman docs.
Platform ini paling masuk akal buat tim India yang butuh latensi rendah tanpa trafik keluar negeri. Untuk pengguna Indonesia, belum ada informasi soal ketersediaan regional atau pembayaran, jadi pantau dokumentasi resminya dulu
Orang Juga Bertanya
Apa itu Sarvam Token Factory?
Sarvam Token Factory adalah platform inference terkelola dari Sarvam yang menyajikan model miliknya sendiri dan model open weight dari klaster GPU di India. Semua model diakses lewat satu API kompatibel OpenAI.
Model apa saja yang ada di Sarvam Token Factory?
Ada delapan model saat peluncuran, termasuk Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro, dan Gemma 4 31B.
Berapa harga Sarvam Token Factory?
Sarvam 105B mulai ₹10 input dan ₹25 output per 1 juta token dalam rupee India. Harga introductori berlaku sampai akhir 2026, sedangkan tarif model provisioned belum dipublikasikan.
Apakah Sarvam Token Factory bisa dipakai di Indonesia?
Belum diumumkan. Sumber hanya menyebut layanan ini dijalankan dari klaster GPU di India dan menyasar tim berbasis India, tanpa keterangan soal ketersediaan untuk pengguna Indonesia.
Bagaimana performa Sarvam Token Factory dibanding penyedia lain?
Sarvam mengklaim unggul di banyak kasus, misalnya 1,9 kali throughput per GPU pada Kimi K3.1 Pro. Namun Together masih lebih cepat di DeepSeek V4.1 Flash, dan semua angka benchmark bersifat self-reported.
Menurut kalian, layanan inference lokal seperti ini lebih penting buat latensi atau buat soal kedaulatan data? Tulis pendapat kalian di kolom balasan ya
Diolah redaksi N3 dari laporan MarkTechPost.