Ana içeriğe geç

Çalışma Süresi Ücretlendirmesi

Token ücretlerinin yanında, çalışan her node çalışmakla geçirdiği süre için küçük bir ücret biriktirir. İnsanların beklemediği bileşen budur ve model kullanımı birebir aynı olan iki akışın neden farklı tuttuğunu açıklayan da odur.

Çalışma süresi neden ücretlendirilir​

Token fiyatları yapay zeka sağlayıcısına ödenir. Çalışma süresi ise akışınızın gerçekten üzerinde koştuğu altyapıyı öder — akışınızı bellekte tutan, API'leri bekleyen ve model çağrıları arasındaki her şeyi yapan makineleri.

Yavaş bir üçüncü taraf API'sini dokuz saniye bekleyen bir node hiç token kullanmamıştır ama dokuz saniye boyunca bir işçiyi meşgul etmiştir. Bu ücretin karşıladığı şey odur.

Çalışma süresi nasıl ölçülür​

Node başına, duvar saati saniyeleriyle; node başladığı andan bittiği ana kadar. Çalıştırmadaki her node için toplanır.

Önemli olan duvar saati kısmıdır. Beklemekle geçen süre sayılır: yavaş bir HTTP çağrısı, işlenen büyük bir doküman, ağırdan alan bir model. Bekleme sırasında akış bir şey yapmaz ama kapasite yine de ayrılmıştır.

Dakika başına ücret​

Oran, Fiyatlandırma sekmesindeki Exec (per min) sütununda görünür — bu satırlar yazılırken dakikada 0,12 $, yani saniyede 0,002 $.

Ölçeklemek için biraz aritmetik:

AkışToplam çalışma süresiÇalışma süresi ücreti
Başlangıç → Agent → Doğrudan Yanıt~3 saniye~0,006 $
Bilgi Getirici + Agent + iki araç~10 saniye~0,02 $
Harici API'li çoklu agent akışı~30 saniye~0,06 $

Mesaj başına küçük. On bin mesajda kayda değer ve bin tanesini tek seferde tetikleyen bir toplu çalıştırmada da öyle.

Bir akışı ne uzatır​

Kabaca etkisi azalan sırayla:

  • Yavaş harici çağrılar. Üçüncü tarafı bekleyen bir HTTP node ya da araç genellikle en büyük tek katkıdır. Akışta verimsiz bir şey yoktur — karşı taraf yavaştır.
  • Uzun model yanıtları. 800 kelime üretmek 80 kelime üretmekten ölçülebilir biçimde uzun sürer.
  • Node sayısı. Her node kendi süresini ekler, ne kadar küçük olursa olsun. Altı node'un yapabileceğini on iki node'la yapan bir akış iki katı çalışma süresine mal olur.
  • Büyük getirmeler. Daha çok pasaj çekip gömmek, az çekmekten uzun sürer.
  • İterasyon ve döngüler. İterasyon ve Döngü içindeki her şeyi çarpar.
not

Bekle node'u farklı faturalanır. Bekleme, bir işçiyi meşgul etmek yerine çalıştırmayı askıya alır; dolayısıyla çalışma süresi biriktirmez — ama sürenin kendisi, kendine ait çok daha düşük saniye ücretiyle ücretlendirilir. Bir günlük bekleme, aynı sürede çalışma süresinin tutacağı dolarlar değil, birkaç sent tutar. Tek bir Bekle node'u 24:59:59 sınırını aşamaz.

Pahalı akışları bulma​

Kullanım Paneli'nin dağılım görünümü maliyeti akışa ve node'a göre ayırır. Bir akış olması gerekenden pahalıya mal olduğunda, node düzeyindeki kırılım genellikle tutarın çoğunu tek bir adımın oluşturduğunu gösterir — ve o adım genellikle model değil harici bir çağrıdır.

İlgili​