OpenAI’s roadmap suffers from GPU shortage



özet
Özet

OpenAI CEO’su Sam Altman, Avrupa gezisinin bir parçası olarak OpenAI’nin yol haritası hakkında bir güncelleme yaptı.

Altman’a göre, bilgi işlem gücünün olmaması OpenAI’nin kısa vadeli planlarını yavaşlatıyor ve OpenAI’nin API’sinin güvenilirliği hakkında müşteri şikayetlerine yol açıyor.

GPU eksikliği, ince ayar modelleri için API’yi de sınırlıyor, dedi. OpenAI, açık kaynak topluluğu için çok yararlı olan düşük düzey uyarlama (LoRA) gibi daha verimli ince ayar yöntemlerini henüz kullanmamaktadır.

GPT-4’ün 32k bağlam pencereli versiyonu da bilgi işlem gücü eksikliği nedeniyle henüz dağıtılamaz ve bütçesi 100.000 doların üzerinde olan özel modellere erişim sınırlıdır. Yine de Altman, bu yıl bir milyon jetona kadar bağlam penceresinin gerçekçi olduğuna inanıyor.

reklam

Bunun ötesinde herhangi bir şey, diyor, transformatör modeli dikkati için “O(n^2)” ölçekleme probleminin çözülmesini gerektirecektir: Bağlam penceresinin boyutu arttıkça, gerekli hesaplama miktarı belirteç sayısının karesi kadar artar. Bağlam penceresinin boyutunu iki katına çıkarmak, hesaplamayı dört katına, dokuz katına vb. Altman, bu sorunu çözmenin bilimsel bir atılım gerektireceğini söylüyor.

GPT-4’ü daha ucuz hale getirme

GPT-4 hesaplamasının maliyetini azaltmak, OpenAI için en önemli önceliktir. Daha şimdiden GPT-3’ten GPT-3.5’e ve ChatGPT’ye OpenAI, hesaplama maliyetini büyük ölçüde azaltabildi. Bu, önemli ölçüde daha düşük API maliyetleri aracılığıyla müşterilere aktarıldı.

En son modeller, ince ayarlı API aracılığıyla ve önceki konuşmaları hatırlayabilen yeni bir API aracılığıyla yıl içinde kullanıma sunulmalıdır, böylece her yeni API çağrısında tekrar gönderilmeleri gerekmez. Bu, maliyetleri daha da azaltacaktır.

Öte yandan, Altman’a göre ChatGPT’nin eklentilerinin API’ye girmesi pek olası değil. Uygulamalardaki ChatGPT’nin, ChatGPT’deki uygulamalardan daha ilgi çekici olduğuna inanıyor. Altman’a göre, göz atma dışındaki eklentiler hala ürün-pazar uyumundan yoksun.

Bu bağlamda Altman, geliştirici topluluklarıyla rekabet etmeyi tercih etmeyecekleri için OpenAI’nin ChatGPT dışında başka bir ürün planlamadığını garanti eder. ChatGPT’nin vizyonu, OpenAI API’lerini optimize etmek ve akıllı bir asistan sağlamaktır. Dil modelleri için OpenAI’nin dokunmayacağı başka birçok uygulama var.

Öneri

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top