OpenAI CEO’su Sam Altman, Avrupa gezisinin bir parçası olarak OpenAI’nin yol haritası hakkında bir güncelleme yaptı.
Altman’a göre, bilgi işlem gücünün olmaması OpenAI’nin kısa vadeli planlarını yavaşlatıyor ve OpenAI’nin API’sinin güvenilirliği hakkında müşteri şikayetlerine yol açıyor.
GPU eksikliği, ince ayar modelleri için API’yi de sınırlıyor, dedi. OpenAI, açık kaynak topluluğu için çok yararlı olan düşük düzey uyarlama (LoRA) gibi daha verimli ince ayar yöntemlerini henüz kullanmamaktadır.
GPT-4’ün 32k bağlam pencereli versiyonu da bilgi işlem gücü eksikliği nedeniyle henüz dağıtılamaz ve bütçesi 100.000 doların üzerinde olan özel modellere erişim sınırlıdır. Yine de Altman, bu yıl bir milyon jetona kadar bağlam penceresinin gerçekçi olduğuna inanıyor.
reklam
Bunun ötesinde herhangi bir şey, diyor, transformatör modeli dikkati için “O(n^2)” ölçekleme probleminin çözülmesini gerektirecektir: Bağlam penceresinin boyutu arttıkça, gerekli hesaplama miktarı belirteç sayısının karesi kadar artar. Bağlam penceresinin boyutunu iki katına çıkarmak, hesaplamayı dört katına, dokuz katına vb. Altman, bu sorunu çözmenin bilimsel bir atılım gerektireceğini söylüyor.
GPT-4’ü daha ucuz hale getirme
GPT-4 hesaplamasının maliyetini azaltmak, OpenAI için en önemli önceliktir. Daha şimdiden GPT-3’ten GPT-3.5’e ve ChatGPT’ye OpenAI, hesaplama maliyetini büyük ölçüde azaltabildi. Bu, önemli ölçüde daha düşük API maliyetleri aracılığıyla müşterilere aktarıldı.
En son modeller, ince ayarlı API aracılığıyla ve önceki konuşmaları hatırlayabilen yeni bir API aracılığıyla yıl içinde kullanıma sunulmalıdır, böylece her yeni API çağrısında tekrar gönderilmeleri gerekmez. Bu, maliyetleri daha da azaltacaktır.
Öte yandan, Altman’a göre ChatGPT’nin eklentilerinin API’ye girmesi pek olası değil. Uygulamalardaki ChatGPT’nin, ChatGPT’deki uygulamalardan daha ilgi çekici olduğuna inanıyor. Altman’a göre, göz atma dışındaki eklentiler hala ürün-pazar uyumundan yoksun.
Bu bağlamda Altman, geliştirici topluluklarıyla rekabet etmeyi tercih etmeyecekleri için OpenAI’nin ChatGPT dışında başka bir ürün planlamadığını garanti eder. ChatGPT’nin vizyonu, OpenAI API’lerini optimize etmek ve akıllı bir asistan sağlamaktır. Dil modelleri için OpenAI’nin dokunmayacağı başka birçok uygulama var.
Öneri
Multimodalite 2024’e kadar gelmeyecek
Önümüzdeki yıl için OpenAI, multimodaliteyi gündemine aldı. Multimodalite, bir AI modelinin metin kadar resimleri ve gelecekte belki de ses ve video veya 3B modelleri işleyebileceği anlamına gelir.
OpenAI, GPT-4 lansmanında modelin prensip olarak görüntüleri işleyebileceğini, yani görüntülere veya görüntülere dayalı olarak metin veya kod üretebileceğini zaten göstermiştir. Yukarıda belirtilen GPU sınırlaması nedeniyle, bu özellik şu anda kullanılamamaktadır.
OpenAI’nin ek çok modlu modeller üzerinde çalışıp çalışmadığı bilinmiyor. Altman’a göre GPT-5’in daha fazla çoklu mod eklemesi bekleniyor, ancak altı ay daha eğitime girmeyecek. Bu nedenle Google Deepmind, Gemini modeliyle multimodalite konusunda avantajlı bir başlangıç yapabilir.
Altman ayrıca, OpenAI’nin daha büyük modelleri eğitmeye çalışmaya devam edeceğini ve ölçekleme yasasının hala geçerli olduğunu, yani daha büyük modellerin daha fazla performans vaat ettiğini söyleyerek “dev AI modelleri çağının sonu” hakkındaki son açıklaması hakkında yorum yaptı. Bununla birlikte, bu sürdürülebilir olmadığı için modeller artık her yıl ikiye veya üçe katlanmayacak.