Google’ın PaLM 2’si, öncekinden yaklaşık beş kat daha fazla metin verisi kullanıyor

CNBC, Google’ın geçen hafta duyurduğu yeni büyük dil modelinin, 2022’den önceki modele göre yaklaşık beş kat daha fazla eğitim verisi kullandığını ve bu sayede daha gelişmiş kodlama, matematik ve yaratıcı yazma görevlerini yerine getirdiğini öğrendi.

CNBC tarafından görülen dahili belgelere göre, şirketin Google I/O’da tanıtılan yeni genel kullanımlı büyük dil (LLM) modeli PaLM 2, 3,6 trilyon jeton üzerinde eğitildi. Sözcük dizileri olan belirteçler, LLM eğitimi için önemli bir yapı taşıdır, çünkü modele bir dizide görünecek bir sonraki sözcüğü tahmin etmeyi öğretir.

Google’ın Pathways Language Model anlamına gelen PaLM’nin önceki sürümü 2022’de piyasaya sürüldü ve 780 milyar jeton üzerinde eğitildi.

Google, yapay zeka teknolojisinin gücünü ve bunun arama, e-postalar, kelime işlemci ve elektronik tablolara nasıl entegre edilebileceğini göstermeye hevesliyken, şirket eğitim verilerinin hacmini veya diğer ayrıntılarını yayınlamak konusunda isteksizdi. Microsoft destekli ChatGPT’nin mucidi OpenAI, GPT-4 adlı en son LLM dilinin ayrıntılarını da gizli tuttu.

Şirketler, açıklama yapılmamasının nedeninin işin rekabetçi doğası olduğunu söylüyor. Google ve OpenAI, geleneksel arama motorları yerine sohbet botlarını kullanarak bilgi aramak isteyebilecek kullanıcıları çekmek için acele ediyor.

Ancak AI silahlanma yarışı tüm hızıyla devam ederken, araştırma topluluğu daha fazla şeffaflık istiyor.

PaLM 2’yi ortaya çıkardığından beri Google, yeni modelin önceki LLM’lerden daha küçük olduğunu söyledi; bu, şirketin teknolojisinin daha karmaşık görevleri yerine getirirken daha verimli hale geldiği anlamına geldiği için önemli. PaLM 2, dahili belgelere göre, modelin karmaşıklığının bir göstergesi olan 340 milyar parametre üzerinde eğitilmiştir. İlk PaLM, 540 milyar parametre üzerinde eğitilmiştir.

Google bu haber için hemen yorum yapmadı.

Google dedi PaLM 2 ile ilgili bir blog gönderisinde, model, Hesaplamalı Ölçek Optimizasyonu adı verilen “yeni bir teknik” kullanıyor. Bu, LLM’yi “daha hızlı çıkarım, daha az hizmet parametresi ve daha düşük hizmet maliyeti dahil olmak üzere daha iyi genel performansla daha verimli” hale getirir.

Google, PaLM 2’yi duyururken, modelin 100 dilde eğitildiğini ve çok çeşitli görevleri yerine getirdiğini bildiren önceki CNBC raporlarını doğruladı. Şirketin deneysel chatbot’u Bard da dahil olmak üzere 25 özelliği ve ürünü güçlendirmek için şimdiden kullanılıyor. En küçüğünden en büyüğüne dört boyutta mevcuttur: Gecko, Otter, Bison ve Unicorn.

PaLM 2, kamuya açıklamalara dayalı olarak mevcut tüm modellerden daha güçlüdür. Facebook’tan LLM buna LLaMA diyor ve duyurmak Şubat ayında 1,4 trilyon jeton üzerinde eğitildi. OpenAI, ChatGPT eğitim hacmini en son GPT-3 ile paylaştığında, şirket o dönemde 300 milyar kod eğittiğini açıklamıştı. OpenAI, Mart ayında GPT-4’ü piyasaya sürdü ve birkaç profesyonel testte “insan düzeyinde performans” gösterdiğini söyledi.

Google’ın yaptığı LaMDA, LLM konuşması ayak CNBC tarafından görülen en son belgelere göre, iki yıl önce ve Şubat ayında Bard ile birlikte tanıtılan, 1,5 trilyon token üzerinde eğitildi.

Yeni AI uygulamaları hızla ana akıma ulaştıkça, altta yatan teknoloji hakkındaki tartışmalar da artıyor.

Google Kıdemli Araştırma Bilimcisi Mehdi Elmohamady, Şubatta istifa etti Şirketin şeffaflık eksikliği hakkında. Salı günü, OpenAI CEO’su Sam Altman, Senato Yargı Alt Komitesinin Gizlilik ve Teknoloji konulu bir duruşmasında ifade verdi ve AI ile başa çıkmak için yeni bir sistemin gerekli olduğu konusunda milletvekilleriyle anlaştı.

Altman, “Bu kadar yeni bir teknoloji için yeni bir çerçeveye ihtiyacımız var” dedi. “Kesinlikle bizimki gibi şirketlerin dünyaya sunduğumuz araçlar için çok fazla sorumluluğu var.”

— CNBC’den Jordan Novette bu rapora katkıda bulunmuştur.

İzler: OpenAI CEO’su Sam Altman, yapay zeka yönetimi için çağrıda bulundu