Çince dili için GPT-3 eşdeğeri.
Çinli sunucu üreticisi Inspur, Turing testini geçtiği ve GPT-3’ten çok daha az GPU gerektirdiği söylenen canavar bir metin üreten sinir ağı Yuan 1.0’ı eğitti.
Inspur yapay zekaya el attı ve OpenAI tarafından üretilen GPT-3’ten daha üstün bir metin ve kod üreten makine öğrenimi modeli ürettiğini iddia ediyor. Üstelik bunu çok daha az GPU kullanarak yaptı.
Inspur’un modeli Yuan 1.0 olarak adlandırılıyor ve Çince metin üretiyor. Çinli sunucu üreticisi modelin 245,7 milyar parametresi olduğunu (GPT-3’ün 175 milyar parametresi var) söylüyor, Turing testini geçebileceğini iddia ediyor ve deyim okuma anlama görevinde insanları yenebileceğini düşünüyor.
Ne yaptılar? Bu taraftaki modelleri eğitirken, zor olan şeylerin çoğu tesisattır - kelimenin tam anlamıyla. Modelinizi binlerce GPU üzerinde eğitmek için iyi optimize edilmiş boru hatlarını nasıl oluşturacağınızı bulmanız gerekir; bu da veri verimliliğini en üst düzeye çıkarmak için model eğitiminin farklı aşamalarını salam dilimlemeyi içerir. Benzer şekilde, bu GPU’ları doğru sırayla verilerle beslemeniz ve verimliliği daha da artırmanız gerekir. Makalede Inspur araştırmacılarının bunu nasıl yapmaya çalıştığına dair güzel bir tartışma yer alıyor.
Hesaplama: 245B modelini eğitmek için 2128 GPU kullandılar ve bağlam uzunluğu 2048 jetondu.
Yapay zekaya yardım eden yapay zeka aracılığıyla veri: Modeli eğitmek için ağırlıklı olarak Çince metinlerden oluşan 5 TB’lık bir veri kümesi oluşturdular. (Karşılaştırmak gerekirse, Huawei’nin GPT3 eşdeğeri PanGu 1,1 TB metin ve ERNIE 3.0 4 TB veri üzerinde eğitilmiştir). Verilerin otomatik olarak filtrelenmesine yardımcı olmak için BERT tarzı bir model eğitiyorlar. Verileri Common Crawl, Sogou News, SogouT, Encyclopedia ve Books’tan gelmektedir.
Ne kadar iyi? Yuan 1.0 çeşitli standart kıyaslamalarda başarılı. En ilginç sonuç, metin oluşturma kalitesiyle ilgili - burada yazarlar, orijinal GPT3 makalesinde olduğu gibi aynı yaklaşımı benimsiyor, farklı biçimlerde metin oluşturuyor ve insanların oluşturulan metni ‘gerçek’ metinden ne kadar iyi ayırt edebildiğini görüyorlar. Sonuçlar çarpıcıdır - insanlar %49,57 oranında doğrudur (GPT3 için %52’ye kıyasla), yani Yuan 1.0 çıktıları o kadar iyidir ki insan tarafından yazılmış metinden ayırt edilemezler.
Kaynak:
https://www.theregister.com/2021/10/28/yuan_1_natural_language_model/ https://jack-clark.net/2021/10/18/import-ai-270-inspur-makes-a-gpt3-microsofts-half-trillion-parameter-model-plus-a-fair-surveillance-dataset/