Kendi kendini denetleyen NLP sistemlerinin ön eğitimi için optimize edilmiş bir yöntem.
RoBERTa, BERT’in dil maskeleme stratejisi üzerine inşa edilmiştir; sistem, aksi takdirde açıklanmamış dil örnekleri içindeki kasıtlı olarak gizlenmiş metin bölümlerini tahmin etmeyi öğrenir. PyTorch’ta uygulanan RoBERTa, BERT’in bir sonraki cümle ön eğitim hedefinin kaldırılması ve çok daha büyük mini gruplar ve öğrenme oranlarıyla eğitim dahil olmak üzere BERT’teki temel hiperparametreleri değiştirir. Bu, RoBERTa’nın maskeli dil modelleme hedefini BERT’e kıyasla geliştirmesine olanak tanır ve daha iyi bir alt görev performansı sağlar. Ayrıca RoBERTa’yı BERT’ten çok daha fazla veri üzerinde, daha uzun bir süre boyunca eğitmeyi keşfettik. Mevcut açıklamasız NLP veri setlerinin yanı sıra halka açık haber makalelerinden alınan yeni bir set olan CC-News’u kullandık.RoBERTa, Facebook AI tarafından geliştirilmiştir.
Kaynak: https://ai.facebook.com/blog/roberta-an-optimized-method-for-pretraining-self-supervised-nlp-systems/