TRANSFER LEARNING |Text Bağlamında

Transfer learning, öğrenme aktarımında önceden eğitilmiş bir modelin yani kaynak görevinde olan modelin öğrendiği bilgileri daha iyi bir performans göstermesi için başka bir modeli eğitmek için kullanılmasıdır. Transfer learning dil çalışmalarında olumsuzluklar, duygular vs. gibi durumların tespiti için kullanımı günümüzde oldukça yaygındır. Örneğin, önceden eğitilmiş herhangi bir model öğrendiği olumsuz bilgilerini birçok görevde kullanabilir.

Doğal dil işlemede transfer öğrenimi için metinleri girdi veya çıktı olarak kullanırız. Bu kullanım oldukça yaygındır. Bunun için kelimelerin benzerlikleri ve farklılıkları için bir temsil olduğunu bilmeliyiz. Bu temsil uzayında eşleme yani kelime gömme kullanılır. Tüm bu kelime sunumlarını öğrenmek için kullanılan etkili algoritmalar mevcuttur.

Dil modelleri doğal dil işlemede yani metinlerde oldukça yaygın olarak kullanılmaktadır. Kelimeler bu konuda vektör olarak ifade edilmektedir. Sahip olunan kelime vektörleri benzer anlama sahip kelimelerin benzer vektör temsiline sahip olacak şekilde ifade edilmesi sağlanır.

Bu alanda çeşitli araştırma kuruluşları çok büyük metin belgeleri üzerinde önceden eğitilmiş modellerini belirli bir lisans kapsamında yayınlar ve kullanılmasına izin verirler. Bunlardan bazıları şunlardır:

  • Google’s word2vec Model
  • Stanford’s Glove Model
  • Facebook’s fastText
  • Skip-thought
  • InferSent
  • ELMo
  • ULMFiT
  • GPT
  • BERT

Daha önceden eğitilmiş dil modelleri kullanılıp dile ait yüksek seviyeli özellikler çıkarılarak ince bir ayar verilip daha farklı ve özel bir dile uyarlanabilir.

Google’s word2vec Model’i

Word2Vec, vektörler ile çalışır. Tahmin tabanlı algoritmalar kullanmaktadırç Kelimeler üzerinde yakınlık ve benzerlik gibi yetenekleri bulunmaktadır. Çalışma mantığı: Word2Vec yapısı gereği ile kelimeler üzerine odaklanır ve bu şekilde çalışır. İlk adımda bu yapı, metin yığını alır ve metin cyığınları kelime vektörlerine çevrilir. Model oluşturmak için alınan metin yığınları veri ön işlemeden geçer. Daha sonra eğitim verisi olarak bir kelime havuzu oluşturulur. Makina kelime vektör gösterimini bu şekilde öğrenir.

Facebook’s FastText

FastText, metin sınıflandırma alanı için Facebook AI Research tarafından geliştirilmiş ücretsiz bir kütüphanedir. Oldukça güçlü bir kütüphanedir. Label mantığı ile çalışır. Bu sebeple ilk olarak metin sınıflandırması yapılacak metin dokümanının özel bir ön işlemeden geçmesi gerekmektedir. Daha sonra model olarak karşılaştırma testleri gerçekleştirilebilir.

Leave a Reply

Your email address will not be published.