TextGenRnn ile Text Generation

Kendi bloğumda bayağı bir yazı biriktiği için kolay yönden Text Generation ile metinler üretmeye karar verdim. Araştırıken çok basit bir kütüphane buldum:

https://github.com/minimaxir/textgenrnn

Gerçekten kolay gözüküyordu. RNN kullanıyordu ve Readme sayfasındaki örnekler de hiç fena gözükmüyordu.

Yazıları Markdown formatına çevirmek için şuradaki yazıya bakmalısınız:

https://anilkaynr.wordpress.com/2019/11/14/wordpress-postlarini-xml-halinden-markdown-haline-cevirmek/

Ardından oluşan dosyaları okumak ve eğitmek için şu şekilde bir kod yazdım:

import glob import re path="_posts\\" posts=[] for file in glob.glob(path+"*.markdown"): olay=open(file,"r",encoding="UTF-8") post=olay.read() post=post.replace("ş","$") post=post.replace("Ş","$") posts.append(post)

Klasör içindeki bütün markdown dosyları okuyor ve Ş,ş karakterlerini $ ile değiştiriyor. Niyeyse diğer Türkçe karakterler ile sorun yaşamazken ş harfinde problem yaşanıyor.

Ardından training işlemine geçebiliriz:

from textgenrnn import textgenrnn textGen = textgenrnn() textGen.train_on_texts(texts=posts,num_epochs=60)

Evet karşılaştığımız sonuçlar ise ilginç. Biraz daha veri istediği kesin ama yine de bazı ilginç sonuç verdi (Loss 0.4'tü bu arada 60 epochta).

Çıktılardan Örnekler:

-title: “KNN et — İnstall Filtreleme”categories: cudm-query-git is contents-Bunu dosyalar olmu$tur. ne yutları olarak build Hatasın üzerinde çb6 mantıklı olan bazını Konsol elbette klear. Eğer sadece bir biçimde kala-en gen seçiyoruz. Telnet interesting github.com/2019S-192.1 Plane: index.

— — — — — — — — — — — — — — — — — —

“Sklearn Jenkisur açık insan Bilgisayarın orayla kolay bir $ekilde yapabiliriz: https://gist.github.com/anilkay/6c48c69e0e8fcce2727271831e571a15 Bu $ekilde kullanmanız gereken $ey sonucu desteklemek için kendisi ve bude # bir hata algoritmalar kontrol olarak parametresini çalı$mayaca

_________________________________________________________________________

Java Control local Final Sprini Ramim” **Apinize’ı 3″:1 Vimam ile eri$hip sonra büyük önemli bir sistem ile de $u $ekilde veriki. * Kullanması cins kodlamalar ile kullanının güç testetinde yapmanız gereken $ey artık bile de parametreleri de yapılandırmasını bir Tomcat’ize veya çe$i

Basit kelimelerde bile yazım yanlışı yapması verinin yetersizliği gösteriyor ancak yine şu şekilde yapabiliriz deyip github gist linki koyması gerçekten bir şeyler öğrendiğini gösteren bir deneyim.

Son olarak save etmek de oldukça kolay modeli şu şekilde:

textGen.save()

Bakalım biraz daha text generation ile uğraşacağım ve bazı başka yazılar da ekleyeceğim.

Originally published at http://anilkaynr.wordpress.com on November 16, 2019.

Computer Engineer,Sociologist, CSE Master Student

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store