Python Nltk ile Ngramları Üretmek ve Bunları Saymak

Ngramlar Nlp’de oldukça cümle oluşturma ve metni anlamak oldukça kullanışlı yapılardır. Ngramlar kullanılarak metnin sınıflandırması da yine oldukça etkilidir. İnsanlar sadece kelimeler ile konuşmaz deyimler, çeşitli tamlamalar ve atasözleri ile konuşurlar. Bu sözleri de ngramlar ile kolayca yakalayabilmekteyiz. Peki Python bunu nasıl kullanabiliriz. Nltk’de bunu yapmak için hazırdır. Öncelikle kodu görelim:

https://gist.github.com/anilkay/1a2371e8b30ee892fdb6fc1f848b2e89

Burada dikkat edilmesi gereken hususlar şunlar olmalıdır.:

  • Öncelikle elimizdeki cümleleri kelimelere dökmek mecburiyetindeyiz.

İlginç bir şekilde çok hızlı bir biçimde çalışan bu yordamlar gerçekten Production seviyesinde bile kullanılabilir gözüküyor.

Originally published at anilkaynr.wordpress.com on October 28, 2018.

Computer Engineer,Sociologist, CSE Master Student

Computer Engineer,Sociologist, CSE Master Student