OpenAI Dil Modelinin Yapabildikleri ve Yapamadıkları

Evet ChatGPT ile birlikte hemen hemen herkesin hayatına giren inanılmaz güçlü ve neredeyse her konuda yanıt verebilen modeller gerçekten iş hayatımıza yeni bir boyut kattı. Bakalım biz Chat-GPT ile neler yapabiliriz ve neler yapamayız?

Öncelikle Cron gibi Expression gibi mümkün olduğunca dili basit ve doğal dilde söylemesi zorlaşabilecek bir yapıyı kurmayı denedim.

const response = await openai.createCompletion({ model: "text-davinci-003", prompt: "Write Cron Expression: every 30 minute", max_tokens: 10, temperature: 0.2, });

şeklinde işlem yaptığımızda karşımıza beklediğimiz:

text: ‘\n\n0 0/30 * * * *’ doğru sonuç ile karşılaşmaktayız.

Peki evet doğru gözüküyor ancak daha önce Cron kullanmamış biri bunu nasıl doğrulayabilir. Şöyle yani üretilen metnin doğruluğunu nasıl test edebiliriz. Bu doğrulama Generated Textlerin hepsinde olacak ve önemli gözükmektedir.

Bunun için Dotnet ortamında Brady Holdt tarafında yazılmış CronDescriptor Librarysini kullanabiliriz. Örnek olarak:

var optionForCronText = new Options(); optionForCronText.Locale = "en"; var description = CronExpressionDescriptor.ExpressionDescriptor.GetDescription("0 0/30 * * * *",optionForCronText); Console.WriteLine($"{description}"); //Every 30 minutes

Evet Deneysel olarak tek tek test ederek sonuca ulaşabiliriz. Yalnız şunu da söylemek lazım, klasik normal caseleri test et, edge caseleri test, bir kaç random test et yapısı burada çalışmayacaktır .Üretilen her Cron Expression:’ı ayrı ayrı doğrulamak gereklidir. Şöyleki 100 tane doğru Doğal dilden Cron’a çevirme yapsada 101.’yi doğru yapacağını asla garanti edemeyiz. Üstelik Api’den değil Chat Gpt’den üretir isek içindeki Randomness’ı da kontrol edemediğimiz için çeşitli yanlışlıklara yol açabilir.

Evet 10 tane daha Expression ürettikten sonra bayağı iyi çalışıyor diyebiliyorum.

Peki daha zor, İçinde Geometri olan bir problem olan Point in Polygon problemi ve bu problemi Dünya haritası üzerinde yapmasını istiyorum. Şöyleki dünya üzerinde noktalar vereceğim ve bana nasıl sonuçlar vereceğine bakacağım.

async function useAsHardMapTask(latitude,longtitude){ const response1 = await openai.createCompletion({ model: "text-davinci-003", prompt: latitude+","+longtitude+" latitude, Longtitude in Which city.", max_tokens: 20, temperature: 0.2, }); return response1; }

İlk Olarak Isparta’dan bir nokta veriyorum: 38.07982787709612, 31.371001078866897

Yanıt maalesef hayal kırıklığı: Noktanın İzmir’de olduğunu söylüyor.:

‘\n\nThis location is in the city of Izmir, Turkey.’

Ardından Edirne Üzerinde bir nokta verdiğmizde:

41.67440351039774, 26.547041433535238

‘\n\nThis location is in the city of Alexandroupoli, Greece.’,

yanıtı ile karşılaşmaktayız.

Sonuç olarak GPT-3 gerçekten inanılmaz bir dil modeli ancak halen daha bir dil modeli. Sınırları bilmek ve iş yaşamında kullanırken mkutlaka doğrulayarak kullanmak gereklidir. Hatta şöyle söyleyeyim direkt son kullanıcya input verecek bir sistemde bile bu modeli kontrol etmeden kullanmayı tercih etmem.

Ve evet insan gibi düşünmüyor. Halen daha elindeki text’e yanıt üreten bir dil modeli. Yaptığı şey hala bir anlama ve dolayısı ile anlamlandırma işlevi değil. Halen dah bir şey anladığı yok, sadece cevap veriyor ve artık o kadar iyi cevap veriyor ki işimizde yarıyor 🙂

Son olarak Dil modelinden üretilen yapıyı işinide kullanmak istiyorsanız mutlaka ama MUTLAKA doğrulayarak kullanmalsınız 🙂

Originally published at http://anilkaynr.wordpress.com on April 11, 2023.