ქართულენოვანი ტექსტების საწყისი დამუშავების თავისებურებანი NLP ამოცანებისათვის

ავტორი: მაია არჩუაძე
თანაავტორები: მანანა ხაჩიძე, მაგდა ცინცაძე
საკვანძო სიტყვები: ტექსტის საწყისი დამუშავება, NLP
ანოტაცია:

ტექსტის საწყისი დამუშავება თითქმის ყველა NLP ამოცანის (ტექსტის კომპონენეტების ანალიზი, დაჭდევება, მორფოლოგიური და სინტაქსური ანალიზი, ინფორმაციის ძემნა, მანქანური თარგმნა და ა.შ.) განუყოფელი და აუცილებელი ნაწილია [??]. მის სრულყოფილ და ზუსტ შედეგზეა დამოკიდებული NLP ამოცანების გადაჭრის წარმატებულობა. საყოველთაოდ მიჩნეულია ტექსტის საწყისი დამუშავების ორ ეტაპად გაყოფა -1. ტექსტების სორტირება და 2. ტექსტების სეგმენტაცია. თავის მხრივ ეს ეტაპები მოიცავენ გარკვეულ ქმედებებს, რომლებიც მოითხოვენ ტექსტის სხვადასხვა ბუნებრივენობრივი თავისებურებების გათვალისწინებას, რაც დაკავშირებულია იმაზე თუ რა ენაზეა წარმოდგენილი დასამუშავებელი დოკუმენტი. ქარლი ენის მორფოლოგიური სირთულე განაპირობებს იმ ფაქტს, რომ სხვადასხვა NLP ამოცანების გადაჭრისას არსებული მეთოდების და ალგორითმების გამოყენება მოდიფიცირების და ზოგჯერ ახლის შემუშავების გარეში შეუძლებელია. ნაშრომში განხილულია NLP ამოცანებუსათვის ტექსტის საწყისი დამუშავების ყველა ძირითადი ბიჯი და ის თავისებურებები, რომლებიც ახლავს ქართულენოვან ტექსტებს. შემოთავაზებულია ალგორითმები, რომლებიც დამუშავებაში ითვალისწინებენ ამ თავისებურებებს და საფუძლად დაედებიან პროგრამულ პაკეტს

მიმაგრებული ფაილები:

Features of Initial Processing of Georgian Texts for NLP Tasks [en]
ქართულენოვანი ტექსტების საწყისი დამუშავების თავისებურებანი NLP ამოცანებისათვის [ka]