site.btaНапредъкът в областта на обработката на естествен език на Института по информационни и комуникационни технологии на БАН бе представен в САЩ

Докторантът Георги Шопов от Института по информационни и комуникационни технологии на Българската академия на науките (ИИКТ–БАН) взе участие в световна конференция в областта на обработката на естествен език – Empirical Methods in Natural Language Processing, която се проведе в Маями, САЩ, съобщават от БАН.

На форума той представи новите научни резултати в областта на езиковото моделиране, постигнати в ИИКТ–БАН, които формират основната част от неговия дисертационен труд. За участие в главната конференция са били избрани 1271 статии измежду 6105 изпратени. Статията на Георги Шопов, в съавторство с доцент Стефан Герджиков от ИИКТ-БАН и Факултета по математика и информатика (ФМИ) на Софийския университет ''Св. Климент Охридски'', е измежду 168-те удостоени с устен доклад, отбелязват от БАН.

През последните години езиковите модели се утвърдиха като основен подход в изкуствения интелект. Те демонстрираха забележителни способности в решаване на задачи, свързани с обработката на естествен език, в програмирането, моделирането на протеини и генерирането на базови езикови, и математически разсъждения. Масово използваните съвременни езикови модели - ChatGPT, Llama, Gemini, Claude, обаче са еднопосочни, те обработват и генерират текст строго от ляво надясно. Фиксираната посока на работа на този тип езикови модели силно ограничава тяхната изразителност, отбелязват от БАН.

В своята разработка учените от ИИКТ–БАН представят нов теоретичен поглед върху езиковото моделиране, базиран на добре известни формализми от теорията на автоматите. Благодарение на тази формална връзка, те въвеждат нов клас двупосочни езикови модели, които са строго по-изразителни от еднопосочните и позволяват решаването на значително по-сложни задачи. Друго преимущество на двупосочните езикови модели е тяхната по-висока ефективност в сравнение с еднопосочните. Двупосочните езикови модели позволяват генерацията на текст да се извършва по-бързо, на компютърни устройства с по-ниска производителност и при по-ниска консумация на електроенергия, което значително увеличава тяхната приложимост.

В бъдеще учените от Института планират да развиват двупосочните езикови модели с цел да се позволи ефективен контрол на генерирания текст, да се определя дълбочината на извода и да се избягват така наречените халюцинации на езиковите модели, допълват още от БАН.

/ЙВЛ