ТехнологияComprenoдляобработкитекстовнаестественномязыке.МножествоприкладныхзадачпообработкетекстовнаестественномязыкеспомощьюуниверсальнойлингвистическойплатформыCompreno.

ABBYYCompreno–этоуникальнаятехнологияанализаипониманиятекстовнаестественномязыке.Вотличиеотсистем,основанныхнастатистикеиправилах,ABBYYComprenoвыполняетполныйсемантико-синтаксическийанализтекста,создаетегоуниверсальноепредставление,извлекаетсущности,событияисвязимеждуними.

УниверсальнаяСемантическаяИерархия(УСИ)УниверсальнаяСемантическаяИерархия(УСИ)–ядроязыкапонятий–насчитываетсегодня60тысячэлементоввуниверсальномразделекогнитивноймодели,80тысяч–врусскомразделе,и90тысяч–ванглийском.

ПроектComprenoисходитизтрехосновополагающихпосылок:1)использованиекачественногоибескомпромиссногосинтаксическогоанализа;созданиеуниверсальнойкогнитивноймоделиязыка,возможностькоторойопределяетсяаксиомойотом,чтолюди,живущиевразныхусловияхиговорящиенаразныхязыках,мыслятодинаково.Формывыражениямыслиразные,нопонятийныйаппаратсовпадает.

ИсходяизэтихпосылокбыласформулированаидеяУниверсальнойСемантическойИерархии(УСИ),способнойописыватьявленияотобщегокчастному.НасоставлениеэтойиерархииукомпанииABBYYушло15лет.

АлгоритммашинногопереводанаУСИ

Алгоритммашинногопереводатекстаделитсяна4этапа:1этап–Лексико-морфологическийанализ.Наэтомэтапеисходныйтекстделитсянаабзацы,предложенияислова,технологияопределяетчастиречииморфологическиепризнакислов(род,число,падежидругие);2этап–Синтаксическийанализ.Технологиявыделяетпредложениявтексте,определяетихструктуруисвязимеждусловамивпредложении;3этап–Семантическийанализ.ABBYYComprenoопределяетзначениякаждогослова,строитсемантическуюструктурупредложениянаосновесвязей,которыебылиустановленынапрошломэтапе;4этап–Прагматическийуровеньанализа.Наэтомэтапенакладываетсяпрагматическийслойанализатекста,применяютсяонтологии(терминологиядляконкретнойпредметнойобластианализа)иправилаизвлечениянужныхобъектов.Врезультатеподборсловдляпереводаосуществляетсяненапрямуюизпервогоязыка,аизпонятийногонабора,который,условноговоря,«висит»натойжеветкеуниверсальногосемантическогодерева,нотолькоужесосторонывторогоязыка.Результатоманализаявляетсяуниверсальноепредставлениеинформации,чтопозволяетструктурироватьконтентвнужномзаказчикувиде.Такимобразом,ABBYYComprenoпозволяетэффективнорешатьзадачиклиента,связанныесанализомиизвлечениемважныхфактов,интеллектуальнымпоискомиклассификациейинформации.ПосколькумодельУСИсквозная,нижестоящиеэлементысистемыпоиерархиинаследуютпризнакивышестоящихэлементов.Этопростое,обстоятельствопозволяетдобиватьсябеспрецедентнойточностимашинногоперевода,посколькукаждоесловоизпереводимогопредложенияописываетсямаксимальнымнаборомпонятийныхэквивалентов,причемнетольковидового,ноиродовыхкачествнавсехуровняхсмысловойиерархии.

ВУСИпредусмотренывзаимосвязимеждуэлементамиструктуры,относящимисякразнымклассам,иэтисвязитакжеструктурированыиформализированы,чтопозволяетвыполнятьмногоуровневыйпонятийныйанализтекста,такжеповышающийкачествоперевода

Прикладныезадачи,решаемыеспомощьюABBYCompreno

–Автоматическоераспознаваниеречи;

–Классификациядокументовипоискпохожихдокументовпосмыслу;

–Анализтональностивмониторинге;

–Реферированиеианнотирование(написаниекраткогосодержаниядлинныхдокументов)

–Определениесмысламногозначныхслов(разрешениеомонимии)

ВпроцессеанализатекстаABBYYComprenoвыявляетомонимы(разныепозначению,ноодинаковыепонаписаниюслова)ирешаетпроблемуихмногозначностинаосновеанализаконтекста.Этопозволяетсущественноповышатьрелевантностьрезультатовпоисковойвыдачи,атакжеточностьвыявленияконкретныхобъектоввтекстах.

–Восстановлениепропущенныхсловвтексте(разрешениеэллипсиса)

Многиеязыкипозволяютопускатьразличныесловавтексте,безкоторыхчеловекитакможетпонять,очёмидётречь,исходяизконтекста.Благодаряанализусмыслатекста,анеотдельныхслов,ABBYYComprenoтакже«понимает»контекстивосстанавливаетпропущенныеслова,важныедляпоследующегоанализаилипоиска:

–Анализсложныхлингвистическихсвязеймеждусловами

Выявлениесвязеймеждусловамииграетключевуюрольвпоисковыхитекстово-аналитическихзадачах.Благодаряполномусемантико-синтаксическомуанализу,технологияспособнаучестьмножествоособенностейестественногоязыка,которыечастоявляютсяпрепятствиемдлякачественногоопределенияотношенийвтекстах:–Отношениямеждусловами,находящимисядалекодруготдругаABBYYComprenoопределитотношениямеждувзаимосвязаннымисловамидажевмногострочныхсложносочиненныхпредложенияхсосложнымиоборотами.–Определениесвязимеждуобъектом,выраженнымсуществительным,изаменяющимегоместоимением(определениеанафорическихсвязей).Благодаряанализусинтаксическихисемантическихсвязей,ABBYYComprenoпозволяетопределять,каксвязанысловаизаменяющиеихместоимения:

ПреимуществатехнологиABBYYCompreno:

Точныйанализ.Благодаряуникальноститехнологииувеличиваетсякачество(полнотаиточность)анализазначимойдлябизнесаинформации.

Быстрыйзапускпроекта.ТехнологииABBYYComprenoпозволяютбездополнительныхнастроекизвлекатьиздокументовключевыефактыинастраиватьсянапредметнуюобластьзаказчикавнесколькоразбыстрее,чемсистемынаосновестатистикииправил.

Качественнаяработасинформациейнарусскомязыке.РешенияABBYYпозволяюторганизациямразныхотраслей:Анализировать,классифицироватьинформациюиизвлекатьважныефакты,осуществлятьсемантическийпоискинформациивкорпоративныхинформационныхсистемахивнешнихисточниках.