Информация, необходимая для принятия решений, более чем в 80% случаев извлекается  из текста на естественном языке. Более 85% знаний, содержащихся в тексте, не используется заинтересованным в них пользователем в силу их низкой плотности в тексте и недостаточного времени на их извлечение. Если к этим факторам добавить большую вероятность различной интерпретации одного явления из-за  нечеткости поступающей из источников информации, то можно отметить, что более достоверные знания могут быть выделены  на  основе различных описаний единичного факта.

Система управления досье «X-Files» предназначена для решения задачи выделения достоверных фактов из различных источников, заполнения ими досье на объекты мониторинга и их последующей аналитической обработки. Она используется для обеспечения процессов принятия решений при наличии большого объема «сырого» контента, что характерно для  деятельности  органов государственной власти, правоохранительных органов, крупных коммерческих компаний.  Этот программный комплекс применяется и как аналитический инструмент, и как система поддержки корпоративной безопасности подразделений, занимающихся бизнес-разведкой. Система позволяет извлекать факты из Интернет, корпоративных источников документов, из учетных баз данных и других. В качестве источника документов и сообщений «X-Files» может эффективно использовать хранилище документов системы «Аналитический курьер».

Для выделения из текста сущностей, отношений между ними и других свойств фактов система использует оригинальные программы мультиязычного лингвистического, синтаксического и семантического анализа текста, общий и предметные тезаурусы.

Почему выбирают систему управления фактографической информацией «X-Files» в качестве инструмента управления фактами?

• Единственная на российском рынке система, реализующая максимальную полноту и точность поиска фактов на основе концепции семантически самоопределенного предложения (Semantic Self Defined Sentence, SSDS). Концепция определяет  метод идентификации смысловых элементов предложения и отношений между ними. После обработки текста документа он состоит из самоопределенных семантически независимых предложений. Качество поиска и структурирования фактов в SSDS предложениях на 15-40% выше, чем в системах последовательного (предложение за предложением) анализа текста.
• Единственная на российском рынке система, формирующая хранилище фактов.

Какие преимущества дает использование хранилища фактов системы «X-Files» перед технологией их извлечения «на лету», т.е. только по результатам пост-синтаксического анализа отдельных предложений?

•  Возможность выработки и хранения гипотез о вероятных связях объектов при отсутствии фактов об этих связях. Система порождает такие гипотезы либо при наличии у каждого из пары объектов устойчивых связей с третьими общими для них объектами, либо при наличии для каждого из объектов фактов с общими местами совершения фактов в общем интервале времени;
• Высокопроизводительная аналитическая обработка большого числа фактов (более 100 000). Поиск кратчайших и эффективных связей объектов с включением связей-гипотез; анализ динамики фактов;
• Хранение фактов, полученных как в источниках учетной, текстовой, так и видео- информации;
• Совместная аналитическая обработка фактов, представленных на разных языках;
• Ассоциативный поиск фактов за счет самообучения правил идентификации объектов (аббревиатуры, SMS, E-mail, телефон, адрес, …), что позволяет программам-автоматам находить больше фактов;
• Идентификация тонально окрашенных фактов и включение их в досье объектов.

Возможности системы

Система «X-Files» структурирует смысл документов, автоматически выявляя факты нужного типа, связанные с объектами, на которых системой автоматически ведётся досье. Структурированные факты позволяют находить скрытые причины событий или спрогнозировать поведение объектов в будущем. Взаимосвязи объектов визуально представляются в виде карты связей.
Понятие факт системы «X-Files» характеризуется рядом возможных свойств:

• тип значения факта;
• объект-владелец факта;
• место действия факта;
• объект-участник факта;
• время длительности факта;
• значение факта (например, «продажа бизнеса»);
• свойства факта.

 

1. прямые связи

2. косвенные связи

3. связи по месту и времени

С помощью программ-автоматов, допускающих параллельную работу, система «X-Files» осуществляет выявление фактов из документов и заполняет досье поставленных на мониторинг объектов.
В дальнейшем, система предоставляет доступ к накопленной фактографической информации через Web-интерфейс для решения следующих аналитических задач:

• автоматическое выявление прямых и косвенных (т.е. через третье лицо) связей объекта;
• автоматическое выявление связей объектов по месту и времени (факты произошли с разными объектами в одном географическом месте или юридическом объекте и в близкое время);
• типизация связей, представленных различной лексикой;
• формирование групп объектов, связанных между собой общностью фактов (например, место, время, содержание факта);
• построение и анализ временных рядов групп объектов. Определение динамики миграции ядер групп;
• построение карт связей объектов для различных типов связей, визуализация и фильтрация связей;
• многовариантная визуализация карт связей с масштабированием, навигация по обзорной карте;
• поиск оптимальных (обычно, кратчайших) связей между заданными объектами;
• определение несвязанных между собой областей карты связей объектов (локальные сообщества);
• построение многомерных частотных распределений фактов;
• анализ последовательностей фактов, циклов;
• построение и анализ временных рядов карт связей объектов. Определение динамики изменения характера связей и состава объектов;
• регламентная генерация и доставка аналитических отчетов и информационных подборок.

Архитектура программного комплекса

Архитектура современной информационно-аналитической системы предусматривает взаимодействие с конечным пользователем через портал, использование Web-сервисов для взаимодействия с другими информационными системами, выгрузку данных в формате XML для имеющихся унаследованных приложений Заказчика. Системы «X-Files» и «Аналитический курьер» допускают работу в оффлайн-режиме, в котором результат представляется аналитику, не имеющему постоянного подключения к Web-серверу, в виде отчёта. Существуют различные формы представления информации в пакетном режиме, в том числе в формате XML.

Примеры использования системы

• Аналитические подразделения и службы безопасности банка
  Анализ кредитоспособности клиента, ведение досье на объекты, осуществляющие определённые подозрительные платежи и т.д.
• Страховые компании
  Обнаружение мошенников, неоднократно причинивших ущерб, недобросовестных объектов-страхователей, их связей, а также закономерностей событий (по месту и времени), происходящих с клиентами страховой компании.
• Аналитические подразделения производственных компаний
  Анализ наиболее частых неполадок, помощь в принятии решений.
  Подразделения экономической разведки предприятий (анализ рынка лекарств, изделий)
  Обеспечение лиц, принимающих управленческие решения, такой информацией, которая помогала бы выбрать наиболее оптимальный вариант решения стоящей перед предприятием проблемы.
• Специальные службы, правоохранительные органы
  Ведение досье на избранные объекты, поиск закономерностей в их деятельности и фактах, которые с ними связаны.

Конкурентные преимущества           

Система может производить автоматический регламентированный сбор фактов из различных источников без участия оператора. Факты могут содержать текст на различных языках, автоматически идентифицируемых системой. При этом факт может сопровождаться автоматически выделяемой информацией о времени, месте и  участниках факта. Система «X-Files» выделяется уровнем автоматизации процесса выделения фактов.  Такое решение ориентировано на использование в компаниях, не имеющих штата операторов.
Система имеет всеобъемлющий спектр методов аналитической обработки фактов. К ним относятся:  анализ временных рядов фактов, анализ кластерной структуры фактов, частотный анализ нечетких связей объектов, поиск кратчайших связей между объектами и многие другие.
Благодаря использованию уникальных компонентов синтаксического анализа текста на нескольких языках, наличию программных компонентов анализа взаимосвязей различных предложений, относящихся к одному объекту в тексте, наличию уникальных моделей аналитической обработки фактов (например, поиск нечетких связей по месту и времени или связей через третий объект), система занимает лидирующее положение в корпоративном секторе систем аналитической разведки. «X-Files» имеет развитые средства самообучения на примерах семантических шаблонов ситуаций, которые затем используются ею для выделения фактов.
Система использует векторную графику для визуализации сетей взаимосвязей объектов, что позволяет перемещать объекты, погружаться в факты, представляющие связи и сами объекты. «X-Files» содержит инструменты для визуального анализа сетей объектов.
Система имеет визуальный интерфейс по выполнению всех функций поддержки жизненного цикла досье: от его создания, до архивации.
Система использует сертифицированные средства защиты.
«X-Files» интегрирована со многими системами доставки контента: Интернет, учетные базы данных, …; в число которых входит Система извлечения знаний из документов «Аналитический курьер».
Особенностью системы является минимальная трудоемкость ее эксплуатации  по сравнению с наиболее известными на рынке системами.

Динамика развития системы

Заключение

Современная система управления досье «X-Files» основана на использовании оригинальных методов выделения и анализа фактографической информации, разработанных специалистами компании «Ай-Теко». Автоматическое выделение атрибутивной информации об объектах и семантических связях между ними из произвольных документов, накопление и анализ этой информации с использованием семантико-лингвистических моделей весьма эффективны в задачах, стоящих перед подразделениями бизнес-разведки и аналитиками.

Отправить запрос на получение информации: ak@i-teco.ru

Родственные продукты — «Система извлечения знаний из документов «Аналитический курьер».