При обработке данных на компьютере текст обрабатывается как

Обновлено: 21.11.2024

Интеллектуальный анализ текста (также называемый текстовой аналитикой) – это технология искусственного интеллекта (ИИ), которая использует обработку естественного языка (NLP) для преобразования свободного (неструктурированного) текста в документах и базах данных в нормализованный текст. , структурированные данные, подходящие для анализа или управления алгоритмами машинного обучения (ML).

В этом разделе нашего веб-сайта представлено введение в эти технологии и освещены некоторые функции, которые способствуют эффективному решению. Ниже также представлено краткое (90 секунд) видео об обработке естественного языка и интеллектуальном анализе текста.

Что такое интеллектуальный анализ текста?

Интеллектуальный анализ текста широко используется в организациях, ориентированных на знания, и представляет собой процесс изучения больших коллекций документов для обнаружения новой информации или помощи в ответах на конкретные исследовательские вопросы.

Интеллектуальный анализ текста выявляет факты, отношения и утверждения, которые в противном случае остались бы скрытыми в массе больших текстовых данных. После извлечения эта информация преобразуется в структурированную форму, которая может быть подвергнута дальнейшему анализу или представлена непосредственно с использованием кластеризованных HTML-таблиц, карт памяти, диаграмм и т. д. Для обработки текста используется множество методологий, одна из наиболее важных это обработка естественного языка (NLP).

Структурированные данные, созданные с помощью интеллектуального анализа текста, можно интегрировать в базы данных, хранилища данных или информационные панели бизнес-аналитики и использовать для описательной, предписывающей или прогнозной аналитики.

Что такое обработка естественного языка (NLP)?

Понимание естественного языка помогает машинам «читать» текст (или другой ввод, например речь), имитируя способность человека понимать естественный язык, например английский, испанский или китайский. Обработка естественного языка включает в себя как понимание естественного языка, так и генерацию естественного языка, которые имитируют способность человека создавать текст на естественном языке, например. обобщить информацию или принять участие в диалоге.

Как технология обработка естественного языка достигла совершеннолетия за последние десять лет. Такие продукты, как Siri, Alexa и голосовой поиск Google, используют НЛП для понимания запросов пользователей и ответа на них. Сложные приложения для анализа текста также были разработаны в таких различных областях, как медицинские исследования, управление рисками, обслуживание клиентов, страхование (обнаружение мошенничества) и контекстная реклама.

Современные системы обработки естественного языка могут анализировать неограниченное количество текстовых данных без усталости и последовательным, непредвзятым образом. Они могут понимать концепции в сложных контекстах и расшифровывать двусмысленность языка, чтобы извлекать ключевые факты и отношения или предоставлять резюме. Учитывая огромное количество неструктурированных данных, которые создаются каждый день, от электронных медицинских карт (EHR) до сообщений в социальных сетях, эта форма автоматизации стала критически важной для эффективного анализа текстовых данных.

Машинное обучение и обработка естественного языка

Машинное обучение – это технология искусственного интеллекта (ИИ), которая предоставляет системам возможность автоматически учиться на собственном опыте без необходимости явного программирования и помогает решать сложные задачи с точностью, не уступающей, а иногда даже превосходящей человека.

Однако для обучения машинному обучению требуются тщательно отобранные исходные данные, которые обычно недоступны из таких источников, как электронные медицинские карты (ЭМК) или научная литература, где большая часть данных представляет собой неструктурированный текст.

Применительно к электронным медицинским картам, записям клинических испытаний или полнотекстовой литературе обработка естественного языка может извлекать четкие, структурированные данные, необходимые для управления передовыми прогностическими моделями, используемыми в машинном обучении, тем самым уменьшая потребность в дорогостоящем ручном аннотировании обучающих данных. .

В этой 15-минутной презентации Дэвид Милворд, технический директор Linguamatics, обсуждает ИИ в целом, такие технологии ИИ, как обработка естественного языка и машинное обучение, а также то, как НЛП и машинное обучение могут быть объединены для создания различных систем обучения.

Большие данные и ограничения поиска по ключевым словам

Хотя традиционные поисковые системы, такие как Google, теперь предлагают уточнения, такие как синонимы, автозаполнение и семантический поиск (история и контекст), подавляющее большинство результатов поиска указывают только на местоположение документов, оставляя поисковиков, которым приходится часами вручную извлекать необходимые данные путем чтения отдельных документов.

Ограничения традиционного поиска усугубляются ростом объемов больших данных за последнее десятилетие, что помогло увеличить количество результатов, возвращаемых по одному запросу такой поисковой системой, как Google, с десятков тысяч до сотен миллионов.< /p>

Здравоохранение и биомедицинский сектор не являются исключением. Исследование, проведенное в декабре 2018 года Международной корпорацией данных (IDC), показало, что объем больших данных в здравоохранении, по прогнозам, будет расти быстрее, чем в производстве, финансовых услугах или СМИ в течение следующих семи лет: совокупный годовой темп роста (CAGR) составляет 36%.

С ростом текстовых больших данных использование технологий искусственного интеллекта, таких как обработка естественного языка и машинное обучение, становится еще более важным.

Онтологии, словари и пользовательские словари

Онтологии, словари и пользовательские словари — это мощные инструменты, помогающие в поиске, извлечении и интеграции данных. Они являются ключевым компонентом многих инструментов анализа текста и предоставляют списки ключевых понятий с именами и синонимами, часто расположенными в иерархическом порядке.

Поисковые системы, инструменты текстовой аналитики и решения для обработки естественного языка становятся еще более мощными при развертывании с онтологиями для предметной области. Онтологии позволяют понять реальное значение текста, даже если оно выражено по-разному (например, тайленол против ацетаминофена). Методы НЛП расширяют возможности онтологий, например, позволяя сопоставлять термины с разным написанием (эстроген или эстроген) и принимая во внимание контекст («SCT» может относиться к гену, «секретину» или к «тесту подъема по лестнице»). ”).

Спецификация онтологии включает словарь терминов и формальные ограничения на ее использование. Для корпоративной обработки естественного языка требуется ряд словарей, онтологий и связанных стратегий для определения понятий в их правильном контексте:

Тезаурусы, словари, таксономии и онтологии для понятий с известными терминами;
Подходы на основе шаблонов для таких категорий, как измерения, мутации и химические названия, которые могут включать новые (неизвестные) термины;
Идентификация, аннотация и преобразование понятий, зависящих от предметной области, на основе правил;
Интеграция клиентских словарей для создания индивидуальных аннотаций.
Расширенный поиск, позволяющий идентифицировать диапазоны данных по датам, числовым значениям, площади, концентрации, проценту, продолжительности, длине и весу.

Linguamatics предоставляет ряд стандартных терминологий, онтологий и словарей как часть своей платформы обработки естественного языка. Дополнительную информацию можно найти на нашей странице онтологий.

Обработка естественного языка корпоративного уровня

Использование расширенной аналитики представляет собой реальную возможность в фармацевтической и медицинской отраслях, где проблема заключается в выборе подходящего решения, а затем его эффективном внедрении в масштабах предприятия.

Для эффективной обработки естественного языка требуется ряд функций, которые должны быть включены в любое решение NLP корпоративного уровня, и некоторые из них описаны ниже.

Аналитические инструменты

Существует огромное разнообразие в составе документов и текстовом контексте, включая источники, формат, язык и грамматику. Чтобы справиться с этим разнообразием, требуется целый ряд методологий:

Преобразование внутренних и внешних форматов документов (например, HTML, Word, PowerPoint, Excel, текст PDF, изображение PDF) в стандартизированный формат с возможностью поиска;
Возможность идентифицировать, помечать тегами и выполнять поиск в определенных разделах (областях) документа, например: сосредоточить поиск на удалении шума из справочного раздела документа;
Лингвистическая обработка для определения значимых единиц в тексте, таких как предложения, группы существительных и глаголов, а также отношений между ними;
Семантические инструменты, которые идентифицируют понятия в тексте, такие как лекарства и болезни, и нормализуют понятия из стандартных онтологий. В дополнение к основным онтологиям медико-биологических наук и здравоохранения, таким как MedDRA и MeSH, возможность добавления собственных словарей является обязательным требованием для многих организаций.
Распознавание образов для обнаружения и идентификации категорий информации, которые нелегко определить с помощью словарного подхода. К ним относятся даты, числовая информация, биомедицинские термины (например, концентрация, объем, дозировка, энергия) и мутации генов/белков;
Возможность обработки встроенных таблиц в тексте, независимо от того, отформатированы ли они с помощью HTML или XML или как свободный текст.

Открытая архитектура

Открытая архитектура, позволяющая интегрировать различные компоненты, в настоящее время является важнейшим аспектом разработки корпоративных систем, и в этой области существует ряд ключевых стандартов:-

API веб-служб RESTful поддерживает интеграцию с рабочими процессами обработки документов;
Декларативный язык запросов, удобочитаемый и доступный для всех функций НЛП (например, запросы, условия поиска, настройки контекста и отображения);
Возможность преобразовывать и интегрировать извлеченные данные в общую инфраструктуру для управления основными данными (MDM) или распределенной обработки, например, с помощью Хадуп.

Технологические партнеры

Партнерские отношения — это важнейший инструмент, позволяющий новаторам в отрасли получить доступ к инструментам и технологиям, необходимым для преобразования данных в масштабах предприятия.

Linguamatics сотрудничает и сотрудничает с многочисленными компаниями, академическими и государственными организациями, чтобы предлагать клиентам технологии, соответствующие их потребностям, и разрабатывать решения следующего поколения. Посетите нашу страницу "Партнеры и филиалы", чтобы узнать больше о наших партнерских отношениях в области технологий и контента.

Пользовательский интерфейс

Эффективный пользовательский интерфейс расширяет доступ к инструментам обработки естественного языка, не требуя специальных навыков для их использования (например, опыта программирования, доступа к командной строке, написания сценариев).

Продуктивное решение NLP предоставляет ряд способов доступа к платформе для удовлетворения потребностей бизнеса и набора навыков в организации, например:

Интуитивно понятный графический пользовательский интерфейс (GUI), который избавляет пользователей от необходимости писать сценарии; которые обеспечивают доступ нетехническим пользователям;
Интерфейс для поиска и просмотра онтологий;
Интерфейс администрирования для управления доступом к данным и позволяет обрабатывать индексы от имени многих пользователей;
Широкий набор готовых модулей запросов, которые позволяют экспертам в предметной области задавать вопросы без необходимости разбираться в базовой лингвистике.

Масштабируемость

Предоставьте возможность выполнять сложные запросы к десяткам миллионов документов, каждый из которых может состоять из тысяч страниц;
Обрабатывать словари и онтологии, содержащие миллионы терминов;
Работа на параллельных архитектурах, будь то стандартные многоядерные, кластерные или облачные;
Предоставьте коннектор для запуска обработки естественного языка в сервисно-ориентированных средах, таких как ETL (извлечение, преобразование, загрузка), семантическое обогащение и обнаружение сигналов, например: мониторинг клинических рисков в здравоохранении.

Дополнительная информация

Для получения дополнительной информации о выборе правильных инструментов для нужд вашего бизнеса ознакомьтесь с нашим руководством по выбору правильного решения НЛП для вашего бизнеса.

Чтобы узнать больше о платформе Linguamatics NLP, посетите раздел наших продуктов.

Что такое интеллектуальный анализ текста?

Что такое обработка естественного языка (NLP)?

Машинное обучение и обработка естественного языка

Большие данные и ограничения поиска по ключевым словам

Онтологии, словари и пользовательские словари

Тезаурусы, словари, таксономии и онтологии для понятий с известными терминами;
Подходы на основе шаблонов для таких категорий, как измерения, мутации и химические названия, которые могут включать новые (неизвестные) термины;
Идентификация, аннотация и преобразование понятий, зависящих от предметной области, на основе правил;
Интеграция клиентских словарей для создания индивидуальных аннотаций.
Расширенный поиск, позволяющий идентифицировать диапазоны данных по датам, числовым значениям, площади, концентрации, проценту, продолжительности, длине и весу.

Обработка естественного языка корпоративного уровня

Аналитические инструменты

Преобразование внутренних и внешних форматов документов (например, HTML, Word, PowerPoint, Excel, текст PDF, изображение PDF) в стандартизированный формат с возможностью поиска;
Возможность идентифицировать, помечать тегами и выполнять поиск в определенных разделах (областях) документа, например: сосредоточить поиск на удалении шума из справочного раздела документа;
Лингвистическая обработка для определения значимых единиц в тексте, таких как предложения, группы существительных и глаголов, а также отношений между ними;
Семантические инструменты, которые идентифицируют понятия в тексте, такие как лекарства и болезни, и нормализуют понятия из стандартных онтологий. В дополнение к основным онтологиям медико-биологических наук и здравоохранения, таким как MedDRA и MeSH, возможность добавления собственных словарей является обязательным требованием для многих организаций.
Распознавание образов для обнаружения и идентификации категорий информации, которые нелегко определить с помощью словарного подхода. К ним относятся даты, числовая информация, биомедицинские термины (например, концентрация, объем, дозировка, энергия) и мутации генов/белков;
Возможность обработки встроенных таблиц в тексте, независимо от того, отформатированы ли они с помощью HTML или XML или как свободный текст.

Открытая архитектура

API веб-служб RESTful поддерживает интеграцию с рабочими процессами обработки документов;
Декларативный язык запросов, удобочитаемый и доступный для всех функций НЛП (например, запросы, условия поиска, настройки контекста и отображения);
Возможность преобразовывать и интегрировать извлеченные данные в общую инфраструктуру для управления основными данными (MDM) или распределенной обработки, например, с помощью Хадуп.

Технологические партнеры

Пользовательский интерфейс

Интуитивно понятный графический пользовательский интерфейс (GUI), который избавляет пользователей от необходимости писать сценарии; которые обеспечивают доступ нетехническим пользователям;
Интерфейс для поиска и просмотра онтологий;
Интерфейс администрирования для управления доступом к данным и позволяет обрабатывать индексы от имени многих пользователей;
Широкий набор готовых модулей запросов, которые позволяют экспертам в предметной области задавать вопросы без необходимости разбираться в базовой лингвистике.

Масштабируемость

Предоставьте возможность выполнять сложные запросы к десяткам миллионов документов, каждый из которых может состоять из тысяч страниц;
Обрабатывать словари и онтологии, содержащие миллионы терминов;
Работа на параллельных архитектурах, будь то стандартные многоядерные, кластерные или облачные;
Предоставьте коннектор для запуска обработки естественного языка в сервисно-ориентированных средах, таких как ETL (извлечение, преобразование, загрузка), семантическое обогащение и обнаружение сигналов, например: мониторинг клинических рисков в здравоохранении.

Дополнительная информация

Чтобы узнать больше о платформе Linguamatics NLP, посетите раздел наших продуктов.

Несмотря на то, что были приложены все усилия для соблюдения правил стиля цитирования, могут быть некоторые расхождения. Если у вас есть какие-либо вопросы, обратитесь к соответствующему руководству по стилю или другим источникам.

Наши редакторы рассмотрят то, что вы отправили, и решат, нужно ли пересматривать статью.

обработка информации, получение, запись, организация, поиск, отображение и распространение информации. В последние годы этот термин часто применялся конкретно к компьютерным операциям.

В популярном использовании термин информация относится к фактам и мнениям, предоставленным и полученным в ходе повседневной жизни: человек получает информацию непосредственно от других живых существ, из средств массовой информации, из электронных банков данных, и от всевозможных наблюдаемых явлений в окружающей среде. Человек, использующий такие факты и мнения, генерирует больше информации, часть которой сообщается другим в ходе дискурса, в инструкциях, в письмах и документах, а также через другие средства массовой информации. Информация, организованная в соответствии с некоторыми логическими отношениями, называется совокупностью знаний, которые должны быть получены путем систематического воздействия или изучения. Применение знаний (или навыков) дает опыт, а дополнительные аналитические или основанные на опыте идеи, как говорят, составляют примеры мудрости. Использование термина информация не ограничивается исключительно ее передачей посредством естественного языка. Информация также регистрируется и передается с помощью искусства, мимики и жестов или таких других физических реакций, как дрожь. Более того, каждое живое существо наделено информацией в виде генетического кода. Эти информационные явления пронизывают физический и ментальный мир, и их разнообразие таково, что до сих пор бросало вызов всем попыткам единого определения информации.

Интерес к информационным явлениям резко возрос в 20 веке, и сегодня они являются объектами изучения в ряде дисциплин, включая философию, физику, биологию, лингвистику, информатику и информатику, электронную и коммуникационную инженерию, науку об управлении, и социальные науки. С коммерческой точки зрения индустрия информационных услуг стала одной из самых новых отраслей во всем мире. Почти все остальные отрасли — производство и обслуживание — все больше озабочены информацией и ее обработкой. Различные, хотя и часто пересекающиеся, точки зрения и явления в этих областях приводят к различным (а иногда и противоречивым) концепциям и «определениям» информации.

В этой статье затрагиваются такие понятия, связанные с обработкой информации. Рассматривая основные элементы обработки информации, он различает информацию в аналоговой и цифровой форме и описывает ее получение, запись, организацию, поиск, отображение и методы распространения. Отдельная статья, информационная система, посвящена методам организационного контроля и распространения информации.

Общие соображения

Основные понятия

Интерес к тому, как передается информация и как ее носители передают смысл, со времен досократических философов занимал область исследования, называемую семиотикой, изучением знаков и знаковых явлений. Знаки являются нередуцируемыми элементами коммуникации и носителями смысла. Американскому философу, математику и физику Чарльзу С. Пирсу приписывают указание на три измерения знаков, которые связаны соответственно с телом или средой знака, объектом, который знак обозначает, и интерпретантом или интерпретантом. толкование знака. Пирс признал, что фундаментальные отношения информации по существу триадны; напротив, все отношения физических наук сводятся к диадическим (бинарным) отношениям. Другой американский философ, Чарльз У. Моррис, назвал эти три знаковых измерения синтаксическим, семантическим и прагматическим — имена, под которыми они известны сегодня.

Информационные процессы выполняются информационными процессорами. Для данного информационного процессора, физического или биологического, токен — это объект, лишенный смысла, который процессор распознает как полностью отличный от других токенов. Группа таких уникальных токенов, распознаваемых процессором, составляет его основной «алфавит»; например, точка, тире и пробел составляют основной алфавит символов процессора азбуки Морзе. Объекты, несущие значение, представлены наборами токенов, называемых символами. Последние объединяются, чтобы сформировать символические выражения, которые представляют собой входы или выходы из информационных процессов и хранятся в памяти процессора.

Информационные процессоры — это компоненты информационной системы, представляющей собой класс конструкций. Абстрактная модель информационной системы включает четыре основных элемента: процессор, память, рецептор и эффектор (рис. 1).У процессора есть несколько функций: (1) выполнять элементарные информационные процессы над символьными выражениями, (2) временно хранить в кратковременной памяти процессора входные и выходные выражения, над которыми работают эти процессы и которые они генерируют, (3) планировать выполнение этих процессов и (4) изменять эту последовательность операций в соответствии с содержимым кратковременной памяти. В памяти хранятся символьные выражения, в том числе те, которые представляют составные информационные процессы, называемые программами. Два других компонента, рецептор и эффектор, представляют собой механизмы ввода и вывода, функции которых заключаются, соответственно, в получении символических выражений или стимулов из внешней среды для обработки процессором и в передаче обработанных структур обратно в окружающую среду.

Мощность этой абстрактной модели системы обработки информации обеспечивается способностью составляющих ее процессоров выполнять небольшое количество элементарных информационных процессов: чтение; сравнение; создание, изменение и наименование; копирование; хранение; и писать. Модель, представляющая широкий спектр таких систем, оказалась полезной для объяснения искусственных информационных систем, реализованных на последовательных информационных процессорах.

Поскольку было признано, что в природе информационные процессы не являются строго последовательными, с 1980 года все большее внимание уделяется изучению человеческого мозга как информационного процессора параллельного типа. Когнитивные науки, междисциплинарная область, занимающаяся изучением человеческого разума, внесли свой вклад в развитие нейрокомпьютеров, нового класса параллельных процессоров с распределенной информацией, которые имитируют функционирование человеческого мозга, включая его возможности самоконтроля. организация и обучение. Так называемые нейронные сети, представляющие собой математические модели, вдохновленные сетью нейронных цепей человеческого мозга, все чаще находят применение в таких областях, как распознавание образов, управление производственными процессами и финансами, а также во многих исследовательских дисциплинах.

Информация как ресурс и товар

В конце 20 века информация приобрела два основных утилитарных значения. С одной стороны, он считается экономическим ресурсом, наравне с другими ресурсами, такими как труд, материал и капитал. Эта точка зрения основана на доказательствах того, что обладание информацией, ее манипулирование и использование могут повысить рентабельность многих физических и когнитивных процессов. Рост активности обработки информации в промышленном производстве, а также в решении человеческих проблем был замечательным. Анализ одного из трех традиционных секторов экономики, сферы услуг, показывает резкий рост информационно-емкой деятельности с начала 20 века. К 1975 году на эти виды деятельности приходилось половина рабочей силы Соединенных Штатов.

Как индивидуальный и общественный ресурс, информация имеет некоторые интересные характеристики, которые отличают ее от традиционных представлений об экономических ресурсах. В отличие от других ресурсов, информация обширна, и ее ограничения, по-видимому, накладываются только временем и когнитивными способностями человека. Его экспансивность объясняется следующим: (1) он естественным образом распространяется, (2) он воспроизводится, а не потребляется посредством использования, и (3) им можно только делиться, а не обмениваться в транзакциях. В то же время информация сжимаема как синтаксически, так и семантически. В сочетании с его способностью заменять другие экономические ресурсы, его транспортабельностью на очень высоких скоростях и его способностью давать преимущества обладателю информации, эти характеристики лежат в основе таких социальных отраслей, как исследования, образование, издательское дело, маркетинг, и даже политика. Забота общества об экономии информационных ресурсов вышла за пределы традиционной области библиотек и архивов и теперь охватывает организационную, институциональную и государственную информацию под эгидой управления информационными ресурсами.

Последние два года продемонстрировали жизненно важную роль аналитики, и даже несмотря на ослабление некоторых ограничений, связанных с COVID-19, многие организации сейчас .

Организации внедряют модель совместной аналитики, чтобы задействовать весь потенциал своих сотрудников и увеличить объем данных.

Обновление платформы поставщика подчеркивает его внимание к приложениям как способу расширения аналитики для большего числа бизнес-пользователей.

Считаете, что готовы к сертификационному экзамену AWS Certified Solutions Architect? Проверьте свои знания, ответив на эти 12 вопросов и.

Amazon заявила, что ее система мониторинга микроавтобусов предназначена исключительно для обеспечения безопасности водителей. Но многие отраслевые эксперты обеспокоены этим.

Amazon хотела бы укрепить свое глобальное присутствие, но гигант электронной коммерции сегодня сталкивается с препятствиями и проблемами, которых не было.

Генеральный директор Sitecore Стив Цикакис вступил во владение во время пандемии — на фоне стремительного роста — и переосмыслил компанию как цифровую.

Организации, планирующие миграцию контента, должны проверить целостность файлов и убедиться, что файлы не были повреждены при перемещении. Файл .

Успешное развертывание ECM требует планирования. Менеджеры контента должны учитывать жизненный цикл контента своей организации, безопасность .

Oracle планирует приобрести Cerner в рамках сделки на сумму около 30 млрд долларов. Второй по величине поставщик электронных медицинских карт в США может вдохнуть новую жизнь .

Верховный суд постановил 6-2, что API-интерфейсы Java, используемые в телефонах Android, не подпадают под действие американского закона об авторском праве.

В этом руководстве рассматриваются возможности Oracle Autonomous Database для пользователей Oracle и вопросы, которые следует учитывать организациям.

Поскольку настройки имеют долгосрочные последствия, организации, использующие SAP ECC в качестве основной ERP-системы, должны предоставить .

Многие компании могут извлечь выгоду из возможностей аналитики, а организации, использующие SAP ECC, по-прежнему могут создавать эффективные .

Внедрение S/4HANA сопряжено со значительным риском, но также предлагает реальную возможность цифровой трансформации. Вот .

Хороший дизайн базы данных необходим для удовлетворения потребностей обработки в системах SQL Server. На вебинаре консультант Коэн Вербек предложил .

Базы данных SQL Server можно переместить в облако Azure несколькими способами. Вот что вы получите от каждого из вариантов .

В отрывке из этой книги вы познакомитесь с методами LEFT OUTER JOIN и RIGHT OUTER JOIN и найдете различные примеры создания SQL.

Читайте также: