Считыватель Bert что это такое
Обновлено: 04.07.2024
Существует много шумихи и дезинформации о новом обновлении алгоритма Google. Что такое на самом деле BERT, как он работает и почему он важен для нашей работы в качестве SEO-специалистов? Присоединяйтесь к нашему эксперту по машинному обучению и обработке естественного языка Бритни Мюллер и расскажите, что такое BERT и что он означает для поисковой отрасли.
Нажмите на изображение доски выше, чтобы открыть версию с высоким разрешением на новой вкладке!
Расшифровка видео
Привет, поклонники Моза. Добро пожаловать в очередной выпуск Whiteboard Friday. Сегодня мы говорим обо всем, что связано с BERT, и я очень рад попытаться рассказать об этом всем. Я не претендую на звание эксперта по BERT, но я провел много исследований. -- Мне удалось взять интервью у некоторых экспертов в этой области, и моя цель – попытаться стать катализатором для облегчения понимания этой информации.
Сейчас в отрасли происходит много шума вокруг BERT и того, что вы не можете его оптимизировать. Хотя это абсолютно верно, вы не можете, вам просто нужно писать действительно хороший контент для своих пользователей, я все еще думаю, что многие из нас попали в эту область, потому что мы любопытны по своей природе. Если вам интересно узнать немного больше о BERT и иметь возможность немного лучше объяснить его клиентам или лучше обсудить контекст BERT, то я надеюсь, что вам понравится это видео. Если нет, и это не для вас, это тоже нормально.
Предостережение: не преувеличивайте BERT!
Я так рад начать прямо сейчас. Первое, что я хочу упомянуть, это то, что мне удалось пообщаться с Эллисон Эттингер, исследователем обработки естественного языка. Она профессор Чикагского университета и один из самых добрых людей. Так благодарна, что она нашла время поговорить со мной о BERT.
Во время нашего совместного обеда я сделал главный вывод: очень, очень важно не преувеличивать значение BERT. Сейчас происходит много шума, но это все еще далеко от понимания языка и контекста так, как это можем понять мы, люди. Поэтому я думаю, что важно иметь в виду, что мы не преувеличиваем возможности этой модели, но она по-прежнему действительно захватывающая и является довольно монументальным моментом в НЛП и машинном обучении. Без дальнейших церемоний, давайте сразу приступим.
Откуда появился BERT?
Я хочу предоставить всем более широкий контекст того, откуда взялся BERT и куда он движется. Я думаю, что много раз эти объявления были чем-то вроде бомб, сброшенных на SEO-индустрию, по сути, неподвижным кадром из серии фильмов, но без полных фрагментов до и после фильма. Мы просто получаем этот неподвижный кадр. Итак, мы получили объявление BERT, но давайте немного вернемся назад во времени.
Обработка естественного языка
Традиционно компьютеры с трудом понимали язык. Они могут хранить текст, мы можем вводить текст, но понимание языка всегда было невероятно сложным для компьютеров. Так появляется обработка естественного языка (NLP), область, в которой исследователи разрабатывают уникальные модели для решения конкретных типов понимания языка. Несколько примеров: распознавание именованных сущностей, классификация, анализ настроений, вопросы и ответы.
Все это традиционно решалось отдельными моделями, подходящими для решения одной конкретной языковой задачи, поэтому это немного похоже на вашу кухню:
Подумайте об отдельных моделях НЛП как о посуде на вашей кухне: у всех них есть одна очень конкретная задача, с которой они очень хорошо справляются.
Теперь рассмотрим универсальную кухонную утварь, состоящую из 11 наиболее часто используемых предметов в одной. Это BERT, единственная кухонная утварь, которая выполняет одиннадцать из лучших решений для обработки естественного языка очень, очень хорошо после тонкой настройки.
Захватывающая дифференциация в пространстве НЛП. Вот почему люди действительно в восторге от этого, потому что им больше не нужны все отдельные модели. --Они могут использовать BERT для решения большинства задач НЛП, что имеет смысл, если Google включит BERT в свой алгоритм.
Куда движется BERT?
Куда этот заголовок? Куда это идет? Эллисон сказала,
"Я думаю, что какое-то время мы будем двигаться по той же траектории, создавая более крупные и улучшенные варианты BERT, которые сильнее, чем BERT, и, возможно, с теми же фундаментальными ограничениями".
Уже существует множество различных версий BERT, и мы будем продолжать видеть их все больше и больше. Будет интересно посмотреть, куда движется это пространство.
Как BERT стал таким умным?
Как насчет того, чтобы взглянуть на очень упрощенное представление о том, как BERT стал таким умным?
Google взял текст из Википедии и много денег на вычислительную мощность (TPU, которые они объединяют в модуль V3), которые могут питать эти большие модели. Затем они использовали неконтролируемую нейронную сеть для обучения всему тексту Википедии, чтобы лучше понимать язык и контекст.
Что интересно в том, как он учится, так это то, что он берет текст любой произвольной длины (что хорошо, потому что язык довольно произволен в том, как мы говорим) и транскрибирует его в вектор.
Вектор — это фиксированная последовательность чисел. Это помогает языку быть переведенным на машину.
Это происходит в действительно диком n-мерном пространстве, которое мы даже не можем себе представить. Использование похожего контекстуального языка в одних и тех же областях.
Чтобы становиться все умнее и умнее, BERT, как и Word2vec, использует тактику, называемую маскированием.
Маскирование происходит, когда случайное слово в предложении скрыто.
BERT, будучи двунаправленной моделью, смотрит на слова до и после скрытого слова, чтобы помочь предсказать, что это за слово.
Он делает это снова и снова, пока не станет эффективен в предсказании замаскированных слов. Затем его можно дополнительно настроить для выполнения 11 наиболее распространенных задач обработки естественного языка. Очень, очень интересно и весело проводить время в этом пространстве.
Что такое BERT?
BERT – это предварительно обученная неконтролируемая модель обработки естественного языка. BERT может превзойти 11 наиболее распространенных задач NLP после тонкой настройки, по сути, став ракетным ускорителем для обработки и понимания естественного языка.
BERT глубоко двунаправленный, то есть он просматривает слова до и после сущностей и контекст, предварительно обученный в Википедии, чтобы обеспечить более глубокое понимание языка.
Посмотрите эту доску в пятницу, чтобы узнать больше о том, что такое неконтролируемая модель.
Чего не может BERT?
Эллисон Эттингер написала действительно замечательную исследовательскую работу под названием «Чего не может сделать BERT». Самым удивительным выводом из ее исследования стала область диагностики отрицания, а это означает, что BERT не очень хорошо разбирается в отрицании или в том, чем вещи не являются.
Например, при вводе Робина это... Он предсказал птицу, и это правильно, это здорово. Но когда вошел малиновка, это не... Это тоже предсказала птицу. Таким образом, в случаях, когда BERT не видел примеров отрицания или контекста, ему все равно будет трудно это понять. В исследовании Эллисон есть масса других действительно интересных выводов, настоятельно рекомендуем вам ознакомиться с ним.
Как вы оптимизируете для BERT? (Вы не можете!)
И наконец, как оптимизировать BERT? Опять же, вы не можете. Единственный способ улучшить свой веб-сайт с помощью этого обновления — написать действительно отличный контент для ваших пользователей и выполнить намерение, которое они ищут.
Отличным ресурсом, который поможет вам понять и лучше писать для НЛП, является статья Бриггсби о SEO на странице для НЛП.
Растущие возможности Google для понимания естественных вопросов
Одна вещь, которую я просто обязан упомянуть, потому что я, честно говоря, не могу выбросить это из головы, — это основной доклад Джеффа Дина из Google. Он говорит о BERT, а затем переходит к естественным вопросам и их пониманию. Важным выводом для меня стал этот пример. Допустим, кто-то задал вопрос: "Можно ли совершать и принимать звонки в режиме полета?"
Блок текста, в котором уровень перевода Google пытается понять весь этот текст, очень технический и трудный для понимания:
Режим полета, режим полета, режим полета, автономный режим или автономный режим — это параметр, доступный на многих смартфонах, портативных компьютерах и других электронных устройствах, который при активации приостанавливает передачу радиочастотного сигнала устройством. , тем самым отключив Bluetooth, телефонию и Wi-Fi. GPS может быть отключен, а может и не отключен, поскольку он не включает передачу радиоволн.
Благодаря этим слоям и таким функциям, как BERT, они смогли просто ответить "Нет" из всего этого очень сложного, длинного и запутанного языка. Это очень, очень мощно в нашем пространстве.
Подумайте о таких вещах, как избранные фрагменты; рассмотрите такие вещи, как функции SERP. Я имею в виду, что это может начать оказывать огромное влияние на наше пространство. Поэтому я думаю, что важно быть в курсе того, куда все движется и что происходит в этой области.
Я очень надеюсь, что вам понравилась эта версия Whiteboard Friday. Пожалуйста, дайте мне знать, если у вас есть какие-либо вопросы или комментарии ниже, и я с нетерпением жду встречи со всеми вами в следующий раз. Большое спасибо.
Читайте также: