Данный сценарий предполагает решение задачи разделения текстовых данных на кластеры. В качестве источника используются сообщения на форуме, а задача платформы научиться определять позитивные и негативные комментарии, разделив их на соответствующие кластеры.

Для решения задачи выполните следующие действия:

Загрузка данных на платформу. Набор данных состоит из файла в формате .csv, где каждая строка представляет собой комментарий с форума.

Перейдите в раздел данные и нажмите кнопку «Создать»

В открывшейся в поле «Тип» выберите значение «Категория», в поле «Название» введите название новой группы, например «Данные для кластеризации текстов», и нажмите кнопку «Создать».

Создание папки в разделе данные

Перейдите в созданную папку «Данные для кластеризации текстов» и загрузите в неё заранее приготовленный файл с комментариями. Для этого нажмите кнопку «Загрузить». Откроется окно загрузки файлов:

Окно загрузки файлов

Для выбора файлов кликните в область окна «Выберите файлы» или перетащите их по технологии drag and drop (из окна папки на вашем ПК в окно браузера).

Если по ошибке был выбран не тот файл, вы можете удалить его, нажав на крестик в правой части строки с его названием.

Нажмите кнопку Загрузить:

Выбранные файлы в окне загрузки

В результате загруженный файл отобразится в папке.

Построение блок-схемы

Создание новой рабочей области. Перейдите в раздел «Моделирование» -> Рабочая область. Нажав на в верхней части экрана, создайте новую рабочую область с названием «Тексты».

Блок запуск. Добавьте на рабочую область элемент «Запуск»:

Дважды кликните на название элемента, чтобы переименовать его в «Классификация текстов»:

Блок Источник данных. Добавьте на рабочую область элемент «Источник данных» и в качестве функции выберите «Загрузка текстовых файлов для кластеризации».

В разделе «Группа текстов для кластеризации» выберите ранее созданную папку нажав на три точки в строке с ее наименованием и кликнув «Выбрать», в результате папка отобразится в нижней части списка.

Сохраните настройки блока

Соедините элементы блок схемы:

Соединение элементов блок схемы

Блок Процесс, Фильтрация шума. Добавьте на рабочую область элемента процесс. Выберите функцию «Предобработка данных» -> «Фильтрация текстового шума». Нажмите «Сохранить».

Переименуйте блок в «Очистка от шума»

Соедините элементы:

Блок Процесс, Лемматизация. Добавьте на рабочую область элемента процесс. Выберите функцию «Предобработка данных» -> «Лемматизация текста». Нажмите «Сохранить».

Переименуйте блок в «Лемматизация».

Соедините элементы:

Блок Процесс, Векторизация. Добавьте на рабочую область элемент процесс. Выберите функцию «Предобработка данных» -> «Векторизация текста».

В параметрах блока выберите «Метод векторизации»: TD IDF; «Максимальная размерность текста» – 1000; «Количество признаков» – 1000:

Параметры блока «Векторизация текста»:

Сохраните параметры блока.

Переименуйте блок в «Вектор».

Соедините элементы:

Соединение элементов блок схемы

Блок Процесс, Кластеризация K-Means. Добавьте на рабочую область элемент процесс. Выберите функцию «Обучение без учителя» -> «Кластеризация K-Means».

В параметрах блока выберите «Число кластеров»: 2; Не нужно устанавливать галочку в поле «Оптимизация гиперпараметров»:

Параметры блока «Кластеризация K-Means»

Сохраните параметры блока

Переименуйте блок в «kMeans»

Соедините элементы:

Соединение элементов блок схемы

Блок Процесс, Кластеризация DBSCAN. Добавьте на рабочую область элемент процесс. Выберите функцию «Обучение без учителя» -> «Кластеризация DBSCAN».

В параметрах блока выберите «Радиус»: 0,5; «Число соседей»: 10; «Метрика расстояния»: Евклидово; Не нужно устанавливать галочку в поле «Оптимизация гиперпараметров»:

Параметры блока «Кластеризация DBSCAN»

Сохраните параметры блока.

Переименуйте блок в «DBSCAN».

Соедините элементы:

Запуск блок-схемы. Чтобы запустить собранную блок-схему нажмите кнопку «» на первом элементе блок-схемы – «Запуск». После этого внешний вид блока изменится и появится возможность создания отчета, активируйте настройку при необходимости. Повторно нажмите кнопку «Запуск», блок схема начнет обрабатывать блоки. После того, как все блоки отработают с зелеными индикаторами, процесс запуска считается успешно пройденным.

Визуализация результатов. После успешной отработки блок схемы на верхней панели активируются кнопки визуализации:

Нажав на иконку с таблицей, вы сможете выбрать из следующих доступных визуализаций:

Отфильтрованные текстовые данные
Лемматизированные текстовые данные
Количество объектов в каждом кластере: