Задача выбора подходящего текстового материала достаточно типична. Конечно, надо уточнить понятие “подходящий”. Я здесь имею ввиду материал, похожий по содержанию на некоторый эталон. Например, если есть описание какого-либо интересного занятия, может появиться необходимость в информативном и качественном руководстве в этой области. Или, если у вас есть тематический план для самообразования, то полезно иметь соответствующий учебник или справочник . Также у преподавателей есть необходимость подбора учебной литературы по предмету, для которого подготовлена рабочая программа. Да и художественную книжку, похожую на только что прочитанную и понравившуюся, хорошо бы найти. В настоящей статье я рассказываю как можно обоснованно выбрать учебник по базам данных.

Общим для всех перечисленных примеров является то, что имеется некий эталон, на который следует равняться при выборе искомого текста или документа. Именно для этого случая ниже я покажу, как можно это сделать обоснованно, не полагаясь полностью на свой опыт (если есть), советы консультантов или просто мнения.

Буду работать со знакомой мне тематикой – базы данных. Предположим, что я преподаватель дисциплины “Базы данных” и у меня есть рабочая программа по этой дисциплине. Необходимо из имеющихся учебников выбрать тот, который наилучшим образом соответствует рабочей программе. Начнем?

Исходный набор документов

Учебники достаточно свежие, изданы в 2018-2023 годах. Отмечу, что это далеко не все учебники, имеющиеся в природе. Перечислены только те, тексты которых были доступны во время подготовки этого поста. Никто нам не помешает в последствии дополнять этот перечень.

Загрузим документы в базу данных приложения Текстоматика

Это не просто загрузка. Выполняются все необходимые процедуры препроцессинга документов для дальнейшей обработки текста: морфологический анализ, токенизация, лемматизация, исключение стоп-слов. В результате получаем данные для создания обучающего набора для модели Doc2Vec.

Создадим модель Doc2Vec и обучим ее, используя имеющиеся документы

Процедура подготовки исходных данных, создания модели, ее обучения и оценки качества модели стандартные для Doc2Vec. Они достаточно просты и соответствуют руководствам разработчиков. Особенностью является то, что данные для обучающего набора – токены предложений текста – берутся из базы данных приложения Текстоматика. Реализация этих операций скриптом Python несложна. Но если для создания и обучения модели используется приложение Текстоматика, то все алгоритмы там уже реализованы.

Основные гиперпараметры модели следующие: количество эпох – 50, размерность вектора документа – 1000, минимальная частота активных слов – 2, скорость обучения – 0.025.

Сходство документов и эталона: лучший учебник

Вычисление сходства с эталоном документов, входящих в состав модели Doc2Vec , выполняется просто:

...
standard_vector = d2v_model.dv[standardid]
preferred_manuals = d2v_model.dv.most_similar([standard_vector], topn = len(d2v_model.dv))
...

Здесь d2v_model определяет модель Doc2Vec, а preferred_manuals – список значений показателей сходства (диапазон от 0 до 1), соотнесенных с документами.

Если появляется новый учебник, то его сходство с эталоном вычисляется так:

standard_vector = d2v_model.infer_vector(standard_tokens)
preferred_manuals = d2v_model.dv.most_similar([standard_vector], topn = len(d2v_model.dv))

Здесь standard_tokens – список токенов документа эталона.

Окончательно мы имеем показанный далее список наиболее предпочтительных учебников для заданной рабочей программы дисциплины “Базы данных”.

Наиболее предпочтительные учебники для рабочей программы дисциплины “Базы данных”

Лучший учебник для нашей рабочей программы – Шилин А. С. Перспективные методы проектирования реляционных баз данных. Примечательный факт – на втором месте учебник, который был обозначен в используемой рабочей программе как основная литература для моего курса “Базы данных”. Еще в 2019 году.

См. также мой материал Рейтинг наиболее полных университетских учебников по базам данных.

Заключение

Мы увидели, что обоснованно выбрать учебник по базам данных можно, не используя запредельных технологий. В следующем посте на эту тему я покажу, как можно выполнить описанные здесь действия самостоятельно с помощью приложения Текстоматика.