ANALYSIS OF COMPREHENSION OF LEGAL TEXTS THE KEYWORD METHOD

JOURNAL: «Scientific Notes of V. I. Vernadsky Crimean Federal University. Philological sciences», Volume 11 (77), № 4, 2025

Publication text (PDF): Download

UDK: 81’272

AUTHOR AND PUBLICATION INFORMATION AUTHORS:

Tsygulskaya L. D., Perm State University, Perm, Russian Federation

TYPE: Article

DOI: https://10.29039/2413-1679-2025-11-4-72-83

PAGES: from 72 to 83

STATUS: Published

LANGUAGE: Russian

KEYWORDS: legal text, comprehension of legal texts, civil contract, keyword extraction method, keywords, keyword set.

ABSTRACT (ENGLISH):

The article is devoted to the study of comprehension of modern legal texts by native Russian speakers. Legal texts are characterized by high formalization, complex terminology and specific syntactic constructions, which complicates their perception and comprehension by non-specialists. The subject of the study is the comprehension of the texts of civil contracts: excerpts a purchase-sale contract, a credit contract, a marriage contract. To assess the level of comprehension of the texts of contracts, the keyword method was used, which allows identifying the main lexical units reflecting the content of the text. Informants (60 people) were shown excerpts from the texts of contracts and asked to determine the type of document and highlight the keywords characterizing its content. The study showed that less than 50% of informants completely correctly identify the type of contract, with the worst recognition of the marriage contract. Analysis of the keywords identified by the informants made it possible to identify the most significant semantic groups of keywords associated with the subjects, objects and terms of contracts. It was revealed that, when highlighting keywords, informants primarily focus on the subjects and objects of contracts, while the rights and obligations of the parties attract their attention less often, which may indicate a low level of legal literacy of informants perceiving the text. Semantic analysis of keywords demonstrated differences in the perception of each type of contract, reflecting the specifics of these contracts. The study confirms the effectiveness of the keyword method as a tool for analyzing the comprehension of legal texts and identifying difficulties in their perception.

ВВЕДЕНИЕ

Понимание юридических текстов – сложная задача как с правовой, так и с лингвистической точек зрения. С одной стороны, юридические тексты характеризуются высокой степенью формализации и использованием специализированной терминологии, что требует от читателя не только знания закона, но и умения интерпретировать его нормы в контексте правоприменения [22]. С другой стороны, юридические тексты часто содержат сложные синтаксические конструкции, неоднозначные формулировки и специфические дискурсивные особенности, которые затрудняют однозначное понимание и могут приводить к различным интерпретациям [20; 21].

С точки зрения права, сложность обусловлена тем, что юридические нормы должны быть одновременно достаточно точными для обеспечения правовой определенности и достаточно гибкими для адаптации к разнообразным жизненным ситуациям [15]. Это порождает необходимость балансировать между формальной строгостью и коммуникативной ясностью, чего не всегда удается достичь. С лингвистической точки зрения, сложность текстов права проявляется в использовании архаизмов, канцеляризмов, пассивных конструкций и других стилистических средств, характерных для юридического дискурса, что дополнительно усложняет восприятие текста неспециалистами [4; 19 и др.]. В последнее время и российские исследователи проявляют все больший интерес к пониманию юридических текстов [1; 2; 8; 9; 13].

Юридические тексты отличаются разнообразием видов и специфическими языковыми характеристиками. В зависимости от отраслевого деления права юридические документы можно разделить на конституционно-правовые, гражданско-правовые, уголовно-правовые и др. [12, с. 45]. В рамках гражданско-правовых отношений наиболее распространены такой вид документов, как договоры. В данной статье будет рассмотрено понимание текстов гражданско-правовых договоров.

МЕТОД КЛЮЧЕВЫХ СЛОВ КАК МЕТОД ОЦЕНКИ ПОНИМАНИЯ ТЕКСТА

В условиях растущей сложности правового языка и увеличения объема нормативных актов необходимость выявления и анализа ключевых слов правовых документов становится особенно актуальной. Ключевые слова не только служат индикаторами основных понятий и категорий, используемых в тексте, но и помогают структурировать информацию, облегчая процесс понимания и интерпретации юридических текстов.

В российской психолингвистике для изучения процессов восприятия и понимания текста широко используется метод выделения ключевых слов, который был подробно описан в [6]. Ключевые слова – это «своего рода “кванты” текстового смысла; именно на них прежде всего опирается субъект в процесс понимания текста» [11, с. 66]. Выявление ключевых слов позволяет реципиенту определить общее содержание текста и объединить значения отдельных слов в целостный контекст, иными словами, сформировать образ содержания целого текста.

Техника выделения ключевых слов при информационной обработке документа (например, при его библиографическом описании) заключается в выборе из первичного документа (книги, статьи и т. п.) нескольких слов (обычно 5–15), которые отражают основное содержание данного документа. Эти ключевые слова составляют набор ключевых слов (НКС), представленный как существительные в начальной форме [10]. В зарубежных исследованиях метод выделения ключевых слов (КС) и автоматически выделенные наборы КС часто применяются в смежных с лингвистикой областях, таких как интеллектуальный анализ текста, информационный поиск и обработка естественного языка [14]. В данном случае наборы КС служат метаданными, способствующими улучшению содержания документов, упрощению их классификации, систематизации, индексации и созданию кратких обзоров текстовой информации, что, в свою очередь, облегчает поиск и настройку рекомендаций для пользователей [18].

Однако существуют психолингвистические и педагогические исследования, в которых метод выделения ключевых слов используется для анализа понимания текста: например, в работах [7; 10; 16; 17]. При таком подходе НКС выделяется как результат психолингвистического эксперимента, в котором носители языка выделяют КС; общий объем выделенных КС называется НКС текста, а набор наиболее частотных КС (обычно 1–15 слов) – истинным НКС [6].

Несмотря на то что при сопоставлении КС и резюме текстов студентами [17] было выявлено, что успешность выделения ключевых слов не являлась показателем точности ответов на вопросы, авторы предположили, что ключевые слова могут отражать уровень понимания текста, что требует проведения дополнительных исследований для уточнения данной гипотезы. В более поздних исследованиях на материале русского, английского и китайского языков было показано, что метод ключевых слов может не только показать уровень понимания текста, но и выявить возможные трудности, с которыми сталкиваются респонденты при интерпретации информации [5]. Таким образом, метод ключевых слов может использоваться для анализа понимания текста при предъявлении различных типов текстов и в разных аудиториях, что делает его универсальным инструментом исследований, связанных с чтением и пониманием.

МАТЕРИАЛ И МЕТОДЫ ИССЛЕДОВАНИЯ

Для изучения восприятия и понимания юридических текстов был проведен лингвистических эксперимент, в котором информанты знакомились с текстами гражданско-правовых договоров: отрывками договора купли-продажи, кредитного договора и брачного договора, которые включали описание предмета договора, субъектов, прав и обязанностей сторон. Данные виды договоров были взяты неслучайно. Учитывая, что юридические правоотношения пронизывают все сферы общества и являются неотъемлемой их частью, были выбраны договоры, с которыми обычные люди часто сталкиваются в повседневной жизни; эти типы договоров регулируют важные для большинства граждан правоотношения, связанные с реализацией их законных прав и обязанностей. Для каждого из использованных текстов определялись следующие параметры: количество словоупотреблений, количество разных слов и коэффициент лексического разнообразия (отношение количества разных слов текста к общему количеству словоупотреблений в тексте).

Информантам было предложено определить, отрывок из какого типа юридического документа им представлен. Ответы давались в свободной форме. Далее анализировался процент правильных, частично правильных и неверных ответов.

Также информантам предлагалось выписать по пять наиболее важных слов (которые в данном случае рассматривались как КС) из данных документов. Хотя не все информанты выполнили данное задание (для первого текста зафиксирован один отказ, для второго – четыре отказа и для третьего – один) и некоторые информанты указали меньшее количество слов, другие информанты могли указать большее количество КС; всего было получено 924 КС: 322 для первого текста, 289 – для второго и 313 – для третьего.

В эксперименте участвовали 60 информантов, из которых 18 мужчин и 42 женщины с разным уровнем образования; возраст информантов варьировал от 22 до 72 лет. В настоящей статье социальные характеристики информантов не анализируются, рассматривается только общая картина понимания представленных юридических текстов.

Обработка КС, выписанных информантами, проводилась следующим образом: различные формы слова сводились к форме, наиболее часто встречающейся в ответах (процент, проценты → проценты); разные КС, имеющие синонимические значения, объединялись (недвижимость, недвижимое имущество → недвижимость/недвижимое; срок, дата, день → срок); словосочетания делились на слова, входящие в них (недвижимое имущество → недвижимое и имущество; рабочий день → рабочий и день); союзы и предлоги удалялись (проценты за пользование кредитом → проценты, пользование и кредит).

В соответствии с инструкцией подсчета КС, описанной в [6], для каждого КС, встретившегося в ответах участников, была рассчитана абсолютная (m) и относительная (p) частота встречаемости (p = m/n, где n – количество участников). Группа слов, получивших наибольшую относительную частоту встречаемости, составила истинный набор КС, в который были включены все КС, названные как минимум 20% участников.

Для каждого из текстов определялись следующие параметры: количество разных КС, указанных информантами; объем истинного НКС; коэффициент покрытия текста КС (отношение частоты КС из истинного НКС в тексте к общему количеству словоупотреблений в тексте).

Кроме того, на основании семантического анализа КС были объединены в семантические группы, объем которых (количество реакций в них) показывает важность данной группы для информантов при понимании текста. Во всех текстах КС были объединены в семь однотипных семантических групп, связанных со спецификой лексики договоров: субъекты договора, объект договора, условия договора, действия сторон, права и обязанности сторон, денежные средства, документ.

ОПРЕДЕЛЕНИЕ ТИПА ДОКУМЕНТА

Ответы информантов относительно вида документа, который им представлен анализировались следующим образом:

• полностью верными считались те ответы, в которых был назван конкретный вид договора (купли-продажи, кредитный или брачный);
• частично верными считались ответы, в которых определялся тип документа (договор), но не уточнялся вид договора, а также ответы, в которых называлась только отрасль права, которая регулирует отношения, описываемые договором (например, семейное право для брачного договора);
• неверными считались ответы, в которых и отрасль права, и тип документы были названы неправильно (например, правовой акт, закон и др.);
• отказы – это либо незаполненные графы, либо ответы типа «не знаю».

 

Таблица 1.

Количество верных, частично верных

и неверных ответов при опознании типа документа, %

Правильность ответы	Договор
	купли-продажи	кредитный	брачный
Полностью верно	45,0	45,0	35,0
Частично верно	40,0	36,7	40,0
Неверно	13,3	11,7	25,0
Отказ	1,7	6,7	0,0

 

Как видим из Таблицы 1, наблюдается низкий процент полностью верных ответов, данных информантами при восприятии текстов всех трех видов договоров (менее 50,0%). Количество полностью верных ответов для договора купли-продажи и кредитного договора составляет 45,0%, для брачного договора – 35,0%. Количество частично верных ответов для договора купли-продажи и брачного договора совпадает – 40,0%, а для кредитного договора чуть ниже – 36,7% частично верных ответов. Наибольшее количество неверных ответов зафиксировано для брачного договора – 25%, а наименьшее для кредитного договора – 11,7%. При этом для брачного договора не было зафиксировано ни одного отказа; максимальное количество отказов дано для кредитного договора – 6,7%. Таким образом, уровень опознания жанра и типа текста недостаточно высок и самым низким уровнем характеризуется брачный договор.

НАБОРЫ КЛЮЧЕВЫХ СЛОВ ТЕКСТОВ ДОГОВОРОВ

Количественные характеристики текстов договоров и НКС, полученных для них, представлены в Таблице 2.

Таблица 2.

Количественные характеристики текстов и наборов ключевых слов

Параметры	Договор
	купли-продажи	кредитный	брачный
Количество словоупотреблений	137	137	164
Количество разных слов	90	76	86
Лексическое разнообразие	0,66	0,55	0,52
Количество разных КС	38	30	37
Объем истинного НКС	6	7	6
Покрытие текста КС	0,19	0,27	0,23

Отрывок текста договора купли-продажи, предложенный информантам, включал 137 слов, из них 90 разных (коэффициент лексического разнообразия текста – 0,66). При выделении КС информанты назвали 38 разных КС, при этом объем истинного НКС данного текста составили шесть слов: продавец (назвали 83,3% информантов), покупатель (80% информантов), имущество (60% информантов), недвижимость (60% информантов), договор (53,3% информантов) и акт (26,7% информантов). Как видим, КС, входящие в истинный НКС, обозначают основных субъектов договора, предмет договора (объект, о котором идет речь в договоре), а также собственно название договора как документа. Коэффициент покрытия текста КС – 19%.

Отрывок текста кредитного договора включал 137 слов, из них 76 разных (коэффициент лексического разнообразия текста – 0,55). При выделении КС информанты назвали 30 разных КС. Истинный НКС текста кредитного договора составили семь слов: проценты (назвали 91,7% информантов), кредит (81,7% информантов), заемщик (58,3% информантов), кредитор (41,7% информантов), выплата (25% информантов), сроки (25% информантов) и погашение (21,7% информантов). В данном случае КС, входящие в истинный НКС, называют условия договора, предмет договора, основных субъектов договора, а также действия, связанные с исполнением договора. Коэффициент покрытия текста КС – 27%.

Отрывок текста брачного договора включал 164 слова, из них 86 разных (коэффициент лексического разнообразия текста – 0,52). При выделении КС информанты назвали 37 разных КС, при этом истинный НКС данного текста состоит из шести слов: собственность (назвали 85% информантов), имущество (81,7% информантов), брак (76,7% информантов), супруги (71,7% информантов), подарки (35% информантов) и расторжение (23,3% информантов). Как видим, КС, входящие в истинный НКС, обозначают предмет договора, условия договора, а также основных субъектов договора. Коэффициент покрытия текста КС составил 23%.

Как видим, несмотря на то что тексты договоров характеризуются разным объемом и разным коэффициентом лексического разнообразия, объемы истинных НКС примерно одинаковы – 6–7 слов. При этом для текстов с меньшим лексическим разнообразием (кредитный и брачный договоры), получаем более высокие коэффициенты покрытия текста КС.

В истинных НКС текстов всех рассмотренных договоров повторяются лексические единицы одних и тех же семантических групп. Так, везде встречаются субъекты договоров и объекты, относительно которых составляется договор. Таким образом, истинные НКС отражают существенные стороны договоров, что может косвенно свидетельствовать и достаточно высокой степени понимания информантами данных юридических текстов.

В то же время общие НКС также связаны с важными семантическими группами лексики договоров. Поэтому было решено проанализировать НКС полностью с точки зрения лексико-семантических групп, в которые входят КС.

СЕМАНТИЧЕСКИЕ ГРУППЫ ЛЕКСИКИ В НАБОРАХ КЛЮЧЕВЫХ СЛОВ

Полученные полные списки КС для каждого из текстов на основании семантического анализа были распределены в семантические группы. Рассмотрим семантические группы, которые были выделены для каждого из текстов.

Договор купли-продажи

Семантические группы КС, выделенных информантами в тексте договора купли-продажи, в порядке убывания показаны в Таблице 3.

Таблица 3.

Семантические группы КС: договор купли-продажи

Семантическая группа	КС	Объем, %
Субъекты	продавец, покупатель, третьи лица, лица, наниматель, собственник	32,9
Объект	вещь, имущество, недвижимость/недвижимое, собственность	24,8
Документ	акт, договор	14,9
Действия	прием-передача, передача, покупка, переход, продажа, сделка, регистрация, купля-продажа, государственная, регистрация	10,6
Права и обязанности	гарантии, законодательство, обязательства, право, ответственность, иск, претензии	6,8
Условия	отсутствие, срок, риск, случайная гибель, форс-мажор	5,6
Денежные средства	пошлина, расходы, оплата, платежи, задолженности	4,7

Как видим из Таблицы 3, для носителей языка наиболее важными в анализируемом отрывке договора купли-продажи являются субъекты договора, чуть менее важным оказался объект договора. Значительно реже информанты называют среди КС документы и действия, менее всего важны для них оказались права и обязанности сторон, риски, разного рода платежи и другие условия договора. Таким образом, анализ КС показывает, что люди в данном отрывке текста сосредоточиваются прежде всего на субъектах, оставляя без должного внимания их действия и условия осуществления этих действий.

Кредитный договор

Семантические группы КС, выделенных информантами в тексте кредитного договора, в порядке убывания показаны в Таблице 4. Как видим, для носителей языка наиболее важными в анализируемом отрывке кредитного договора являются условия договора, чуть менее важным оказались субъекты договора. Значительно реже информанты называют среди КС объект, действия, менее всего важны для них оказались денежные средства, права и обязанности сторон и собственно документ.

Таблица 4.

Семантические группы КС: кредитный договор

Семантическая группа	КС	Объем, %
Условия	проценты, ставка, условие, время, дата, день, досрочное, ежемесячно, период, рабочий, сроки	32,9
Субъекты	банк, заемщик, кредитор	22,8
Объект	кредит	17,0
Действие	возврат, выплата, исполнение, оплата, погашение, пользование, начисление	13,5
Денежные средства	карта, деньги, средства, сумма, просрочка, задолженность, платеж	7,6
Права и обязанности	обязательства, право	3,5
Документ	договор	2,8

Таким образом, анализ КС показывает, что люди в данном отрывке текста сосредоточиваются прежде всего на условиях договора, оставляя без должного внимания действия субъектов, их права и обязанности.

Брачный договор

Семантические группы КС, выделенных информантами в тексте брачного договора, в порядке убывания показаны в Таблице 5.

Таблица 5.

Семантические группы КС: брачный договор

Семантическая группа	КС	Объем, %
Объект	вещи, имущество, недвижимость, собственность, доли, подарки, авто, свадебные	44,3
Субъекты	супруги, владелец, родственники, сторона, член, индивидуальное, личное, совместная	21,2
Условия	брак, развод, расторжение	20,5
Права и обязанности	владение, пользование, закон, права, признаются, иск, принадлежит	5,9
Действие	раздел, возмещение, делаешь, зарегистрировано, приобретение, разделение, регистрация	4,9
Документ	договор	2,9
Денежные средства	вложения, средства, стоимость	2,3

Как видим из Таблицы 5, для носителей языка наиболее важными в анализируемом отрывке брачного договора является объект договора, чуть менее важным оказались субъекты и условия договора. Значительно реже информанты называют среди КС действия и права и обязанности сторон договора, менее всего важны для них оказались документ и денежные средства. Таким образом, анализ КС показывает, что люди в данном отрывке текста сосредоточиваются прежде всего на объекте, оставляя без должного внимания права и обязанности сторон договора, их действия и денежные средства.

В целом можно сказать, что во всех трех текстах наблюдается низкий процент максимума частот семантических групп КС, что указывает на разнообразие и сложность их структуры. Процент максимума составляет менее 50%: 32,9% – в договоре купли-продажи, 32,9% – в кредитном договоре и 44,3% – в брачном договоре.

Кроме того, для каждого из договоров выстраивается разная иерархия семантических групп КС (см. рис.), которая подчеркивают специфику каждого из видов договоров.

Рисунок 1. Объемы семантических групп КС, выделенных к разным договорам

Как видим из рисунка, наибольший процент актуализации во всех трех договорах получили две семантические группы КС: субъекты и объект договора. Субъекты договора оказались наиболее важными для договора купли-продажи (32,9%), что подчеркивает существенную роль участников данного договора для информантов. При этом, для кредитного и брачного договоров субъекты также являются важными, но частота их актуализации в НКС примерно в полтора раза меньше. Объект договора имеет наибольшее значение в брачном договоре (44,3%), в то время как в договоре купли-продажи и кредитном договоре его значимость снижается почти в 2 раза и более (24,8% и 17,0% соответственно).

Условия договора более всего важны для кредитного договора (32,9%) и довольно часто подчеркиваются в брачном договоре, в то время как для договора купли-продажи они оказываются малозначимыми для информантов – всего 5,6%.

Заметными, но менее значимыми семантическими группами КС являются группы «действия» и «документ». Действия имеют большее значение для кредитного договора (13,5%), их роль в осмыслении договора купли-продажи немного ниже (10,6%), в то время как для брачного договора таких КС выделяется совсем немного (4,9%). Упоминание документов встречается в НКС всех трех договоров, но значимость этой семантической группы для договора купли-продажи несколько выше (14,9%), чем для остальных договоров, что может быть обусловлено предметом договора купли-продажи. Для кредитного и брачного договоров процент актуализации семантической группы «договор» крайне мал (2,8% и 2,9% соответственно). В целом низкий уровень внимания к документам говорит о том, что информантам не слишком важна формализация договорных отношений или они считают ее само собой разумеющейся.

Низкая актуализация семантической группы «права и обязанности» сторон договора в КС, выделенных информантами ко всем трем договорам, указывает на второстепенное значение этой группы для информантов. Так, в договоре купли-продажи таких КС – 6,8%, в кредитном договоре – 3,5% и в брачном договоре – 5,9%. Кроме того, недостаточное внимание информантов к правам и обязанностям сторон в договорах указывает на низкий уровень правовой грамотности.

Наименее значимой группой для всех видов договоров оказались денежные средства. При этом наибольшую актуализацию они получили в кредитном договоре (7,6%). Небольшое число упоминаний о рисках и финансовых аспектах договоров свидетельствует о недостаточном осознании потенциальных обязательств в связи с заключением договоров.

ВЫВОДЫ

Таким образом, результаты исследования показали, что уровень опознания типа договора недостаточно высок, что подтверждается низким процентом полностью верных ответов информантов. Наиболее сложным для опознания оказался брачный договор (очевидно в силу меньшей его распространенности), в то время как уровень опознания договоров купли-продажи и кредитного договора оказался несколько выше, хотя также не достиг 50%.

Метод КС продемонстрировал эффективность в оценке понимания текстов и, при условии объединения КС в семантические группы, позволил выявить компоненты текстов, которые информанты считали наиболее важными. В истинных НКС текстов всех рассмотренных договоров повторяются лексические единицы одних и тех же семантических групп. Так, везде встречаются лексемы, называющие субъектов договоров и объекты, относительно которых составляется договор. Низкая актуализация семантической группы «права и обязанности» указывает на второстепенное значение этой группы для информантов и может свидетельствовать о недостаточном внимании к важным аспектам договоров, которые могут повлиять на правовые обязательства.

Предпринятое исследование подтверждает важность изучения понимания юридических текстов и применение различных методов для этих целей.

References

1. Anokhina S. Z., Vakhitova G. V. Lingvisticheskie kharakteristiki yuridicheskogo teksta kak faktor vliyaniya na ego vospriyatie i ponimanie adresatom-yuristom [Linguistic characteristics of a legal text as a factor influencing its perception and comprehension by the addressee-lawyer]. Vestnik Bashkirskogo universiteta, 2019, no. 2, pp. 425-429.
2. Belov S. A., Gulida V. B. Yazyk yuridicheskikh dokumentov: slozhnosti ponimaniya [The language of legal documents: the complexities of comprehension] Acta Linguistica Petropolitana. Trudy instituta lingvisticheskikh issledovanii, 2019, no. 15, pp. 56–103.
3. Glazanova E. V. Studentka vs voditel’ v vozraste, ili pochemu nikto ne lyubit chitat’ oficial’nye dokumenty [Student vs older driver, or why no one likes to read official documents] Socio- i psiholingvisticheskie issledovaniya, 2021, no. 9, pp. 76–85.
4. Golev N. D. Yuridicheskaya terminologiya v kontekste doktrinal’nogo tolkovaniya [Legal terminology in the context of doctrinal interpretation] Sibirskii filologicheskii zhurnal, 2015, no. 4, pp.  138–148.
5. Ladnova A. A., Zubov V. I. Izuchenie ponimaniya teksta na rodnom i nerodnom yazyke s ispol’zovaniem metodiki vydeleniya klyuchevykh slov (na materiale russkogo, angliiskogo i kitaiskogo yazykov) [Study of text comprehension in native and non-native languages using the method of identifying keywords (based on Russian, English and Chinese languages)] Vestnik Sankt-Peterburgskogo universiteta. Yazyk i literatura, 2024.
6. Murzin L. N., Shtern A. S. Tekst i ego vospriyatie. [Text and its perception] Sverdlovsk: Izdatel’stvo Ural’skogo universiteta, 1991, 172 p.
7. Petrova T. E. Kontekstnaya predskazuemost’ klyuchevykh slov teksta [Contextual predictability of keywords of the text] …SLOVO OTZOVETSYA: pamyati Ally Solomonovny Shtern i Leonida Vol’kovicha Sakharnogo / Permskii universitet. Perm’, 2006, pp. 73–78.
8. Peshkova N. P., Vakhitova G. V., Ibatullina N. S. Vospriyatie i interpretaciya tekstov yuridicheskogo diskursa (na materiale popravok k Konstitucii Rossiiskoi Federacii i internet-kommentariev) [Perception and interpretation of legal discourse texts (based on amendments to the Constitution of the Russian Federation and Internet comments)]. Voprosy sovremennoi lingvistiki, 2020, no. 5, pp. 112–129.
9. Rudneva E. A., Troshchenkova E. V. Problema ponyatnosti yuridicheskikh dokumentov v kontekste professional’noi identichnosti [The problem of understandability of legal documents in the context of professional identity]. Vestnik Tomskogo gosudarstvennogo universiteta, 2023, no. 489, pp. 25–35.
10. Sakharnyi L. V., Shtern A. S. Nabor klyuchevykh slov kak tip teksta [A set of keywords as a text type] Leksicheskie aspekty v sisteme professional’no-orientirovannogo obucheniya inoyazychnoj rechevoj deyatel’nosti, Perm’, 1988, pp.  34–51.
11. Sirotko-Sibirskii S. A. O probleme ponimaniya teksta v lingvistike i psikholingvistike [On the problem of comprehension the text in linguistics and psycholinguistics] …SLOVO OTZOVETSYA: pamyati Ally Solomonovny Shtern i Leonida Vol’kovicha Sakharnogo / Permskii universitet, Perm’, 2006. pp. 63–68.
12. Uzdimaeva N. I. Problemy klassifikacii yuridicheskikh dokumentov [Problems of classification of legal documents]. Kontentus, 2020, no. 7, pp. 42–50.
13. Shepelev A. N. Kritika teorii prostogo yuridicheskogo yazyka [Critique of the theory of simple legal language]. PRAVO: istoriya i sovremennost’, 2023, no. 4, pp. 408–414.
14. Beliga S., Meštrović A., Martinčić-Ipšić S. An overview of graph-based keyword extraction methods and approaches. Journal of Information and Organizational Sciences, 2015, no 39 (1), pp. 1–20.
15. Bhatia V. K. Analysing Genre: Language Use in Professional Settings. 1993. 246 p.
16. de Bruin A. B., Thiede K. W., Camp G., Redford J. Generating keywords improves metacomprehension and self-regulation in elementary and middle school children. Journal of Experimental Child Psychology, 2011, no. 109 (3), pp. 294–310.
17. Engelen J. A. A., Camp G., van de Pol J., de Bruin A. B. H. Teachers’ monitoring of students’ text comprehension: can students’ keywords and summaries improve teachers’ judgment accuracy? Metacognition and learning, 2018, no. 13, pp. 287–307.
18. Firoozeh N., Nazarenko A., Alizon F., Daille B. Keyword extraction: Issues and methods. Natural Language Engineering, 2020, 26 (3), pp. 259–291.
19. Gibbons J. Forensic Linguistics: An Introduction to Language in the Justice System. Wiley-Blackwell, 2003, 345 p.
20. Mellinkoff D. The Language of the Law. Little, Brown and Company, 1963, 544 p.
21. Solan L. M. The Language of Judges. University of Chicago Press, 1993, 218 p.
22. Tiersma P. M. Legal Language. University of Chicago Press, 1999, 314 p.