THE USE OF ARTIFICIAL INTELLIGENCE IN THE TRANSLATION OF A LITERARY TEXT (ON THE EXAMPLE OF THE NOVEL “FIRE AND BLOOD” BY GEORGE R. R. MARTIN)

ИСПОЛЬЗОВАНИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ПРИ ПЕРЕВОДЕ ХУДОЖЕСТВЕННОГО ТЕКСТА (НА ПРИМЕРЕ РОМАНА ДЖ. Р. Р. МАРТИНА «ПЛАМЯ И КРОВЬ»)

JOURNAL: «Scientific Notes of V. I. Vernadsky Crimean Federal University. Philological sciences», Volume 10 (76), № 3, 2024

Publication text (PDF): Download

UDK: 81’322.4

AUTHOR AND PUBLICATION INFORMATION AUTHORS:

1. Norets M. V., I. Vernadsky Crimean Federal University, Simferopol, Russian Federation
2. Reynova A. V., I. Vernadsky Crimean Federal University, Simferopol, Russian Federation

TYPE: Article

DOI: https://doi.org/10.29039/2413-1679-2024-10-3-149-158

PAGES: from 149 to 158

STATUS: Published

LANGUAGE: Russian

KEYWORDS: artificial intelligence; machine translation; digital translation of literary text; neural network.

ABSTRACT (ENGLISH):

The article discusses the use of artificial intelligence (AI) tools in the translation of a literary text. The modern era is marked by the transition of mankind to a new stage in the digital technologies development and the emergence of such a terminological designation as “the digital literary translation”. The work of AI has long gone beyond performing simple search requests on various subject areas in the dialog box mode. With the development of neural networks it is possible to mention that “a smart machine” is “an essence that can think, develop and form the rudiments of consciousness, perception of itself and the surrounding reality” [8, рр. 70]. Systems based on neural networks can generate unique texts in different languages, compose poetry and translate an entire book in a matter of seconds. The fragments of the novel “Fire and blood” by George R. R. Martin, translated from the English language into Russian by the expert, ChatGPT, Google and Yandex Translators are the illustrative material of our research. The methods of comparative, oppositional and contextual analysis and deduction were used in the course of the research. The problems connected with the emergence of a new complex system of contradictory relations in the “human – AI” tandem, which the translator encounters in the course of his professional activity, seem to be relevant. The results of the research show that the main obstacle to the full automation of the literary text translation process is the inability to classify and encode the translator’s cognitive abilities and creative activity in the program.

ВВЕДЕНИЕ

Цель исследования – анализ работы современных систем искусственного интеллекта в области перевода и особенностей функционирования бинома «человек – ИИ» в процессе цифрового перевода художественного текста. Поставленная цель обусловила решение конкретных задач, направленных на изучение и воспроизведение механизма работы человеческого разума в ходе его творческой деятельности в рамках искусства перевода.

Теоретическая концепция исследования строится на положениях, изложенных в работах Н. К. Гарбовского [1], Н. Н. Гудкова [2], К. К. Колина [4], М. В. Норца [6, 8] и М. Б. Раренко [9], в соответствии с которыми можно утверждать, что на сегодняшний день происходит формирование такого понятия как «цифровой перевод», которое можно определить как «новый вид технологии перевода, систему сетевого взаимодействия переводчика и цифровых информационно-коммуникационных средств, искусственного интеллекта, призванный повысить эффективность переводческого искусства и качество переводческой продукции» [1, с. 3]. В процессе функционирования бинома «человек – ИИ» меняется характер когнитивных процессов, происходящих в сознании переводчика-человека [1, с. 10], поскольку он, находясь в изменяющейся социальной среде, вынужден «приспосабливаться к самым различным переводческим ситуациям, пополняя свой опыт по большей части только практическим способом, зачастую находясь под давлением обстоятельств» [2, с. 194], которые могут углублять переводческий опыт. В метамодернистской основе ИИ лежит попытка заменить эмпирический опыт, который отсутствует у машины, личным опытом переводчика [2, с. 194]. «Любые системы переводческого ИИ рассматривают живого переводчика как периферию машины» [2, с. 192].

ИЗЛОЖЕНИЕ ОСНОВНОГО МАТЕРИАЛА ИССЛЕДОВАНИЯ

Роль изучения когнитивного аспекта переводческой деятельности при разработке алгоритмов нейронного машинного перевода

Перевод – «это работа интеллекта, предполагающая не только лингвистические знания, обширный кругозор, технологическое мастерство, но и креативность, даже хитрость, ловкость и сообразительность, а также способность к социальной и психологической адаптивности» [1, с. 4]. Перевод – это творческая деятельность человека, искусство речевого преобразования, медиации, принятия решения в обстановке неопределенности.

О переводе как об искусстве «размышлял писатель-переводчик В. Набоков <…>. Искусством называл свое творчество известный советский переводчик Н. М. Любимов <…>, а для К. И. Чуковского – автора первых в отечественной истории систематизированных заметок по теории художественного перевода – перевод был не просто искусством, а искусством высоким» [1, с. 5]. В основе деятельности переводчика как особой формы творчества лежит образное осмысление действительности, направленное на познание мира и отражение мыслей автора таким образом, чтобы оно было адекватно воспринято реципиентом, а в случае художественного перевода – затронуло чувства читателя и удовлетворило его эстетические и эмоциональные потребности. Погружаясь в «искусство перевыражения», переводчик создает произведение в иной семиотической системе для иной культуры, а иногда и для иной эпохи [1, с. 4].

Залог качественного перевода – это, прежде всего, выполнение переводчиком своих функций не только в качестве грамотного лингвиста, разбирающегося в грамматических тонкостях построения как исходного, так и целевого языков, но и его умение понять, какие мысленные образы заложены в тексте оригинала, и как они могут быть представлены лучшим образом на целевом языке в соответствии с целями перевода. Очевидно, что «всякий акт перевода начинается с процесса восприятия исходного текста на языке оригинала»: «Исходное сообщение в письменной форме предполагает чтение как определенную когнитивную функцию, реализуемую переводчиком» [1, с. 13]. Он, несомненно, является самым внимательным читателем, и эта «аксиома» не теряет своей значимости и в условиях постоянно развивающейся цифровой среды. Цель переводчика – «максимально полная передача информации, расшифрованной в процессе познания исходного сообщения, т. е. глубокого понимания исходного текста. Такого понимания можно достичь только в результате внимательного переводческого чтения» [1, с. 14].

Началом становления машинного перевода (МП) послужило «развитие алгоритмов автоматических межъязыковых переходов» [1, с. 8]. Основными стадиями МП можно назвать: функциональный, семантический анализ и интерпретацию [2, с. 192]. Сегодня активное развитие получил новый виток компьютерных технологий – искусственный интеллект. Эта технология представляет собой комплекс средств, помогающих машине выдавать ответы на вопросы, а также делать выводы и анализировать ту информацию, которая изначально не была заложена в программу, т. е. самообучаться. «Искусственный интеллект «как дисциплина относится к когнитивным наукам, т. е. к тем учениям, которые связаны с усвоением знаний» [12, с. 28]. Научное предположение о возможности компьютера функционировать как человеческий мозг, создавать тексты и имитировать человеческую речь стало основой потенциального набора функциональных возможностей искусственного интеллекта в сфере лингвистики [6]. Технология перевода, основывающаяся на новых технологиях, «весьма сложна из-за тесной связи с проблемами моделирования процессов понимания и генерации текстов на естественном языке» [4, с. 66].

С точки зрения психологии, естественный язык – это вторая сигнальная система человека, функционирующая «на основе первой сигнальной системы (т. е. системы врожденных безусловных рефлексов, возникающих под воздействием сигналов, получаемых от зрительных, слуховых, тактильных и других рецепторов)» [4, с. 66]. Сигналы, которые человек получает во время восприятия текста, инициируют мыслительные процессы, но при этом не определяют их полностью. Интерпретация текста переводчиком происходит с учетом его жизненного опыта и профессиональных знаний, накапливаемых в течение жизни: «Этот комплекс знаний представляет собой некоторую динамическую модель мира, которая в процессе речевого общения выполняет роль пресуппозиций» [4, с. 66]. Письменный текст так же, как и устная речь, развертывается последовательно во времени и имеет линейную структуру, тогда как мысленные образы, возникающие в сознании человека, «многомерны» [4, с. 67].

Целью перевода художественного текста является воссоздание в сознании читателя мысленных образов, адекватных авторским: «Такое воссоздание осуществляется постепенно, путем воспроизведения предложения за предложением и “монтажа” возникающих при этом частичных образов в целостный, соответствующий содержанию текста. При этом в каждом предложении элемент его актуального членения – “тема”, – выполняет роль “стыковочного узла”, служащего для подключения нового, обозначаемого этим предложением образа к ранее построенному» [4, с. 67].

Моделирование процессов восприятия и воспроизводства художественного текста должно по своей сути отражать работу мозга человека при восприятии им окружающей действительности. Поэтому при разработке алгоритма работы МП необходимо принимать во внимание важнейшие особенности мыслительной деятельности людей [4, с. 67]. Достижения в области нейробиологии и нейролингвистического программирования в конце прошлого столетия «привели к развитию теории сознания, в которой моделирование мыслительных или поведенческих процессов осуществляется с использованием нейросетей (коннекционизма)» [4, с. 71]. Работа нейронного МП основывается на предварительном (глубоком) обучении программы «на большом корпусе параллельных предложений (на исходном и целевом языках) путем их последовательной обработки конечным набором логических правил» [4, с. 71]. Данный процесс называется «машинным обучением» или по-другому «статистическим обучением». Технология нацелена на то, чтобы программа училась определять характер поступающей информации и систематизировать ее: «Исключительной чертой глубинного обучения является то, что компьютер сам ищет особенности чего-либо, по которым проще всего разделить один класс объектов от другого, и также организовывает их по иерархии» [12, с. 29]. При нейросетевом переводе «функциональный анализ, семантический алгоритм и функционально-стилистическая обработка исходного текста происходят по всей глубине табличных массивов BigData и соотносятся с нейронной сетью, обучая ее» [2, с. 192].

Сопоставительный анализ перевода, выполненного профессиональным переводчиком и искусственным интеллектом

В нашем исследовании мы обратимся к анализу работы популярной нейросети ChatGPT (от англ. Generative Pre-trained Transformer «генеративный предварительно обученный трансформер»), нейронного машинного перевода Google (GNMT) и гибридной системы «Яндекс.Переводчик».

ChatGPT – это чат-бот с генеративным искусственным интеллектом, разработанный компанией OpenAI. Пользователь может работать с программой в диалоговом режиме, задавать вопросы, вводить команды и получать готовый продукт. Данная система приобрела наибольшую популярность в России в 2023 г., когда студент РГГУ защитил дипломную работу, написанную с помощью чат-бота, что привело к дискуссии о роли нейросетей в образовании. Данная программа способна отвечать на вопросы по различным предметным областям, генерировать уникальные тексты на разных языках, в том числе сочинять стихи, составлять текст выступления, сопроводительные письма, придумывать шутки. Среди роботов-экспертов есть поэт, тренер по отношениям и спорту, шеф-повар, зоолог, философ, астролог, консультант по вопросам карьеры и маркетолог. Наибольший интерес для исследователей перевода представляет т.н. «языковой эксперт», который может переводить языки, проверять орфографию и улучшать грамматику. Основная идея МП с помощью ChatGPT заключается в том, что он может быть осуществлен на основе предварительного (глубокого) обучения программы на большом корпусе параллельных предложений (на ИЯ и ПЯ) путем их последовательной обработки конечным набором логических правил.

GNMT на сегодня является одним из самых востребованных в мире автоматических переводчиков. Использование искусственной нейронной сети основывается на применении метода МП на основе примеров, т. е. система самообучается и со временем создает более качественные переводы, близкие к естественному языку. GNMT переводит предложения целиком, также система способна кодировать семантику предложения.

«Яндекс.Переводчик» представляет собой гибридную модель, сочетающую в себе технологии статистического и нейросетевого перевода. Как показывает практика, нейросеть не всегда справляется с переводом имен собственных, топонимов, неологизмов. Статистическая модель способна найти эти слова в параллельных текстах и «запомнить» их перевод. «Выбор лучшего перевода из полученных результатов обеспечивает технология CatBoost, в основе которой также лежит машинное обучение» [4, с. 72].

В качестве материала для оценки перевода мы вязли отрывок из романа Дж. Р. Р. Мартина «Пламя и кровь» (“Fire and Blood” by George R. R. Martin [8]), приквела саги «Песнь Льда и Пламени», написанном в жанре эпического фэнтези. Он был опубликован в 2018 г. и переведен на русский язык Натальей Исааковной Виленской [5]. Трудность перевода исходного текста заключается в его особых стилистических характеристиках [11]. Произведение Дж. Р. Р. Мартина нельзя назвать романом в прямом смысле этого слова. Автор придумал для описания жанра книги специальный термин «вымышленная история», а фанаты и вовсе назвали книгу «Джорджмартиллионом». Произведение выполнено в виде стилизованного под средневековые хроники описания трехвекового правления династии Таргариенов, написанное Гильдейном, мейстером Цитадели. Этот мейстер подошел к делу весьма ответственно и скрупулезно: он держит свое субъективное мнение при себе, не дает оценок, а описывает все события в точности так, как они происходили.

Так как вымышленный автор жил гораздо позже описываемых им событий, ему приходится полагаться на труды своих предшественников, такие как: записи и донесения мейстеров, воспоминания современников и другие исторические документы. В случае противоречивых данных мейстер перечисляет все версии произошедшего. Именно в такие моменты личность автора начинает «проникать» в повествование, поскольку кому-то из предшественников он доверяет больше, какие-то данные у него вызывают сомнения, некоторых он даже винит в неточности и «потворству собственным фантазиям».

Подобный прием стилизации сказывается на восприятии текста. Мейстер Гильдейн лаконичен и его повествование бывает «суховато», он не скупится на упоминание имен исторических персонажей, названий мест событий. Для «исторической точности» повествования в романе подробно описываются все географические, этнографические, мифологические реалии вымышленного мира. Автор предлагает читателю «сыграть в литературную игру». Нельзя точно сказать, в чем же был мотив того или иного героя романа «Пламя и кровь», какова истинная причина смерти некоторых персонажей: болезнь или отравление, в какой степени родства состоят некоторые герои. В силу ряда объективных причин мейстер Гильдейн не знает всего. В некоторых случаях он может только предполагать, что же произошло. Это наталкивает читателя на создание собственного объяснения событий.

Обратимся к нескольким примерам перевода предложений из выбранного нами отрывка:

• текст оригинала: “A common myth, oft heard amongst the ignorant, claims that Aegon Targaryen had never set foot upon the soil of Westeros until the day he set sail to conquer it, but this cannot be truth” [13, с. 11];
• перевод ChatGPT: «Общий миф, часто слышимый среди невежественных, утверждает, что Эйгон Таргариен никогда не ступал ногой на почву Вестероса до дня, когда он отправился завоевывать его, но это не может быть правдой»;
• GNMT: «Распространенный миф, часто встречающийся среди невежественных людей, утверждает, что Эйгон Таргариен никогда не ступал на землю Вестероса до того дня, как отправился покорять его, но это не может быть правдой»;
• «Яндекс.Переводчик»: «Распространенный миф, часто встречающийся среди невежд, утверждает, что нога Эйгона Таргариена никогда не ступала на землю Вестероса до того дня, когда он отправился покорять его, но это не может быть правдой»;
• Перевод Н. И. Виленской: «Расхожий миф, часто повторяемый невеждами, гласит, что до завоевания нога Эйегона ни разу не ступала на землю Вестероса. Это неправда» [5, с. 3].

Автор стилизует текст под средневековье с помощью лексических средств, использует слова среднеанглийского периода (например, в данном предложении встречается слово “oft”). ИИ не учитывает стилистические особенности текста, дает пословный перевод, следует принципу синтаксического уподобления, что приводит к его «расплывчатости», неясности. Профессиональный переводчик удачно улавливает авторский стиль и использует лексику необходимого регистра, создает возвышенное повествование, стилизует его под эпоху старины, а также делит предложение на две части для создания необходимого эмоционального окраса. ChatGPT использует для перевода “a common myth” словосочетание «общий миф», GNMT и «Яндекс.Переводчик» – «распространенный миф», а Наталья Исааковна – «расхожий миф», переводчик адекватно передает смысл после обращения к контексту, с чем нейросеть не справляется, ведь существует несколько версий одного события, на что и указывает автор. Также некорректным является построение ChatGPT фразы «никогда не ступал ногой на почву Вестероса». Переводчик использует устоявшуюся коллокацию «нога … ни разу не ступала на землю». С данной задачей также хорошо справляется GNMT и «Яндекс.Переводчик». Профессиональный переводчик использует сочетание «миф гласит», в то время как ИИ автоматически подставляет вариант «миф утверждает». Также в варианте Натальи Исааковны и «Яндекс.Переводчика» “the ignorant” переводится как «невежды», ChatGPT и GNMT дает менее удачные варианты: «невежественные», «невежественные люди».

Рассмотрим второй пример:

• текст оригинала: “As well, there are reliable reports of Aegon and his sister Visenya visiting the Citadel of Oldtown in their youth, and hawking on the Arbor as guests of Lord Redwyne” [13, с. 12];
• перевод ChatGPT: «Кроме того, есть достоверные сообщения о том, что Эйгон и его сестра Визения посещали Цитадель в Старом городе в своей молодости и охотились на Арборе в гостях у лорда Редвина»;
• GNMT: «Кроме того, есть достоверные сведения о том, что Эйегон и его сестра Висенья в юности посещали Цитадель Старого города и торговали в беседке в качестве гостей лорда Редвина»;
• «Яндекс.Переводчик»: «Кроме того, есть достоверные сообщения о том, что Эйгон и его сестра Висенья в юности посещали цитадель Староместа и охотились на сокола в Беседке в качестве гостей лорда Редвина»;
• Перевод Н. И. Виленской: «Есть также надежные свидетельства того, что Эйегон и Висенья в юности посещали Цитадель Староместа и бывали в Боре как гости тогдашнего лорда Редвина» [5, с. 3].

Предлагается несколько вариантов перевода фразы “there are reliable reports”: «есть достоверные сообщения», «есть достоверные сведения», «есть также надежные свидетельства». Наиболее удачным является последний перевод, предложенный профессиональным переводчиком, поскольку он больше соответствует регистру. Можно отметить различия в передаче имен собственных, хотя ИИ, как и переводчик, использует прием адаптивного транскодирования. Различия в переводе имен героев можно объяснить наличием нескольких вариантов их написания как на просторах Интернета, так и у разных профессиональных переводчиков. Более удачными является перевод реалии “Oldtown” как «Староместо», а не «Старый город», т. к. первый несет определенный стилистические оттенок, и “the Arbor” как «Бор», а не «Арбор», т. к. первый вариант более привычен для русскоязычного реципиента, к тому же на вымышленном острове действительно есть хвойные леса. Трудности возникают и при переводе слова “hawking”: «охотились», «торговали в беседке», «охотились на сокола» и «бывали». Действительно, в словарях можно встретить такие варианты перевода как «охотиться с ястребом или соколом», «торговать вразнос». Профессиональный переводчик использует слово «бывали» и делает перевод нейтральным. Учитывая контекст, ошибочными являются варианты, предложенные GNMT и «Яндекс.Переводчиком».

Обратимся к третьему примеру:

• текст оригинала: “He may have visited Lannisport as well; accounts differ” [13, с. 12];
• перевод ChatGPT: «Возможно, он также посетил Лэнниспорт; отчеты разнятся»;
• GNMT: «Возможно, он также посетил Ланниспорт; учетные записи различаются»;
• «Яндекс.Переводчик»: «Возможно, он также посещал Ланниспорт; версии разнятся»;
• Перевод Н. И. Виленской: «Он, возможно, побывал и в Ланниспорте, но на сей счет мнения разнятся» [5, с. 3].

Так как приквел «Пламя и кровь» вышел после публикации нескольких книг «Игры престолов», при переводе реалии “Lannisport” следует отталкиваться от устоявшегося варианта перевода фамилии владельцев данного города «Ланнистеры» и переводить данное слово как «Ланниспорт». Система GNMT ошибочно использует вариант перевода слова “accounts” – «учетные записи». Также заметно отступление от авторского стиля в переводе, выполненном ИИ: «отчеты разнятся». Переводчик использует добавление и придерживается заданного стиля: «но на сей счет мнения разнятся».

ВЫВОДЫ

Несомненно, основное преимущество МП состоит в том, что он осуществляется максимально быстро. Однако в отличие от компьютера человек имеет долгую практику коммуникации и перевода. В основе работы переводчика лежит его личность, выражающая его квалификацию и передающая трансляту индивидуальное своеобразие. Переводчик знакомится с творчеством автора текста через призму своего опыта и умения понять различные культуры. МП не способен на должном уровне выполнять когнитивную функцию при переводе, что обусловлено отсутствием у машины способности к личностному развитию, наличия эстетического вкуса, человеческой экспрессивной природой и мировоззренческого корпуса. Все это заменяется статистикой цитат, которые подходят только для массового потребления, и количеством переводческих совпадений. Уже существующие алгоритмы, которые могут воспроизводить определенные аспекты взаимодействия людей в обществе, распознать естественные человеческие эмоции в режиме реального времени, все еще не способны передать их адекватно при переводе.

Перевод художественного текста пока является недостижимой для ИИ задачей. На сегодняшний день компьютеры «не в состоянии угнаться за постоянно меняющимися оттенками значений и ассоциациями из сотен областей знаний» [9, с. 78]. Приходится заключить, что «универсализация машины играет с ней злую шутку, так как массовость целевой аудитории транслята машины подразумевает неизбежную потерю смыслов, что недопустимо с точки зрения теории перевода» [2, с. 193]. Переводчики, как и во все времена, «будут осуществлять перевод исходя из собственного эмпирического опыта, когнитивных возможностей, эстетического вкуса и объективных обстоятельств времени» [2, с. 195]. Это, разумеется, не отменяет полностью продуктивность переводческих возможностей ИИ: «фрагментарный ИИ может помогать успешным переводчикам заниматься своей деятельностью, дополняя классические способы получения ими информации» [2, с. 195]. Таким образом, можно предположить, что в процессе развития новейших цифровых технологий профессия переводчика не исчезнет, но будет видоизменяться. Основа работы переводчика будет строиться на способности функционировать в составе бинома «человек – ИИ», в котором человек займет роль «ведущего» по отношению к ИИ – «ведомому».

 References

1. Garbovskii N. K., Kostikova O. I. Intellekt dlya perevoda: iskusnyi ili iskusstvennyi [Intelligence in translation: artful and artificial?]. Vestnik Moskovskogo universiteta, 2019, no.4, pp. 3–25.
2. Gudkov N. N. Iskusstvennyi intellekt vs lichnost’ perevodchika: problema zameny zhivogo spetsialista tekhnologiyami budushchego v oblasti perevoda [Artificial intelligence vs translator’s personality: the problem of a living specialist with future technologies in the field of translation]. Aktual’nye problemy pedagogiki, psikhologii i perevodovedeniya: Sb. statei Mezhdunar. nauch.-prakt. konf. Petersburg, Asterion Publ., 2022, pp. 188–195.
3. Kislicyna N. N. Lingvokognitivnye parametry emocional’nogo intellekta [Linguistic and cognitive parameters of emotional intelligence]. Vestnik Pyatigorskogo gosudarstvennogo universiteta, 2018, no 3, pp. 198–
4. Kolin K. K., Khoroshilov A. A., Nikitin Yu. V., Pshenichnyi S. I., Khoroshilov A. A. Iskusstvennyi intellekt v tekhnologiyakh mashinnogo perevoda [Artificial intelligence in machine translation technologies]. Sotsial’nye innovatsii i sotsial’nye nauki, 2021, no. 2, pp. 64–80.
5. Martin Dzh. R. R. Plamya i krov’ [Fire and Blood]. Moscow, AST Publ., 2018. 279 p.
6. Norets M. V., El’kan O. B., Norets N. K. Vzaimodejstvie iskusstvennogo intellekta i cifrovoj lingvistiki [Interaction of artificial intelligence and digital linguistics]. Litera, 2024, no 4.
7. Norets M. V. Primenenie cifrovyh tekhnologij v perevodcheskoj deyatel’nosti [Application of digital technologies in translation activities]. Ezhegodnaya mezhdunarodnaya nauchnaya konferenciya Armyanskogo gosudarstvennogo pedagogicheskogo universiteta im. H. Abovyana, Armeniya. Erevan, 2023, pp 109–
8. Norets M. V., Norets N. K. Osnovy formirovaniya iskusstvennogo intellekta: kognitivnaya teoriya psevdolichnosti [Fundamentals of AI formation: cognitive theory of pseudo-personality]. Alma Mater (Vestnik vysshei shkoly), 2024, no. 2, pp. 70–75.
9. Rarenko M. B. Mashinnyi perevod: ot «perevoda po pravilam» k neironnomu perevodu (obzor) [Machine translation: from «rule-based translation» to neural translation (review)]. Sotsial’nye i gumanitarnye nauki. Otechestvennaya i zarubezhnaya literature, 2021, no. 3, pp. 70–79.
10. Rejnova A. V., Norets M. V. Osobennosti perevoda avtorskih neologizmov v romane Dzh. R. R. Martina «Plamya i krov’» [Features of the translation of the author’s neologisms in the novel by J. R. R. Martin “Fire and Blood”]. 21 vek: fundamental’naya nauka i tekhnologii: materialy XXXIII mezhdunarodnoj nauchno-prakticheskoj konferencii, Bengaluru, Karnataka,.2023, pp. 154–158.
11. Rejnova A. V., Norets M. V. Perevod avtorskih neologizmov v romane Dzh. R. R. Martina «Plamya i krov’» [Translation of the author’s neologisms in J. R. R. Martin’s novel “Fire and Blood”]. Perevodcheskij diskurs: mezhdisciplinarnyj podhod: materialy VII mezhdunarodnoj nauchno-prakticheskoj konferencii, Simferopol’, 2023, pp. 296–
12. Utegenov M. B. Iskusstvennyi intellekt na segodnyashnii den’ [Artificial intelligence today]. Universum: Tekhnicheskie nauki, 2022, no. 7, pp. 27–30.

Martin George R. R. Fire and Blood. New York, Bantam Books, 2018. 789 p.