Ген – элементарная единица наследственности, представляющая отрезок молекулы дезоксирибонуклеиновой кислоты – ДНК (у некоторых вирусов – рибонуклеиновой кислоты – РНК). Каждый ген определяет строение одного из белков живой клетки и тем самым участвует в формировании признака, свойства организма (фенотипа) или регулирует транскрипцию другого гена (регуляторные гены).

Генетика – наука о законах наследственности и изменчивости организмов.

Геном – совокупная генетическая информация, содержащаяся в генах организма, или генетический состав клетки.

Генотип – 1) вся генетическая информация организма (то же, что и геном); 2) характеристика организма по нескольким конкретным генам.

Групповой отбор – вызванное естественными факторами разбиение популяции на небольшие субпопуляции, ведущее к значительному повышению генетической неоднородности и конкуренции между локальными группами, и, как следствие, к ускорению эволюции.

Ландшафт приспособленности – поверхность, задаваемая функцией многих переменных, каждая из которых определяется состоянием некоторого гена. Эволюцию популяции можно представить, как движение по ландшафту приспособленности от долин (низкая приспособленность) к пикам (высокая приспособленность).

Мутации – внезапно возникающие в естественных условиях (спонтанные) или вызываемые искусственно (индуцированные) стойкие изменения генов.

Нейтральные мутации (гены) – мутации (гены), не влияющие на приспособленность организма.

Популяция – совокупность особей одного вида, более или менее длительно занимающая определённое пространство и воспроизводящая себя в течение большого числа поколений.

Приспособленность – характеристика успешности «борьбы за выживание» организма в процессе эволюции.

Родственный отбор – эволюционные механизмы, приводящие к возникновению кооперативного поведения между родственниками.

Фенотип – особенности строения и жизнедеятельности организма, обусловленные взаимодействием его генотипа с условиями среды.

Фенотипический признак – проявление отдельной особенности фенотипа.

Введение

Искусственная жизнь, как метод компьютерного моделирования нелинейных процессов

«Искусственная жизнь» – молодое междисциплинарное направление исследований. Предметом исследования искусственной жизни является эволюция[1] сложных систем, а основным методом – построение компьютерных моделей. Модели искусственной жизни находят свое применение в таких теоретических областях, как исследования возникновения жизни, биологической эволюции, коллективного поведения, социальной эволюции. Чтобы понять место искусственной жизни среди других методов рассмотрим основные этапы развития математического моделирования.

Возникновение математического моделирования в его современном виде связано с изобретением в XVI веке дифференциального исчисления Ньютоном. На первом этапе развитие теории было связано с методами интегрирования систем дифференциальных уравнений. При этом считалось, что любую систему, описывающую динамику, можно свести к интегрируемой. Это позволило решить огромное число задач механики, для которых имеется возможность построить интегрируемую систему, и заложить фундамент современной физики.

Следующий этап развития математического моделирования связан с проблемой неинтегрируемости системы трех взаимодействующих тел. Многочисленные попытки свести эту систему к интегрируемой оказались бесплодными, и были прекращены Брунсом и Пуанкаре в конце XIX века, доказавшими невозможность подобного преобразования. Открытие целого класса неинтегрируемых систем привело Пуанкаре к созданию качественной теории дифференциальных уравнений (теории динамических систем) для их исследования. Так как для неинтегрируемых систем невозможно получить аналитического решения, то объектом исследования теории динамических систем становятся качественные свойства решений, а не сами решения. Основным понятием новой теории стало понятие фазового пространства. Фазовое пространство состоит из точек, представляющих различные состояния системы, а его преобразования определяются динамикой системы. Фазовое пространство можно разбивать на области в зависимости от того, куда в конце концов попадают траектории начинающиеся в них. Множества в фазовом пространстве, «притягивающие» траектории, получили название аттракторов.

Качественная теория дифференциальных уравнений открыла дорогу широкому использованию нелинейных систем в физике. Исследования диссипативных процессов теплопроводности, диффузии, вязкости и т.д. в открытых нелинейных системах, привели к возникновению физики неравновесных систем [1] и синергетики [2]. Оказалось, что многие процессы в природе приводят к образованию диссипативных структур – стационарных распределений переменных, обладающих устойчивостью к возмущениям. Движение системы, ведущее к подобному стационарному распределению, получило название самоорганизации. На этом этапе в центре внимания нелинейной динамики оказались бифуркации – изменение числа и устойчивости решений (в частности, конфигураций диссипативных структур) при вариации параметров системы. Синергетика дала возможность моделирования образования пространственных структур, колебательных химических реакций, неравновесных систем и т.д.

Следующий период истории математического моделирования нелинейных систем связан с динамическим хаосом. Выяснилось, что простые уравнения могут порождать сложную динамику, важной характеристикой которой оказалась степень ее предсказуемости – горизонт прогноза [3]. Было показано, что существуют простые динамические системы, поведение которых на больших интервалах времени невозможно предсказать. Примером хаотического поведения является турбулентность, принципиально ограничивающая возможности прогнозирования погоды. Исследования в области динамического хаоса нашли практическое применение в таких областях, как создание генераторов шума, шифрование и компрессия данных.

Сегодня в математическом моделировании нелинейных процессов происходит становление новой парадигмы – парадигмы сложности. Ее появление вызвано нарастающей потребностью в создании моделей «сложных» систем: биологических, социальных, экономических, политических, исторических. Эта потребность не была полностью удовлетворена уже имеющимися инструментами моделирования, что повлекло за собой создание широкого междисциплинарного направления исследований, призванного синтезировать подходы нелинейной динамики, теории динамического хаоса и вычислительного эксперимента. Характерными свойствами объектов моделирования становятся: необратимость эволюции, редкие катастрофические события, высокая гетерогенность и адаптивность взаимодействующих элементов системы. Результаты исследований, собранных под «крышей» парадигмы сложности, уже вылились в ряд важных приложений, таких как искусственные нейронные сети в области управления и предсказания, генетические алгоритмы в области оптимизации.

Одно из основных теоретических течений в парадигме сложности – это искусственная жизнь. Исследования в рамках искусственной жизни являются продолжением пионерских работ по теории самовоспроизводящихся автоматов [4], игр автоматов [5] и компьютерного моделирования эволюции [6]. С момента своего возникновения, искусственная жизнь тесно связана с синергетикой и нелинейной динамикой, не случайно первый сборник статей в этой области вышел в журнале Phisyca D «Nonlinear Phenomena» [7]. И сегодня, синергетика, как междисциплинарный подход, и искусственная жизнь, как одно из направлений математического моделирования, широко используют представления о самоорганизации и динамических системах, и имеют общее направление движения [8,9]. Методы искусственной жизни активно используются в работах по моделированию эволюции когнитивных способностей животных [10], в областях эволюционной роботики и эволюционных вычислений [11].

Модели искусственной жизни относятся к классу многоагентных (“multi-agent”, “agent-based”) компьютерных моделей. Принципиальным отличием от других многоагентных моделей для них является обязательное наличие эволюции свойств агентов через наследование со случайными мутациями. Таким образом, метод искусственной жизни изначально является стохастическим, и его можно рассматривать, как подмножество методов Монте-Карло.

Потребность в моделях искусственной жизни возникает, когда из-за сложности и разнообразия поведения отдельных индивидуумов (например, в зависимости от локального окружения) сложно или невозможно получить систему уравнений, описывающих динамику популяции. В этом случае сами результаты компьютерных экспериментов могут помочь в поиске приемлемых аналитических моделей. Кроме того, многоагентное моделирование может быть использовано в качестве альтернативы или для верификации результатов численного решения системы уравнений.

Современная наука остро нуждается в новых инструментах для теоретических и прикладных исследований сложных систем. Искусственная жизнь, базирующаяся на эволюционной идеологии и синтезе методов нелинейной динамики, синергетики и компьютерного моделирования претендует на роль одного из таких инструментов.

Искусственная жизнь, как метод моделирования эволюции

Эволюционная теория оказала и продолжает оказывать значительное влияние не только на биологию, но и на другие области науки. Больцман утверждал, что, разрабатывая термодинамику, он пытался построить теорию аналогичную дарвиновской, но только в физике. В философской теории познания дарвинизм привел к эволюционной эпистемологии [12,13], а в экономике – к эволюционной экономике [14,15].

Классическая теория игр [16,17], ориентированная на поиск статической оптимальной стратегии, сначала была применена в теоретической биологии для моделирования эволюции в популяции [18-20], а затем полученные результаты были использованы и для развития самой теории игр, но уже в направлении исследования динамики стратегий. Эта ветвь теории игр называется эволюционная теория игр [21] (см. раздел 1.1.4, стр.23) и занимается динамической устойчивостью стратегий.

Эволюционная теория нашла свое применение и в исследованиях человеческого общества. В современных социальных науках сформировалось целое направление, прошедшее путь от «Агрессии» Лоренца [22] и «Социобиологии» Уилсона [23] до современных теорий коэволюции генов и культуры [24-26].

Математизация эволюционной теории началась в области генетики популяций в начале 20-го века [27-29] (см. раздел 1.1.1, стр.18). Вопрос, на который должна была ответить теория, можно сформулировать так: Каковы будут изменения в генетическом составе популяции при данной стратегии размножения и заданных постоянных значениях приспособленности для каждого гена?

При такой постановке вопроса, очевидный ответ состоял в том, что частота гена в популяции увеличивается со скоростью, пропорциональной приспособленности. Вероятно, неочевидность способа экспериментального определения приспособленности в совокупности с простотой модельных представлений привели к тому, что произошла подмена причины и следствия. Вместо дарвиновской логической цепочки – приспособленность определяет скорость воспроизводства вида – распространилось определение приспособленности, как скорости воспроизводства вида, – т.е. скорость воспроизводства вида есть приспособленность [30].

Положение дел начало меняться при заимствовании метода теории игр и создании эволюционной теории игр. В эволюционной теории игр воспроизводство вида определяется значением выигрыша некоторого вида при взаимодействии с другими видами в популяции. Таким образом, проблему эволюционной теории игр можно сформулировать следующим образом: Какова будет динамика частот стратегий в популяции при заданных результатах взаимоотношений между стратегиями (матрице выигрышей)?

Понятие приспособленности при таком подходе утрачивает смысл, вкладываемый в него популяционной генетикой. Рассмотрим динамику в некоторой популяции: пусть после некоторого переходного периода в популяции устанавливается эволюционно устойчивое распределение по стратегиям. Логично считать, что именно в этом состоянии все виды наиболее приспособлены друг к другу. Однако такое состояние совсем не обязательно гарантирует максимизацию среднего по популяции выигрыша. И как не парадоксально, но стратегии, обеспечивающие разный выигрыш, имеют (в смысле классической популяционной генетики) одинаковые относительные и абсолютные приспособленности (равные нулю и единице соответственно)!

Основное уравнение эволюционной теории игр – уравнение репликации:

где x_i – частота i-ой стратегии, a_ij – выигрыш i-ой стратегии при взаимодействии с j-ой стратегией (подробнее про уравнение репликации см. стр. 23). Это уравнение эквивалентно уравнению Лотки-Вольтерры [31,32] (подробнее про уравнение Лотки-Вольтерры см. раздел 1.1.2, стр.21), которое используется для моделирования экологических взаимодействий. Ни уравнение репликации, ни уравнение Лотки-Вольтерры не требует введения понятия приспособленности. В первом случае эволюция определяется матрицей выигрышей, а во втором – скоростью воспроизведения вида и матрицей его взаимодействий с другими видами. Это наводит на мысль о том, что понятие приспособленности не является необходимым при моделировании эволюционной динамики, которая сводится к исследованию возможных путей движения эволюционирующей системы от одного относительно устойчивого динамического режима к другому [33,34]. Несмотря на это, обычной практикой является использование понятия приспособленности при рассмотрении любых эволюционных моделей, включая эволюционную теорию игр и уравнение Лотки-Вольтерры [35].

В развитии современной эволюционной теории можно проследить переход от вопросов, связанных с эволюцией популяции на заданном ландшафте приспособленности[2], к вопросам о том, как зависит ландшафт приспособленности от взаимодействий между различными особями и внешних условий. Это нашло отражение в постепенном включении в эволюционную теорию сначала моделей родственного отбора[3] [36-38], группового отбора[4] [38-40] и неслучайных взаимодействий[5] [41-43], затем пространственной структуры популяции [44,45].

Появление сложных эволюционных моделей привело к широкому использованию компьютерного моделирования и созданию отдельного направления исследований, которое получило название искусственная жизнь [7,46-47]. В искусственной жизни эволюционирующая система задается исходя из некоторой «элементарной аксиоматики», определяющей физические свойства мира, «заселенного» агентами, и свойства самих агентов. Агенты способны размножаться и гибнуть, в течение жизни поведение отдельного агента определяется алгоритмом, унаследованным от родителей. При наследовании алгоритм передается потомку не точно, а с ошибками, играющими роль, аналогичную биологическим мутациям (подробнее про отличие искусственной жизни от других подходов к моделированию эволюции см. раздел 1.1.6, стр.28).

Применение искусственной жизни позволяет подвергнуть теоретические эволюционные концепции более жесткому тесту. Так, в исследованиях эволюции кооперации, базирующихся на наиболее распространенном сегодня подходе теории игр, репертуар возможных взаимодействий между агентами очень беден, обычно агент может выбрать одно из двух действий – кооперироваться или не кооперироваться с текущим партнером. Искусственная жизнь позволяет смоделировать эволюцию популяции с гораздо более широкими и естественными возможностями для взаимодействия агентов, что дает гораздо более широкий спектр стратегий поведения агентов. Учитывая, что сегодня в области искусственной жизни не существует моделей эволюции родственной кооперации, в качестве задачи для моделирования в данной работе была выбрана проблема эволюции кооперации основанной на наследуемых маркерах.

Модель, предложенная в работе, позволяет исследовать не только конкуренцию малого количества заранее заданных кооперативных и эгоистических стратегий поведения (единицы стратегий), но сам сценарий возникновения кооперативных стратегий (всего возможно более 10¹⁰⁰⁰ различных стратегий) и то, какие из кооперативных стратегий будут отобраны эволюцией.

Несмотря на все сложности с анализом моделей искусственной жизни, сегодня они популярны не только в биологии, но и в социальных науках [48-50]. Среди других биологических систем человеческие сообщества обладают наибольшей гетерогенностью агентов и сложностью их индивидуального поведения. Как уже говорилось выше, это затрудняет построение моделей традиционными методами. Однако использование искусственной жизни для исследования социальных систем, также как и любого другого подхода в данной области, не позволяет избежать трудностей с корректностью построения модели и интерпретацией результатов.

Для того чтобы исследовать возможность использования искусственной жизни для моделирования реальных социальных систем, в работе была предпринята попытка построить модель для предсказания основных характеристик и динамики эволюции в примитивных эгалитарных сообществах охотников-собирателей и ранних земледельцев.

Важной задачей раздела биологии, занимающегося адаптивным поведением, является понимание механизмов эволюционного возникновения целенаправленного поведения и его эволюционной устойчивости. Возникновение целенаправленности можно рассматривать, как один из важнейших этапов эволюционного развития когнитивных способностей организмов [10]. Метод искусственной жизни является одним из наиболее адекватных инструментов для исследования этой проблемы благодаря своей ориентированности на эволюцию и адаптивность поведения отдельных агентов. Это обусловило выбор проблемы эволюции целенаправленного поведения в качестве объекта для моделирования в данной работе.

Как и при исследовании других моделей, основной задачей при работе с моделями искусственной жизни является изучение зависимости решения (результатов моделирования) от параметров модели и начальных условий. При этом получение данных о поведении многоагентной системы затруднено необходимостью привлечения значительных вычислительных ресурсов. Это один из недостатков моделей искусственной жизни. К тому же для подобных моделей не всегда сразу очевидна связь начальных допущений с результатом, так как динамика эволюционирующей системы определяется процессами самоорганизации. Для выявления связи начальных допущений модели с получаемым поведением требуются дополнительные вычислительные эксперименты, что приводит к увеличению времени, требуемого для исследования.

Кроме перечисленных выше принципиальных недостатков моделей искусственной жизни, можно выделить следующие основные проблемы, возникающие при работе с подобными моделями по причине слабой разработанности данной области исследований:

· Отсутствие общепринятых правил формального описания моделей. Это отрицательно влияет на понимание результатов моделирования и приводит к отсутствию адекватной оценки работ как внутри сообщества исследователей моделей искусственной жизни, так и за его пределами. Одним из перспективных путей решения проблемы являются исследования по воспроизводимости результатов при реализации одной и той же модели на разных языках программирования, для разных платформ, разными людьми [51].

· Отсутствие эффективных методов анализа результатов моделирования. И хотя в настоящее время начинают развиваться методы исследования динамики подобных моделей, например, эволюционные статистики [52], но потребность в новых эффективных методах анализа результатов остается высокой.

· Отсутствие желаемого объема опыта по прикладному моделированию и интерпретации результатов вычислительных экспериментов.

Задачи, решаемые в диссертационной работе

Проблемы и подходы, перечисленные в предыдущем разделе, определили следующие задачи данной работы:

1. Построение и исследование эволюционной компьютерной модели возникновения кооперации агентов.

2. Моделирование социальной эволюции в примитивных сообществах охотников-собирателей и ранних земледельцев.

3. Разработка компьютерной модели эволюции целенаправленного поведения.

4. Разработка и формальное описание некоторого класса и конкретной модели искусственной жизни.

5. Разработка методов измерения и визуализации динамики эволюционных компьютерных моделей.

Структура диссертации

Работа состоит из введения и четырех глав.

В первой главе дается ретроспективный обзор существующих подходов к моделированию эволюции, начиная с классической популяционной генетики и заканчивая эволюционной теорией игр. Затем приводится оригинальная формализация некоторого класса моделей искусственной жизни. Изложенная в первой главе формализация облегчает описание и анализ конкретных моделей искусственной жизни и используется в работе при разработке методов исследования динамики эволюционных многоагентных моделей.

Заключительный раздел первой главы посвящен методам анализа результатов вычислительных экспериментов с многоагентными эволюционными системами. В первой части раздела дается краткий обзор наиболее популярного на сегодня метода исследования компьютерных эволюционных моделей – эволюционных статистик. Во второй части излагаются методы анализа результатов моделирования, основанные на новом, предложенном в данной работе, подходе. Этот подход заключается в представлении об эволюционирующей популяции агентов как о динамической системе, для которой проводится поиск траекторий в различных фазовых пространствах, а затем их анализ. Методы исследования эволюционных многоагентных моделей, предложенные в данном разделе, были использованы для анализа результатов компьютерных экспериментов с моделью родственного отбора.

Во второй главе рассматривается проблема моделирования эволюции кооперативного поведения. В начале главы дается обзор основных моделей эволюции кооперации: групповой отбор, взаимность, неслучайные взаимодействия, родственный отбор. Затем излагается оригинальная модель искусственной жизни. Предложенная модель позволяет исследовать эволюционное возникновение и развитие кооперации, вызванные родственным отбором (в модели реализован через наследуемость маркера родственности) и неоднородностью пространственных взаимодействий (возможность изменения агентом своего положения в пространстве). В главе приводятся результаты моделирования и их анализ. Демонстрируется, что использованный подход дает возможность детального исследования эволюции стратегий, и приводит к выявлению новых стратегий кооперации, не исследовавшихся раннее.

Третья глава посвящена моделированию примитивных обществ охотников-собирателей и ранних земледельцев. В главе представлен краткий обзор эволюционных теорий в социальных науках, дана антропологическая интерпретация модели кооперации и проведено сопоставление предсказаний, вытекающих из результатов моделирования, с данными о реальных обществах из этнографических и антропологических источников, а также этнографической базы данных. Показано, что поведение модели по рассматриваемым характеристикам адекватно примитивным сообществам.

Четвертая глава содержит изложение модели эволюции целенаправленного поведения и результатов вычислительных экспериментов с ней. В главе показывается, что мотивации играют важную роль в формировании адаптивного поведения.

Глава 1. Моделирование эволюции

1.1. Основные подходы к моделированию эволюции

1.1.1. Классическая популяционная генетика

Математический аппарат эволюционной теории начал развиваться с начала ХХ-го века в области популяционной генетики. Основы классической математической популяционной генетики были заложены Фишером [27], Холдейном [28] и Райтом [29].

Классическая популяционная генетика рассматривает вопрос о том, как будет изменяться число N_A особей носителей гена A в популяции, при заданной вероятности достижения репродуктивного возраста v_A, и средней численности потомства f_A для особи носителя данного гена. Ожидаемое число потомков тогда будет равно v_Af_A – это произведение называется абсолютной приспособленностью гена A, и обозначается W_A. Будем считать, что приспособленность гена является постоянной. Зная численность носителей гена A в поколении t, численность для поколения t+1, очевидно, записывается следующим образом:

N_A(t+1) = W_AN_A(t). (1.1)

Для того чтобы равенство выполнялось нужно, чтобы популяция была бесконечной численности.

Обычно в эволюционных моделях рассматривается конкуренция нескольких альтернативных типов особей. Пусть, например, популяция состоит из n различных генотипов с частотами p_i и абсолютными приспособленностями – W_i, тогда для i-ой частоты имеем:

, (1.2)

где – средняя абсолютная приспособленность в популяции поколения t. Перейдем от абсолютных приспособленностей к относительным (w) посредством нормировки относительно одной произвольно выбранной абсолютной приспособленности:

. (1.3)

Изменение частоты i-го генотипа при смене поколений равно:

, (1.4)

а изменение средней приспособленности:

, (1.5)

, (1.6)

где Var(w) – дисперсия. Так как в (1.6) справа стоит неотрицательная величина, то средняя относительная приспособленность в популяции должна возрастать до тех пор, пока дисперсия не обратиться в нуль, т.е. все особи не будут генетически идентичными. Это значит, что при наличии вариации в приспособленности естественный отбор приводит к росту средней приспособленности в популяции.

Выражение (1.6) является главным результатом классической популяционной генетики и иногда называется основной теоремой естественного отбора, или теоремой Фишера.

Базовая модель, изложенная выше, дает сильный теоретический результат, но ее использование для описания эволюции в реальных популяциях требует введения многочисленных дополнительных допущений.

Основные факторы, влияющие на изменение частот генов в популяции, можно свести к следующему списку:

· Аллелизм. В геноме большинства видов организмов имеется больше одного варианта каждого гена. Наибольший интерес представляет диплоидность – существование в геноме двух (необязательно различных) вариантов для каждого гена, т.е. двойной набор хромосом.

· Пол. Частота в популяции и приспособленность особей разного пола может различаться; таким образом, изменение частоты гена зависит от его распределения по половым группам.

· Мутации. На изменение частоты гена в популяции влияет не только его приспособленность, но и мутации. В базовой модели популяционной генетики мутации отсутствуют.

· Конечная численность популяции. В действительности размер популяции всегда конечен. При малых размерах изолированной популяции может происходить распространение и фиксация нейтральных и даже неадаптивных генов [29].

· Миграции. Генетический состав популяции может изменяться не только за счет процессов, происходящих внутри популяции, и отбора, но также и за счет миграции особей из соседних популяций.

· Зависимость приспособленностей генов от их частот в популяции. В базовой модели приспособленность гена не изменяется от поколения к поколению. В действительности она может зависеть от текущих частот других генов в популяции.

· Неслучайные взаимодействия между особями. В базовой модели популяционной генетики взаимодействия между особями случайны, в действительности они зависят от пространственной структуры популяции и фенотипических признаков особей.

· Возрастная структура популяции. Организмы размножаются в определенном интервале возрастов, это приводит к тому, что изменение частоты гена зависит от возрастной структуры популяции.

1.1.2. Динамика популяций

Параллельно с появлением математических моделей в популяционной генетике, была предложена модель, нашедшая широкое применение в популяционной динамике, и получившая название системы Лотки-Вольтерры [31,32]. Система предназначена для описания взаимодействия нескольких различных популяций. В общем виде ее можно представить следующим образом:

, (1.7)

где ,

, , , ,

и b_i > 0, A_ii > 0 для всех . Если мы будем интерпретировать (1.7), как модель взаимодействия видов, то x_i будет обозначать численность i-го вида, b_i – скорость роста его численности, A_ij – воздействие j-го вида на численность i-го. Тип взаимоотношений между i-ым и j-ым видами в модели определяются знаками, соответствующих элементов матрицы A, что дает три возможных типа:

· A_ij < 0, A_ji < 0 – кооперативные взаимоотношения;

· A_ij > 0, A_ji > 0 – конкуренция;

· A_ij > 0, A_ji < 0 или A_ij < 0, A_ji > 0 – «хищник-жертва».

Когда система (1.7) состоит только из двух уравнений (n = 2), модель обладает достаточно простой динамикой. Если взаимоотношения между видами кооперативные или конкурирующие, то все траектории сходятся к устойчивой точке. Подобная динамика характерна и для взаимоотношений «хищник-жертва» (см. рис. 1), за исключением некоторых вырожденных случаев, когда траектория состоит из концентрических периодических орбит вокруг особой точки в фазовом пространстве.

Задача полной классификация динамики системы Лотки-Вольтерры для трехмерного случая (n = 3) неразрешима [53], не говоря уже о более высоких размерностях. Исследование частных случаев и численные эксперименты показывают наличие периодических орбит и хаоса.

До настоящего времени модель Лотки-Вольтерры широко используется при моделировании эволюции экосистем [54,55].

Рис. 1. Типичная траектория решения системы Лотки-Вольтерры в фазовом пространстве при n = 2.

1.1.3. Модели молекулярной эволюции

Модели классической популяционной генетики и Лотки-Вольтерры описывают эволюцию на уровне популяции, но в эволюционной теории важную роль играют процессы эволюции и на молекулярном уровне. Основное применение моделей молекулярной эволюции лежит в области исследований зарождения жизни и ранней эволюции. Сегодня, наиболее значимой моделью эволюции макромолекул является модель квазивидов Эйгена [56-58]. В этой модели динамика концентраций x_i(t) молекул n видов описывается следующей системой:

, (1.8)

где f_i – скорость репликации i-го типа молекулы; q_ij – вероятность мутации молекулы из типа i в тип j; – средняя скорость репликации. Система (1.8) задает сеть химических реакций, в которой при определенных условиях могут возникать устойчивые состояния, характеризуемые некоторым устойчивым распределением концентраций молекул. Такие распределения называются квазивидом [57, стр. 39]. На основе модели квазивидов Эйгеном была выдвинута гипотеза о решающей роли циклических цепочек реакций – гиперциклов в процессе возникновения жизни [57]. Сегодня теория гиперциклов активно применяется, как для теоретических исследований возникновения жизни [59,60], так и в современных биотехнологиях, и при разработке самовоспроизводящихся наносистем.

1.1.4. Эволюционная теория игр

Применение методов теории игр [16] в эволюционной теории [18,19] стало значительным шагом и к настоящему времени оформилось в отдельное крупное направление исследований [20,61]. В нашей стране применение теории игр в биологии было начато Михаилом Львовичем Цетлиным еще в 1964 году [5]. К сожалению, эти его работы не получили должного развития.

Классическая теория игр была разработана для моделирования экономических систем. В ней рассматривается отдельный рациональный индивидуум, или «игрок», который, находясь во взаимодействии, или в «игре», с другими игроками, должен выбрать одно из возможных действий, или «стратегий». Каждый игрок обладает целью – максимизировать свой «выигрыш», который зависит от стратегий других игроков. Эволюционная теория игр имеет дело с популяцией игроков, каждый из которых обладает одной из возможных стратегий. Популяция игроков, в которой происходит наследование стратегий, эволюционирует, при этом частота некоторой стратегии в следующем поколении увеличивается пропорционально выигрышу игроков, придерживающихся ее в текущем поколении.

Рассмотрим популяцию, в которой каждый из игроков может иметь одну из n стратегий. Обозначим x_i частоту i-ой стратегии, и a_ij – выигрыш i-ой стратегии при взаимодействии с j-ой стратегией. Выигрыши для пар стратегий составляют матрицу выигрышей A, в эволюционной теории игр эта матрица является симметричной (a_ij = a_ji). Уравнение, задающее динамику частот стратегий в популяции со случайным взаимодействием игроков, в эволюционной теории игр называется уравнением репликации (replicator equation) [21]:

. (1.9)

Уравнение репликации постулирует изменение частоты i-ой стратегии со скоростью, пропорциональной разности среднего выигрыша этой стратегии и среднего выигрыша по популяции.

Классификация фазовых портретов для уравнения репликации размерности n аналогична классификации для уравнения Лотки-Вольтерры размерности n-1, так как первое эквивалентно второму. Покажем это. Пусть , тогда при помощи подстановки x_i = y_i / (1+y) для i = 1,...,n-1 и x_n = 1 / (1+y) (1.9) сводится к (1.7) [20].

В эволюционной теории игр, также как и в классической, можно определить равновесие Нэша. Пусть симплекс (размерности n-1) является множеством всех возможных составов x = (x₁,…,x_n) популяции (при условии и ). Точка является равновесием Нэша, если выполняется условие:

, (1.10)

где A – матрица выигрышей. Для эволюционной теории игр остается в силе теорема Нэша о существовании хотя бы одной точки равновесия Нэша в любой игре [62].

В эволюционной теории игр условие равновесия Нэша дополняется условием устойчивости этого равновесия [63,19]. Стратегия, удовлетворяющая обоим условиям (равновесия и устойчивости) называется эволюционно устойчивой стратегией (evolutionary stable strategy, ESS). Стратегия является эволюционно устойчивой, если выполняются следующие условия:

(i) (равновесие Нэша) и

(ii) , если .

В отличие от классической популяционной генетики в эволюционной теории игр рассматривается изменение частот стратегий поведения (фенотипов), а не генов. Другим важным отличием является то, что в последней выигрыш каждой стратегии зависит от состава популяции, т.е. от частот других стратегий, тогда как в классической популяционной генетике приспособленности генов обычно являются константами.

Эволюционная теория игр – один из основных математических инструментов современной биологии [61], позволяющий моделировать различные эволюционные феномены такие как половой отбор[64], влияние неслучайности взаимодействий [43] и пространственной структуры популяции на эволюцию [44,45].

1.1.5. Макроэволюционные модели

Объектом исследования представленных выше подходов к моделированию эволюции являются процессы, протекающие на уровне популяции. Но не меньший интерес представляют и вопросы макроэволюции, такие как филогенез или вымирания видов.

Одна из наиболее известных моделей эволюции видов была предложена Кауффманом [10,65-67] под названием NK-модели. В этой модели приспособленность отдельного вида определяется его геномом, который представлен N генами. Если обычно в эволюционных моделях считается, что вклад каждого гена в приспособленность независим от состояния других генов, то в NK-модели влияние гена на общую приспособленность всего генома зависит от K случайно выбранных генов того же организма. Изменяя длину генома и степень связности генов, можно получить разную степень изломанности ландшафта приспособленности, по которому двигается вид под действием мутаций. В тривиальном случае, когда K = 0, каждый ген может оптимизироваться эволюцией отдельно, и ландшафт приспособленности имеет единственный глобальный оптимум. При K = N-1 ландшафт полностью покрыт мелкими локальными оптимумами, и корреляция между величиной мутаций и степенью их влияния на общую приспособленность отсутствует.

Для исследования макроэволюции базовая NK-модель дополняется взаимодействием между видами. В расширенном варианте модели (NKCS-модель) каждый ген одного из видов связан не только с K генами своего вида, но и с C случайно выбранными генами каждого из S других видов (всего видов может быть больше чем S). В зависимости от изрезанности ландшафта приспособленности (значения K) в модели наблюдаются два основных типа эволюции. При высоких значениях K каждый вид быстро скатывается в локальный оптимум и эволюция «замораживается». При низких значениях K система пребывает в «хаотическом» состоянии, т.к. виды двигаются по склону достаточно глубоких оптимумов, постоянно влияя на ландшафты друг друга. Однако, наиболее интересную динамику система демонстрирует при некотором критическом значении K_C ≈ CS на границе между «хаосом» и «порядком». В этом режиме события («лавины» вымирания видов) становятся распределенными по степенному закону, такой тип распределения соответствует распределению, наблюдаемому в палеонтологической летописи [68,69] (см. рис.2, показатели степени для модели и экспериментальных данных различаются). К сожалению, модель не дает ответа на вопрос о причинах, которые должны привести систему в критическое состояние. Авторы модели выдвинули предположение, что в процессе биологической эволюции осуществляется отбор организмов с K близкими к K_C, т.к. такие виды достаточно устойчивы, но при этом быстро адаптируются (эволюционно) к изменяющимся условиям.

Рис. 2. Распределение числа вымерших за стратиграфический период известных семейств морских организмов в течение Фанерозоя по числу периодов (показатель степенного распределения 2.00.2) (а) и распределение масштаба вымираний по частоте в NKCS-модели (показатель степенного распределения 1) (б) [69].

Однако, самой красивой макроэволюционной моделью на сегодня является модель Бака и Снэппена [70]. Сама модель может быть описана при помощи пары предложений:

«На окружности расположены случайно выбранные числа. На каждом шаге наименьшее из всех чисел и пара его соседей по окружности заменяются на новые случайные числа.» [68, с. 138]

Случайные числа в модели интерпретируются, как значения приспособленностей видов. Таким образом, на каждом шаге вид с наименьшей приспособленностью вымирает, а вместе с ним и два других вида, наиболее тесно связанных с ним. Число видов предполагается неизменным, и освободившиеся «экологические ниши» заполняются новыми видами со случайными приспособленностями. Модель Бака и Снэппена также, как и NKCS-модель демонстрирует критическое поведение, но в отличие от последней самоорганизуется в критическое состояние.

Поведение критических макроэволюционных моделей внесло значительный вклад в понимание возможных причин глобальных вымираний видов. Если раньше наиболее вероятной причиной таких вымираний считались глобальные катаклизмы внешней по отношению к биосфере природы, то теперь стало ясно, что «лавины» вымираний могут быть следствием внутренней динамики глобальной экосистемы. (Подробный обзор критических моделей макроэволюции можно найти в [69,71].)

1.1.6. Искусственная жизнь

Данная диссертация посвящена моделированию эволюционных процессов при помощи искусственной жизни. Модели этого класса предназначены для исследования эволюции в популяциях и представляют собой развитие методов эволюционной теории игр. Важным отличием искусственной жизни от других подходов к моделированию эволюции является то, что это направление было изначально ориентировано на компьютерное моделирование как основной инструмент исследования [7]. Это значительно облегчило построение моделей с богатым спектром сценариев эволюционного развития. Основные отличия искусственной жизни от основных методов эволюционной биологии – теории игр и популяционной генетики заключаются в следующем:

· моделирование как генотипа, так и фенотипа. В популяционной генетике фенотип вынесен за скобки, исследуются только изменения генных частот. Напротив, в эволюционной теории игр генотип отсутствует, а моделируется динамика фенотипических признаков – стратегий. В искусственной жизни агент имеет и генотип, определяющий фенотипические признаки, и фенотип, от которого зависит выживание агента. Наличие, как генотипа, так и фенотипа позволяет исследовать, как отображение из первого во второй влияет на эволюцию.

· разнообразие генетических операторов. Так как каждый из агентов в искусственной жизни обладает достаточно сложным набором генов, то становится возможным изучение влияния различных генетических операторов (мутаций, кроссовера и инверсий) и типов размножения (бесполое и половое) на эволюцию.

· широкий спектр игр – ситуаций. В эволюционной теории игр обычно рассматриваются игры, в которых каждый из игроков может сделать один из двух ходов, например, кооперироваться или не кооперироваться. В искусственной жизни репертуар действий агентов и изменений во внешней среде гораздо разнообразней, что создает большее число ситуаций, в которых агент вынужден выбирать то или иное действие.

· разнообразие стратегий поведения. Значительное число ситуаций, в которых может находиться агент, и действий, которые он может совершать, вынуждает использовать «интеллектуальные» алгоритмы для управления поведением агента, такие как искусственные нейронные сети или нечеткую логику.

К сожалению, богатство динамики моделей искусственной жизни значительно осложнило анализ и интерпретацию результатов численных экспериментов. Слабая проработанность этого вопроса является основным недостатком искусственной жизни сегодня. Для преодоления этой «болезни роста» необходимо накопление более широкого опыта применения данного класса моделей в различных областях науки.

1.2. Формализация некоторой модели искусственной жизни

Модели искусственной жизни концептуально близки к моделям коллективного поведения автоматов, что позволяет позаимствовать стиль описания из теории автоматов [5].

Рассмотрим популяцию P агентов A, эволюционирующую в среде U. Поведение отдельного агента A задается следующим образом:

(1.11)

(1.12)

здесь j – вектор внутренних состояний агента A; s – вектор входных переменных; f – выходная переменная. В уравнениях (1.11) и (1.12) переменная t имеет смысл времени и принимает целочисленные значения t = 1, 2, . . . Значения входных переменных s определяются текущим состоянием, окружающей агента среды. Будем считать, что выходная переменная f принимает n дискретных значений f₁, f₂, . . . , f_n, и называть эти значения действиями. Так, если в момент времени t выходная переменная принимает значение f(t) = f_k, мы будем говорить, что в момент t агент A произвел действие f_k.

Определим зависимость внутреннего состояния j_i(t) агента A от входных переменных s(t) как взвешенную сумму, тогда выражение (1.11) принимает вид:

j(t) = Ws(t), (1.13)

где W – матрица весов, компоненты которой могут принимать значения из некоторого ограниченного интервала [-W_max;W_max]. Для удобства в работе рассматриваются агенты, у которых число внутренних состояний j_i равно числу возможных действий n, что позволяет определить (1.12) следующим образом:

f(t) = f_k, , i = 1, 2, . . . , n. (1.14)

Будем считать, что каждый агент A популяции P обладает ресурсом r. Изменение значения ресурса агента зависит от его действий:

, где . (1.15)

Коэффициент k_i имеет отрицательное значение, если действие приводит к уменьшению ресурса агента, и положительное в противном случае.

Для каждого момента времени t после вычисления действий и изменений значений ресурсов для всех агентов популяции P отбираются агенты, значение ресурса у которых меньше или равно нулю , эти агенты считаются погибшими и не учитываются в последующие моменты времени.

Для обеспечения воспроизводства популяции в репертуаре действий агента имеется действие "делиться" f_d. Если агент A_p (родитель) совершает действие f_d, то в популяцию P добавляется новый агент A_o (потомок). Матрица весов потомка W^o формируется на основе матрицы весов родителя W^p следующим образом:

W^o_i_,_j = W^p_i_,_j + ξ_i_,_j, (1.16)

где ξ_i_,_j – случайная величина, имеющая равномерное распределение на интервале [-p_ξ;p_ξ]. Выражение (1.16) задает мутационный процесс с амплитудой мутаций p_ξ. Будем называть матрицу W – генотипом агента A, отдельный элемент матрицы W_ij – геном, а конкретное значение отдельного элемента – аллелем. Стратегией поведения агента A или его фенотипом будем называть отображение из пространства входных в пространство выходных переменных (действий), задаваемое (1.11) и (1.12).

Взаимодействие между агентами определяется топологией среды U. Основу U составляет ограниченное множество дискретных клеток, в которых могут находиться агенты A. Топология U накладывает ограничения на возможные переходы агентов между клетками. Для того чтобы смоделировать эволюцию популяции на плоскости, в предложенной модели клетки среды были помещены в узлы двумерной прямоугольной сетки, натянутой на тор. Таким образом, за один такт времени агент мог переместиться в одну из четырех соседних клеток среды U.

1.3. Методы анализа эволюционных многоагентных моделей

При изучении эволюции в многоагентных системах встает вопрос о том, как измерить изменения, происходящие в них. На сегодня наиболее популярным способом анализа эволюционных процессов в компьютерных экспериментах является исследование динамики приспособленности агентов, и ее зависимости от параметров модели.

В эволюционных моделях классической популяционной генетики приспособленность определяется однозначно, но подобная однозначность практически недостижима при исследовании реальных биологических систем или сложных компьютерных моделей эволюции типа искусственной жизни. В последнем случае в качестве меры приспособленности обычно используется величина, которая, по мнению исследователя, отражает "успех" выживания агентов. В качестве таких величин могут выступать скорость размножения, размер популяции или количество ресурса, извлекаемого агентами из среды.

Трудности с использованием классической приспособленности состоят в том, что она зависит от многих переменных a priori не известным для исследователя образом. Для того чтобы получить представление об этой зависимости, можно построить ландшафт приспособленности (адаптивный ландшафт) (примеры можно найти в работах [72-76]). Концепция ландшафта приспособленности для аллельных частот была предложена Райтом в 1932 г. [77]. В современных компьютерных эволюционных моделях размерность в пространстве генотипов обычно очень велика, поэтому ландшафт приспособленности строят в пространстве наиболее интересных, с точки зрения исследователя, или агрегированных параметров. Пример ландшафта приспособленности с отображенной на нем траектории эволюции системы из работы [76] приведен на рисунке 3.

Рис. 3. Схематическое изображение ландшафта приспособленности с эволюционной траекторией [77] (a) и ландшафт приспособленности, полученный при компьютерном моделировании [76] (б), по осям, лежащим в плоскости рисунка, отложены значения двух фенотипических признаков, высота точки над плоскостью определяется приспособленностью особи с данными значениями признаков.

Альтернативный подход, развиваемый в работах Бедо [52,78-81], получил название эволюционных статистик.

Основным понятием в эволюционных статистиках является активность (activity counter) a^C компонента c, которая определяется следующим образом:

, (1.17)

где t – время, D^С_init(c) – начальное значение активности в момент t_c появления компонента в системе, D^С(c,t) – величина на которую увеличивается активность в течение такта t. В эволюционных статистиках компонентами, для которых отслеживается активность, могут быть отдельные гены, генотипы целиком или фенотипы. Так, если в качестве компонентов выбраны генотипы, то начальная активность D^С_init(c_o) генотипа c_o, впервые появившегося в популяции в момент , может приравниваться активности D^С(c_p,) генотипа родителя c_p, а приращение D^С(c_o,t) можно считать равным единице если в популяции присутствует хотя бы один агент с генотипом c_o, и нулю в противном случае. Приращение активности не обязательно должно оставаться постоянным для различных моментов времени, например, оно может быть определено, как количество данных компонентов в популяции в данный момент времени.

В типичных эволюционных компьютерных экспериментах зависимость активности от времени принимает форму "волн активности", возникающих при появлении компонента в популяции, и обрывающихся при его исчезновении (рис. 4).

Использование активности, как меры адаптивности компонента эволюционирующей системы, позволяет избежать проблем с определением его приспособленности. Хотя рост активности показывает, что компонент не устраняется из популяции отбором, но при этом не дает информации о том, какие компоненты являются адаптациями, а какие нейтральны. Авторы предложили оригинальный способ исключения активности нейтральных компонентов из общей активности, основанный на построении нейтральной копии исследуемой модели. Нейтральная копия отличается от исходной модели тем, что в ней выбор агентов, которые погибнут или принесут потомство в данный момент времени, осуществляется случайно, таким образом, исключается действие отбора в популяции. Для того чтобы синхронизировать исходную и нейтральную модели, акты гибели и размножения в последней привязываются к аналогичным актам в первой.

Рис. 4. Волны эволюционной активности генотипов a^C(t) (рисунок взят из работы [80]).

Нормировка исходной активности при помощи нейтральной копии производится следующим образом:

, (1.18)

где ν(c,t) – аналог активности в нейтральной копии.

Очевидно, что подобная нормировка может устранить только активность независимых нейтральных компонент, но не компонент сцепленных с адаптивными.

Используя активность, можно определить величины, характеризующие эволюционирующую систему в целом. Первая из таких характеристик может быть названа суммарной активностью (excess extent) E^C(t) и определяется, как сумма активностей всех присутствующих в данный момент времени компонент cÎC_t:

. (1.19)

Другая характеристика связана со скоростью роста суммарной активности и определяется, как число новых компонент, появившихся в системе:

. (1.20)

Несмотря на то, что активность является интегральной мерой, и это ограничивает ее использование для детального исследования динамики эволюционирующих систем, эволюционные статистики завоевали широкую популярность и активно используются в области искусственной жизни [81-83].

В настоящей работе предлагается оригинальный подход к анализу моделей искусственной жизни, основанный на интерпретации эволюционирующей системы, с точки зрения теории динамических систем. В рамках такого подхода предметом исследования становятся отдельные эволюционные траектории системы в различных фазовых пространствах и конфигурации их областей притяжения. Это позволяет обойти проблемы с определением приспособленности, и выдвигает на первый план вопросы о вероятности возникновения того или иного сценария развития эволюционного процесса в данной системе и его устойчивости. Таким образом, проблемы анализа сложных эволюционных компьютерных моделей совпадают с актуальными проблемами анализа нелинейных динамических систем [84], т.е. проблемами идентификации русел и джокеров.

Сопоставим каждому агенту A точку в некотором пространстве его свойств, тогда вся популяция P будет представлена облаком точек в этом пространстве. В процессе эволюции по мере рождения и смерти агентов соответствующие точки будут появляться и исчезать, а все облако трансформироваться. Такой подход сразу позволяет ввести следующие характеристики эволюционирующей популяции.

Рассмотрим пространство генотипов G популяции P. Размерность пространства G равна числу различных генов, которые могут быть найдены у агентов популяции P в процессе эволюции. Для класса моделей, рассматриваемого в данной работе, эта размерность равна числу элементов матрицы W (см. (1.13)). Генотип отдельного агента A представим в виде вектора gÎG, компоненты которого соответствуют генам (компонентам матрицы W), а значения компонент – аллелям (значениям компонентов матрицы W), таким образом, g задает в пространстве G точку, соответствующую агенту A. Для того чтобы проанализировать движение облака P в пространстве G, будем следить за его центроидом С^P:

, (1.21)

где N – численность популяции. Пример траектории центроида С^P для одного из численных экспериментов приведен на рисунке 5.

Рис. 5. Пример визуализации траектории центроида С^P. Интенсивностью серого обозначено среднее по популяции значение для каждого гена (шкала значений приведена справа).

Используя евклидову меру длины, можно ввести аналог скорости движения центроида С^P:

, (1.22)

здесь t – фиксированный временной шаг. Динамика величины D_C позволяет оценить общий характер эволюционного процесса в модели, так, например, если длительные периоды с низким значением скорости D_C перемежаются короткими значительными ускорениями, то моделируемый процесс соответствует теории прерывистого равновесия [85].

Траектория центроида популяции С^P может достаточно длительное время содержаться в некоторой компактной области (области притяжения) пространства G, образовывать замкнутые кривые, соответствующие циклам с определенным периодом, случайно блуждать по всему пространству или перескакивать из одной области притяжения в другую. Чтобы идентифицировать в модели подобные типы поведения, использовалась следующая характеристика:

. (1.23)

Выражение (1.23) дает расстояние между положениями центроида в моменты времени t и t + T (похожая характеристика предложна в работе в [86]). Визуализация динамики значений d(t,T) для различных значений периода T позволяет получить представление о характере движения центроида в пространстве. Например, при случайном блуждании центроида по всему пространству d(t,T) будет расти при увеличении T (рис. 6а), если в течение некоторого промежутка времени центроид движется вдоль замкнутой траектории с периодом T_c, то в течение этого промежутка времени значение d(t,T_с) будет близко к нулю. Другие примеры подобной визуализации приведены на рисунке 6.

Рис. 6. Поведение центроида популяции и соответствующее значение d(t,T) (см. выражение (2.7)). Каждый случай представлен парой графиков, слева некоторое двумерное сечение траектории центроида, справа – значение d(t,T) для этого сечения (темнее – больше значение).

Отбор в эволюционирующих системах действует на гены не напрямую, а через фенотип (для предложенной модели аналогом фенотипа является стратегия поведения агента A). Динамику эволюции стратегий поведения агентов в популяции P можно представить в виде траектории в пространстве стратегий поведения S. В этом пространстве текущие координаты точки, соответствующей популяции P, определяются количеством агентов, принадлежащих к той или иной стратегии. Если в модели агент A может совершать n действий, и его поведение зависит от m входных переменных, каждая из которых может принимать k различных значений, то размерность полного пространства стратегий S₀ равна . Чтобы снизить размерность пространства стратегий S₀, можно в соответствии с целями исследования разбить множества значений входных переменных и действий на классы. Например, если необходимо проанализировать взаимодействия между агентами, то пространство S ограничивается только теми входными переменными и действиями, которые имеют непосредственное отношение к взаимодействиям.

Имея определения классов стратегий, можно разделить облако точек, представляющих агентов A популяции P в пространстве генотипов G, в соответствии с этими классами. Тогда для каждого из классов стратегий легко получить динамику его численности , положения центроида и дисперсии в пространстве генотипов G. Наличие координат центроида для каждой стратегии позволяет вычислить дисперсию центроидов стратегий в пространстве G в данный момент времени . Величина характеризует "генотипическую близость" видов в популяции, и можно ожидать, что она будет мала в моменты видообразования ("расщепления видов"), а затем постепенно увеличиваться по мере специализации каждой новообразованной стратегии.

Подводя итоги раздела, следует отметить, что предложенный в работе подход к исследованию моделей искусственной жизни, как динамических систем, позволяет построить анализ на базе четко определенных характеристик без использования такого трудно формализуемого понятия, как приспособленность. Перечислим предложенные методы:

· исследование центроида популяции С^P в пространстве генотипов, скорость и характер его движения;

· снижение размерности пространства стратегий (фенотипов) за счет разбиения стратегий на классы;

· исследование динамики характеристик каждого класса стратегий, таких как, число агентов попадающих в класс, поведение центроида данного класса в пространстве генотипов, дисперсию в пространстве генотипов по агентам;

· исследование изменения во времени числа стратегий, дисперсии их центроидов в пространстве генотипов.

Предложенные методы исследования эволюционных многоагентных моделей были использованы для анализа результатов компьютерных экспериментов (изложены в следующей главе) и показали свою эффективность. По результатам методических разработок был сделан доклад на международной конференции [87] и подготовлена статья [34]. Развитие данных методов может выступать в качестве предмета дальнейших исследований.

Глава 2. Модель кооперации

Одна из основных проблем теории эволюции – проблема возникновения и эволюционной устойчивости кооперативного или альтруистического поведения.

Кооперативное поведение животных хорошо вписывается в эволюционную теорию, если кооперирующиеся особи принадлежат разным видам, и взаимоотношения между ними носят характер симбиоза. Но кооперация также широко распространена и между особями одного вида, несмотря на то, что они занимают одну и ту же экологическую нишу, и, следовательно, конкуренция между ними максимальна. Кроме того, если в популяции кооператоров появляются особи, пользующиеся преимуществами кооперации, но не участвующие в ней и, следовательно, не несущие затраты на подобное поведение, то они обладают преимуществом по сравнению с кооператорами, что приводит к вымиранию последних.

Для того чтобы проиллюстрировать проблему, воспользуемся инструментарием теории игр, который активно применяется при построении математических моделей для исследования кооперации [88].

Рассмотрим игру, в которой агенты вступают в парные взаимодействия, и каждый игрок может кооперироваться с оппонентом или нет. Все возможные варианты исходов такой игры и связанные с ними выигрыши могут быть представлены в виде матрицы, изображенной на рисунке 7.

		Игрок 2
		кооперироваться	не кооперироваться
Игрок 1	кооперироваться	R	S
Игрок 1	не кооперироваться	T	P

Рис. 7. Матрица исходов парной игры с двумя стратегиями. Значения выигрышей игрока 1 обозначены буквами.

Рис. 8. Зависимость среднего выигрыша стратегий от частоты кооператоров q в популяции; а) при T > R > S > P, б) при T > R > P > S.

В реальных условиях выигрыши должны удовлетворять условию T > R > S > P или T > R > P > S (в противном случае кооперация тривиально выгодна). Игра соответствующая первому условию называется игрой снежной бури (snowdrift game), а второму – дилеммы заключенного (prisoner's dilemma game). Среднее значение выигрыша f для каждой из стратегий в зависимости от частоты кооператоров q в популяции для обоих случаев приведено на рисунке 8. И в том и в другом случае состояние, когда популяция состоит только из кооператоров, неустойчиво, несмотря на то, что при этом общий выигрыш популяции максимален. При T > R > S > P (см. рис. 8а) существует состояние устойчивого равновесия, находящееся в точке пересечения линий выигрыша стратегий, при этом часть популяции q_s составляют кооператоры, а часть (1 – q_s) эгоисты. В условиях T > R > P > S (см. 8б) состав популяции находится в положении устойчивого равновесия только в отсутствии кооператоров, но и в подобных условиях в природе наблюдаются примеры кооперации (подача предупреждающих сигналов при приближении хищника), что заставляет искать механизмы, поддерживающие кооперацию в этом случае.

В следующем разделе будут рассмотрены основные подходы к решению проблемы эволюции кооперации.

2.1 Теории и модели эволюции кооперативного поведения

Один из подходов к объяснению кооперативного или альтруистичного поведения с позиций классической популяционной генетики основан на гипотезе группового отбора. Еще в 1932 году Райт рассмотрел возможность фиксации в популяции численности генов, селективная ценность которых ниже максимальной [77]. Это привело его к идее о том, что вызванное естественными факторами разбиение популяции на небольшие субпопуляции должно приводить к значительному повышению генетической неоднородности и конкуренции между локальными группами, а это влечет за собой ускорение эволюции. Эволюция в субпопуляциях при определенных условиях может приводить к распространению генов, обладающих невысокой селективной ценностью, но повышающих среднюю селективную ценность в популяции [39].

Рассмотрим популяцию, в которой ген A имеет два аллеля. Первый аллель A₁ – соответствует "нормальному" фенотипу, а второй A₂ приводит к уменьшению индивидуальной приспособленности особи, но при этом повышает среднюю приспособленность в популяции. Варианты генотипов, их частоты и приспособленности приведены в таблице 1.

Таблица 1

Генотип	Частота (f)	Селективная ценность (W)
A₁A₁	(1-q)²	a(1 + bq)
A₁A₂	2q(1 - q)	a(1 + bq)(1 - s)
A₂A₂	q²	a(1 + bq)(1 - 2s)

Будем считать, что W – скорость воспроизводства генотипа, тогда средняя скорость воспроизводства в популяции равна:

. (2.1)

Максимальная скорость роста численности популяции в этом случае достигается, когда популяция состоит из особей A₂A₂ и b ≥ 2s/(1 - 4s). При этом отбор внутри популяции действует против аллеля A₂. Так как в популяции со случайным скрещиванием изменение частоты аллеля в общем случае выражается формулой [89]:

, (2.2)

то изменение частоты аллеля A₂ будет равно Δq = -sq(1 - q)/(1 - 2sq). Изменение Δq отрицательно, следовательно, количество A₂ в популяции должно уменьшаться. Если популяция состоит из маленьких изолированных групп, то в некоторых из них возможна фиксация кооперативного гена (вся группа состоит из особей A₂A₂) за счет генетического дрейфа [29]. В присутствии миграции между группами изменение частоты A₂ можно записать как:

Δq = m(q_i - q) - sq(1 - q)/(1 - 2sq), (2.3)

где m – эффективность замены мигрантом (объем миграции), и q_i – частота A₂ среди мигрантов.

Исключив из рассмотрения действие отбора, получим оценку дисперсии частоты A₂ в популяции:

, (2.4)

здесь – средняя частота по субпопуляциям, N – типичный размер субпопуляции.

Можно ожидать, что подавляющую часть мигрантов будут создавать группы с наибольшей скоростью роста, т.е. состоящие из особей A₂A₂. Следовательно, в большинстве случаев q_i должно значительно превышать q. В условиях, когда количество мигрирующих особей и размер групп не велики (m и N малы) дисперсия (2.4) будет велика, и это может приводить к глобальному (по все популяции) росту частоты аллеля A₂.

Основная идея группового отбора заключается в том, что частота альтруистов в структурированной метапопуляции изменяется под действием двух факторов – элиминации кооператоров внутри субпопуляции (индивидуальный отбор), и отбора кооперативных субпопуляций (групповой отбор).

Теория группового отбора активно разрабатывается, были предложены различные варианты схем отбора, для них исследованы условия возникновения и сохранения альтруистичного поведения [38,40,42,90-106].

Объединение в группы приводит к тому, что каждая конкретная особь с большей вероятностью взаимодействует с членами собственной группы, чем с членами других групп, именно это способствует устойчивости альтруистичного поведения. В теории группового отбора группы формируются внешним фактором, например, географическими условиями, и внутри группы взаимодействия случайны. Но взаимодействия не обязательно должны быть случайными, животное может решать проявлять ли альтруистическое поведение в отношении данного партнера или нет, исходя из опыта предыдущих взаимодействий или на основе распознавания каких-то фенотипических характеристик. Так, например, если кооперативные агенты будут кооперироваться только друг с другом, то они получат преимущество перед эгоистами. Таким образом, неслучайные взаимодействия или взаимность (reciprocity) могут выступать в качестве механизма отбора кооперативных стратегий [41].

Воспользовавшись теорией игр, можно найти некоторые общие условия возникновения кооперативных стратегий в популяции с неслучайными взаимодействиями [43]. Рассмотрим популяцию, в которой агенты могут следовать одной из стратегий S₁ или S₂. Обозначим V_ij увеличение приспособленности агента, следующего стратегии i, после взаимодействия с агентом, следующим стратегии j. Пусть x – частота стратегии S₁ в популяции, тогда (1 – x) – частота стратегии S₂. Введем вероятность u_ij = u_ij(x) взаимодействия агента, следующего стратегии S₁, с агентом, следующим стратегии S₂ (i,j = 1,2; u_i₁ + u_i₂ = 1).

Ожидаемый выигрыш стратегии S_i в этом случае равен:

, i = 1,2. (2.5)

Предполагая, что ожидаемое число взаимодействий для каждого агента не зависит от его стратегии, имеем:

. (2.6)

Тогда, для x ≠ 1:

(2.7)

(для x = 1, u₁₁ = u₂₁ = 1, u₁₂ = u₂₂ =0).

С учетом (2.7) выражение для выигрышей (2.5) может быть переписано в виде:

(2.8)

В предположении, что частота стратегии в популяции изменяется пропорционально ее успешности, получим рекуррентное выражение для частоты x стратегии S₁:

. (2.9)

Будем считать, что стратегия S₁ является кооперативной, а S₂ – эгоистичной. Предположим, что частота взаимодействий между индивидуумами со стратегией S₁ определяется следующим выражением:

, (2.10)

где m > 0 – часть взаимодействий между агентами с одинаковыми стратегиями, а (1 – m) – частота случайных взаимодействий. Вероятность того, что кооператор – агент, обладающий стратегией S₁, встретится с кооператором, в этом случае равна:

(2.11)

Подставляя это выражение в (2.8), а затем результат в (2.9), и дифференцируя (2.9) дважды получаем условие устойчивости в точке x = 0:

. (2.12)

Это условие фиксации стратегии S₂, изменив знак в неравенстве на противоположный, получим условие возникновения и начального распространения кооперативной стратегии S₁.

Дилемме заключенного соответствует следующее условие на выигрыши:

V₂₁ > V₁₁ > V₂₂ > V₁₂. (2.13)

При случайных взаимодействиях (m = 0) условие фиксации (2.12) стратегии S₂ в дилемме заключенного выполняется автоматически. По мере увеличения m левая часть неравенства (2.12) стремится к V₁₁, и при m > m*, где m* – некоторое значение, в процессе эволюции в популяции фиксируется кооперативная стратегия S₁.

В настоящее время предложен ряд моделей, в которых неслучайность взаимодействий определяется различными механизмами, такими как: пространственная структура популяции [44,45,107-110]; активный выбор партнера по взаимодействию на основе предыдущего опыта или по фенотипическим признакам [42,111-116]; социальная структура популяции [117-119].

Использование неслучайности взаимодействий позволяет рассматривать все теории кооперации с общей точки зрения [42,43,120,121]. Действительно, разбиение на группы в пространстве можно представить как повышение вероятности взаимодействий внутри группы. С другой стороны, проявление альтруизма только в отношении особей с определенным фенотипическим признаком можно рассматривать, как выделение в популяции некоторой группы. В рамках унифицированного подхода можно рассматривать и самую известную теорию эволюции альтруизма – теорию родственного отбора. Ниже будут изложены основные предположения теории и некоторые примеры.

Следуя краткому изложению основ теории в работе [122] рассмотрим как должен вести себя "эгоистичный" ген a для того чтобы максимизировать свое присутствие в популяции. Пусть "эгоистичный" ген управляет кооперативным поведением диплоидного агента A в отношении некоторого родственного агента B. Вероятность того, что ген a перейдет к потомку агента A равна ½ (1 + F_A), где F_A – вероятность того, что обе хромосомы агента A содержат ген a. Так как агент B является родственником A, то он тоже может содержать в себе ген a и передать его потомству. Обозначим вероятность такой передачи r_AB. Зная увеличение приспособленности δA агента A при "эгоистичном поведении", а так же увеличение приспособленности δB агента B в противном случае "эгоистичный" ген может оценить предпочтительность кооперации. В рассматриваемой ситуации кооперация с родственником выгодна только тогда, когда выполняется условие:

. (2.14)

Чтобы определить выгодность кооперации для данного гена a нужно знать во сколько раз приращение приспособленности δB для данного родственника при кооперации должно быть больше собственного увеличения приспособленности δA при эгоистичном поведении. Гамильтон ввел это отношение под названием регрессионного коэффициента родственности или просто родственности r:

. (2.15)

Для популяции диплоидных особей, в которой скрещивания между родственниками не происходит (F_A = 0), значения коэффициента родственности приведены в таблице 2.

Таблица 2

Родственник

сам организм

родитель

потомок

родной брат

родная сестра

бабушка

дедушка

двоюродный брат

тетя и т.д.

прабабушка,

прадедушка,

внуки и т.д.

1/2

1/4

1/8

Поставив (2.15) в (2.14) получим самый известный результат Гамильтона, условие при котором возможно существование родственной кооперации в эволюции:

. (2.16)

Для значений родственности, приведенных в таблице, выражение (2.16) значит, что если, например, носитель гена a будет жертвовать собой ради спасения 3 родных сестер, то такая стратегия поведения будет иметь преимущество перед "эгоистичной" стратегией, с точки зрения распространения в популяции.

Используя коэффициент родственности r, Гамильтон модифицировал приспособленность, использующуюся в классических моделях популяционной генетики. Классическая приспособленность, к которой добавлены члены, учитывающие кооперативные взаимодействия, перемноженные на соответствующие коэффициенты родственности, получила название совокупной приспособленности (inclusive fitness). В качестве примера использования совокупной приспособленности рассмотрим модель "помощи в гнезде" (helping at the nest) приведенную в [123].

Найдем условия распространения в популяции, состоящей из диплоидных организмов aa, альтруистичного аллеля A. Основное положение модели заключается в том, что особи с "нормальным" генотипом aa приносят потомство уже на следующий после рождения сезон, напротив, особи, в генотипе которых содержится ген A, первый год не приносят потомства, а помогают родителям (матери) вырастить молодняк. Таким образом, носители альтруистичного гена начинают приносить собственное потомство через сезон после рождения. Для простоты будем считать, что пары для скрещивания формируются каждый год заново, и что в случае гибели матери в первый после его рождения сезон альтруист приносит собственное потомство. Обозначим вероятность выживания как нормальной, так и альтруистичной особи до начала первого сезона p₁. Пусть вероятность выжить в течение второго сезона для альтруиста равняется p₂, а для "нормальной" особи p₃. Все последующие сезоны вероятность выжить для любой особи равна p. Количество выращенного потомства: c – нормальной особью в первом сезоне; a + x – любой особью в любой сезон кроме первого, здесь x – количество потомков, выживших благодаря помощи альтруистов. Необходимо отметить, что x будет различным для различных особей в зависимости от альтруистичности потомства предыдущего сезона. Схема модели приведена на рисунке 9.

Рис. 9. Схема модели "помощи в гнезде" подробное описание модели приведено в тексте (схема взята из работы [123]).

Будем считать, что начальная частота "альтруистичного" гена A в популяции мала, в этом случае подавляющее большинство альтруистов будет иметь генотип Aa. Выпишем совокупные приспособленности W_aa и W_Aa для генотипов aa и Aa:

W_Aa = p₁p₂(a + pa + p²a +…) + kp₁y = p₁p₂a / (1 - p)+ kp₁y, (2.17)

W_aa = p₁(c + p₃(a + pa + p²a +…)) = p₁p₃a / (1 - p)+ p₁c, (2.18)

где y – количество дополнительного потомства, выращенного родителями при помощи одного альтруиста, k – коэффициент родственности. Если пары родителей формируются каждый год заново, то k = ½. Отметим, что в совокупную приспособленность особи Aa не включаются потомки, выращенные особью при помощи альтруистов, но включаются потомки родителей особи, которые были выращены при помощи ее самой.

Для распространения альтруизма в популяции необходимо чтобы W_Aa > W_aa, или:

c < ½ y + a(p₂ - p₃) / (1 - p). (2.19)

Исторически теории эволюции кооперативного поведения начиналась с моделей классической популяционной генетики [37,39,40,92,93,101,124-130], а затем основным инструментом стала теория игр [43,88,113,131]. Если первые модели рассматривали коэволюцию двух фенотипов – «альтруистического» и «эгоистического» не уделяя особого внимания механизмам, способствующим возникновению кооперативного поведения, то в последние годы видна тенденция к более детальному их изучению. Современные модели эволюции кооперативного поведения обычно учитывают пространственные эффекты, а также структуру популяции, и представлены компьютерными моделями, в большинстве случаев базирующимися на теории игр [42,44,45,105-108,110-112,114-118,132,133].

Аналитические модели эволюции кооперативного поведения позволяют получить наглядный результат, но за наглядность приходиться платить введением дополнительных допущений в модель, таких как: бесконечный размер популяции, ограничение числа возможных стратегий поведения, игнорирование пространственной структуры популяции. Современные компьютерные модели позволяют избавиться от большинства этих ограничений. Однако, во всех моделях, предложенных до сегодняшнего дня, репертуар возможных взаимодействий между агентами очень беден, обычно агент может выбрать одно из двух действий – кооперироваться или не кооперироваться с текущим партнером. Поэтому представляет интерес исследование кооперации при помощи модели искусственной жизни, в которой агенты обладают достаточно большим набором стратегий поведения и взаимодействуют в пространстве.

В следующем разделе будет представлена модель, в которой агенты имеют наследуемые фенотипические признаки. В модели зависимость стратегии поведения агента от фенотипического признака партнера по взаимодействию эволюционирует так же, как и зависимость стратегии поведения от любой другой входной переменной. Агенты моделируемой популяции могут свободно перемещаться в пространстве, что открывает возможность эволюционной самоорганизации пространственной структуры популяции. Таким образом, предложенная модель позволяет исследовать эволюционное возникновение и развитие кооперации, вызванные родственным отбором (наследуемость фенотипического признака) и неоднородностью пространственных взаимодействий (возможность изменения агентом своего положения в пространстве).

2.2 Моделирование родственного отбора при помощи искусственной жизни

Рассмотрим популяцию P агентов A, находящихся в клеточной среде, в клетках которой с некоторой вероятностью появляется ресурс, необходимый агентам для совершения действий. Для того чтобы агенты могли отличать родственников, каждому агенту A сопоставлен вектор-маркер m, задающий фенотипический признак агента. Значения компонент маркера агента потомка A_o наследуются с мутациями от агента-родителя A_p. Компоненты вектора m могут принимать целочисленные значения из некоторого интервала [-M_max;M_max].

Агент ориентирован в пространстве. Множество клеток, состояния которых определяют значения входных переменных некоторого агента, будем назвать полем зрения этого агента (рис. 10). Кроме информации о состоянии клеток в поле зрения вектор значений входных переменных s содержит информацию о внутреннем ресурсе r, средней по отношению к себе родственности (фенотипической близости) агентов в клетке и родственности партнера по взаимодействию (возможной жертвы или хищника). Полный список входных переменных и их определения приведены в таблице 3.

Рис. 10. Ориентация поля зрения относительно направления «вперед» агента (окружностями отмечены клетки, из которых агент может получать информацию, квадратом обозначен агент, стрелочкой – направление «вперед»).

Таблица 3

Входная переменная	Значение
s₁	k^*;
s₂, s₃, s₄, s₅	k если в данной клетке поля зрения есть ресурс, 0 в противном случае;
s₆, s₇, s₈, s₉	cN_c, где c – константа, N_c – количество агентов в данной клетке поля зрения;
s₁₀	r;
s₁₁	r_max – r, где r_max – максимально возможное значение внутреннего ресурса;
s₁₂	, где – центроид маркеров агентов, находящихся в той же клетке, что и агент;
s₁₃	, где m^p – маркер партнера по взаимодействию.

^*Примечание: во всех численных экспериментах коэффициент k оставался неизменным и был равен k = r_max.

Значения выходной переменной f, определяющей действия агента и соответствующих коэффициентов изменения внутреннего ресурса агента k_i, использовавшиеся при моделировании, приведены в таблице 4.

Таблица 4

f	действие	изменение внутреннего ресурса r*
f₀	отдыхать	Dr = -k₀
f₁	поворачиваться налево	Dr = -k₁
f₂	поворачиваться направо	Dr = -k₂
f₃	потреблять ресурс	Dr = k₃
f₄	двигаться на одну клетку вперед	Dr = -k₄
f₅	делиться	Dr = -k₅
f₆	отнять ресурс у соседа	Dr = -k₆ + 2k₆, если ресурс соседа r_n ≥ 2k₆, Dr = -k₆ + r_n, в противном случае

*исходя из разумных допущений, при моделировании коэффициенты k_i были заданы в соответствии со следующими равенствами: k₂ = 2k₁, k₄ = k₅ = 2k₂, k₆ = 50k₄, коэффициент k₃ являлся параметром в серии экспериментов. При делении (f = f₅) после изменения энергии родителя (Dr = -k₅) половина его ресурса передается потомку.

Модифицируем эволюционный алгоритм, изложенный в первой главе. В геном g агента A, содержащий матрицу весов W, добавим два бинарных вектора I и O, кодирующих наличие компонент в векторе входных переменных s и значений выходной переменной f. Компоненты векторов I и O подвержены мутациям малой величины при делении агента A_p, таким образом, существует малая вероятность того, что потомок A_o будет иметь набор входных переменных и действий несколько отличный от соответствующего набора родителя. Мутации векторов в модели рассматриваются как аналог биологических макромутаций. Изменения значений компонент векторов I и O приводят к тому, что при формировании матрицы весов W^o потомка A_o в матрицу родителя W^p добавляются или удаляются столбцы или строки соответственно.

Компьютерные эксперименты проводились с четырьмя вариантами модели (см. таблицу 5).

Таблица 5

1	У агентов отсутствует входная переменная, связанная со значением родственности, т.е. агенты не могут узнавать родственников. Выходная переменная f не может принимать значение f₆, т.е. агенты не могут нападать друг на друга.
2	У агентов отсутствует входная переменная, связанная со значением родственности, но выходная переменная f может принимать значение f₆, т.е. агенты могут нападать друг на друга.
3	Агенты могут отличать родственников и нападать друг на друга. Если в матрице весов потомка W^o в результате макромутаций появляются новые веса, то их значение выбирается случайным образом из интервала [-W_max;W_max].
4	Агенты могут отличать родственников и нападать друг на друга. Если в матрице весов потомка W^o в результате макромутаций появляются новые веса, то их значение приравнивается нулю. Такая реализация генетического алгоритма приводит к большей летальности макромутаций, т.е. эволюция становится более "консервативной".

В каждом эксперименте начальная популяция P состояла из 200 агентов A, которые имели одинаковые геномы g{I;O;W}. Геном агента начальной популяции был задан таким образом, что агент мог получать информацию, о наличии ресурса в текущей клетке, клетке по направлению "вперед", и совершать только три действия: потреблять ресурс, двигаться вперед и делиться. Состав входной и выходной переменных, а также матрица весов агента начальной популяции W^init представлена в таблице 6.

С моделью была проведена серия экспериментов. Для каждого из вариантов модели, описанных в таблице 5, для различных значений эффективности потребления ресурса k₃, производился расчет трех версий, отличавшихся начальным значением генератора случайных чисел, все остальные параметры были зафиксированы. В каждом эксперименте эволюция длилась 5×10⁷ тактов, что значительно больше характерного времени перехода модели в стационарный режим с постоянной численностью популяции или в динамический режим с регулярными колебаниями численности.

Таблица 6

		выходная переменная
		f₃ (потреблять ресурс)	f₄ (двигаться вперед)	f₅ (делиться)
входная переменная	s₁ (постоянный уровень)	0	0	50
	s₂ (ресурс в той же клетке, что и сам агент)	150	0	0
	s₃ (ресурс в соседней клетке по направлению «вперед»)	0	100	0

Примечание. Не указанные в таблице компоненты входной и выходной переменных у агентов начальной популяции отсутствовали (в соответствии со значениями векторов I и O). Во всех экспериментах W_max = 1000, амплитуда мутаций p_m = 30.

На рисунке 11 представлены результаты компьютерных экспериментов. На графике отображены установившиеся значения численности популяции N_Sⁱ для всех вариантов модели (i = 1,2,3,4) в зависимости от эффективности потребления ресурса k₃.

Для первого варианта модели (см. таблицу 5), в котором агенты не могут отнимать ресурс друг у друга, точки ложатся на прямую. Это значит, что максимальная численность популяции растет прямо пропорционально эффективности потребления ресурса N_S¹ = N_Smax µ k₃. Типичная динамика численности популяции для первого варианта модели приведена на рис. 12а.

Зависимость N_S²(k₃), полученная в экспериментах с вариантом модели, в котором агенты могут нападать друг на друга, но не могут отличать родственников (вариант 2 из табл. 5), распадается на два участка (рис. 11). Для тех значений k₃, для которых максимальная численность популяции меньше числа клеток в среде N_C (N_C = 900 во всех экспериментах) N_Smax(k₃) N_C, т.е. одна клетка не способна "прокормить" одного агента, численность популяции N_S²(k₃) = N_Smax(k₃) = N_S¹(k₃). Для значений k₃, для которых выполняется условие N_Smax(k₃) > N_C, численность популяции N_S²(k₃) = N_С. Пример динамики численности популяции для последнего случая (N_Smax(k₃) > N_C) приведен на рис. 12б. Независимость установившейся численности N_S² от k₃ для N_Smax(k₃) > N_C вызвана тем, что в популяции доминирует стратегия поведения, в соответствии с которой два агента, находящиеся в одной клетке, нападают друг на друга и продолжают бороться, пока один из них не погибнет.

Рис. 11. Зависимость установившегося значения численности популяции N_Sⁱ от эффективности потребления ресурса k₃ для различных вариантов модели (i = 1,2,3,4).

Поведение третьего варианта модели, в котором агенты могут отнимать друг у друга ресурс и имеют маркеры, позволяющие отличать родственников, при значениях k₃, для которых выполняется условие N_Smax(k₃) 2N_C, совпадает с поведением второго варианта модели N_S³(k₃) = N_S²(k₃). При значениях k₃, для которых N_Smax(k₃) 2N_C численность популяции постоянно колеблется. Типичное поведение численности популяции во времени для этого случая приведено на рис. 12в. Кроме того, при увеличении k₃, максимальная амплитуда колебаний численности растет (на рис. 11 интервалы колебаний численности для точек N_S³ показаны вертикальными пунктирными линиями). Причины, вызывающие колебания, будут рассмотрены ниже.

Рис.12. Динамика численности популяции для различных вариантов модели (см. таблицу 5). Для случаев а), б), г) эффективность потребления ресурса k₃ = 1000, для случая в) k₃ = 1250.

Компьютерные эксперименты с четвертым вариантом модели показали, что N_S⁴(k₃) = N_S³(k₃) = N_S²(k₃) для значений k₃ удовлетворяющих условию N_Smax(k₃) 2N_C, и N_S⁴(k₃) = N_S¹(k₃) = N_Smax(k₃) для значений k₃ удовлетворяющих условию N_Smax(k₃) 2N_C. Наиболее интересное поведение динамики численности популяции для этого варианта модели наблюдается при значениях k₃, для которых N_Smax(k₃) » 2N_C. В этом случае динамика численности популяции сначала соответствует второму варианту модели, а затем "переключается" в режим соответствующий первому варианту модели. Пример такого "переключения" представлен на рис. 12г.

Для того чтобы понять, как родственный отбор влияет на эволюцию в модели, рассмотрим подробнее эксперимент с четвертым вариантом модели значение эффективности потребления ресурса k₃ для которого, удовлетворяет условию N_Smax(k₃) » 2N_C. Динамика численности популяции для этого эксперимента приведена на рис. 12г. Воспользуемся предложенным во второй главе диссертации методом исследования эволюции стратегий поведения в популяции. Родственность играет важную роль при взаимодействиях агентов, поэтому будем рассматривать поведения агентов только в тех ситуациях, когда в клетке находятся два агента, которые могут быть родственниками (малое значение расстояния между маркерами m) или чужаками (большое значение расстояния между маркерами m). Кроме того, проследим, как будет меняться поведение агентов в этих ситуациях для разных значений накопленного ресурса r. Для этого зададим значения соответствующих компонент входного вектора s, и рассчитаем действия для каждого из агентов популяции P. Агентов, действия которых для всех заданных ситуаций попадают в одни и те же группы действий a (см. таблицу 7), будем считать придерживающимися одной и той же стратегии поведения. Стратегию поведения будем кодировать шестью разрядами, каждый из которых может принимать одно из четырех значений в соответствии с таблицей 7.

Таблица 7

мало ресурса, r = 0,02r_max		половина ресурса, r = 0,5r_max		много ресурса, r = 0,98r_max
рядом свой	рядом чужой	рядом свой	рядом чужой	рядом свой	рядом чужой
a_i	a_i	a_i	a_i	a_i	a_i

где a{0:"отдыхать, поворачиваться"; 1:"убегать"; 2:"нападать"; 3:"делиться"}, i = 1,2,3,4.

Динамика численности агентов популяции, принадлежащих к различным стратегиям, поведения приведена на рис. 13.

Рис.13. Динамика численности агентов популяции, принадлежащих к различным стратегиям поведения (для определения стратегий поведения, закодированных на выносках, см. текст и таблицу 7). На врезке показано изменение среднего по популяции значения внутреннего ресурса агентов r_a от времени.

Для удобства анализа разобьем всю эволюцию системы на три периода: 1-ый с 0 по 6,5^.10⁶ такт, 2-ой с 6,5^.10⁶ по 7,5^.10⁶ такт, 3-ий с 7,5^.10⁶ по 10⁷ такт времени. В течение первого периода численность популяции примерно равна числу клеток в среде, все агенты в популяции обладают той или иной агрессивной стратегией. Подавляющее большинство агентов следует стратегиям, заключающимся в избегании конкуренции с родственниками за ресурс и нападении на чужаков (стратегии типа "121212" ‑ покинуть клетку, если в ней родственник, и напасть, если чужак). Второй период начинается с появления в популяции новой кооперативной стратегии "120202". Следующие этой стратегии агенты, остаются в одной клетке с родственниками до тех пор, пока им хватает ресурса. Успешность этой стратегии связана с тем, что каждый агент в отдельности может владеть ресурсом r ≤ r_max, а, находясь в одной клетке, родственники в сумме могут накопить ресурс больший r_max, и, следовательно, при борьбе чужака с несколькими родственниками, вероятность выживания одного из родственников будет выше вероятности выживания чужака. Таким образом, если в первом периоде родственники кооперировались за счет избегания конкуренции за ресурс, то теперь они начинают кооперироваться за счет совместной обороны. Для совместной обороны выгодно иметь в клетке как можно больше родственников, что приводит к появлению и распространению быстро делящихся агентов (стратегии "123233" и "123333"), так как при делении половина ресурса родителя передается потомку, то средний по популяции ресурс быстро падает (см. врезку на рис. 13). В популяции начинают доминировать стратегии, когда агент не нападает на чужака, а пытается от него убежать (например, "113133"), при этом за счет высокой скорости деления ресурс таких агентов низок и нападение на них не выгодно (r ≤ k₆). Все это приводит к вымиранию агентов с агрессивными стратегиями к концу второго периода.

В начале третьего периода численность популяции быстро достигает максимального для данного k₃ значения N_Smax(k₃). В третьем периоде агенты с агрессивными стратегиями отсутствуют, при этом в популяции присутствуют, как агенты с родственными стратегиями (например, "001033"), так и агенты, не отличающие родственников ("000033").

Из рисунка 13 следует, что в процессе эволюции система "перескакивает" из одной области в пространстве стратегий S (период 1) в другую (период 3). Несмотря на то, что поведение агентов значительно меняется, использование характеристики (1.23) из раздела 1.3 диссертации показывает (см. рис. 14), что в пространстве генотипов G такого перехода не происходит (см. рис. 6в). Это позволяет предположить, что в течение первого периода отбор в сторону агрессивных стратегий значителен, это приводит к тому, что, несмотря на близость в пространстве генотипов (т.е. легкость мутационного перехода), агенты с мирными стратегиями не жизнеспособны.

Рис.14. Характеристика d(t,T) (см. выражение (1.23)) движения центроида популяции в пространстве генотипов. Характер движения центроида для экспериментальных результатов качественно соответствует случаю изображенному на рис. 6в.

Чтобы выяснить структуру родственных групп, например, являются ли все агенты, имеющие одинаковые стратегии поведения, родственниками, было рассчитано распределение агентов по числу родственников, распознаваемых агентом в текущей популяции (рис. 15а). Из распределения видно, что в первом периоде в момент времени t = 5^.10⁶ около 90% агентов популяции имело только двух родственников, следовательно, типичный размер родственной группы составлял 3 агента, что значительно меньше средней численности группы агентов, имеющих одинаковую стратегию. В третьем периоде (t = 10⁷) распределение несколько сгладилось, но размер типичной родственной группы остался в пределах 2-7 агентов. То, что агенты с одинаковой стратегией поведения принадлежат не к единственной родственной группе, также подтверждает рис. 15б, на котором по одной оси отложена средняя дисперсия маркеров у агентов одной стратегии D_IS, а по другой дисперсия центроидов стратегий в пространстве маркеров D_BS. График на рис. 15б демонстрирует, что в течение всего эксперимента дисперсии принимали значения одного порядка.

Рис.15. Распределение агентов по числу родственников, распознаваемых агентом в текущей популяции, для двух моментов времени (а), значения средней дисперсии маркеров у агентов одной стратегии D_IS и дисперсии центроидов стратегий в пространстве маркеров D_BS за все время эволюции (б).

Отдельно необходимо пояснить устойчивость "мирного" состояния популяции (третий период). Эта устойчивость вызвана высокой летальностью макромутаций, связанных с появлением действия "напасть". Т.е. стабильность существования режима, в котором отсутствуют агрессивные агенты, связана с «трудностью» мутационного перехода к агрессивным стратегиям, а не с устойчивостью «мирных» стратегий к вторжению агрессивных. Если в "мирную" популяцию добавить несколько взятых наугад агентов из первого "хищнического" периода, то система быстро перейдет в режим, соответствующий первому периоду (рис. 16). Это позволяет объяснить колебания численности популяции в третьем варианте модели при значении k₃, удовлетворяющем условию N_Smax(k₃) 2N_C (рис. 12в). В третьем варианте модели макромутации менее летальны, чем в четвертом, что не дает популяции "остановиться" в "мирном" состоянии.

Рис. 16. Изменение динамики численности «мирной» популяции при добавлении в нее небольшого числа агрессивных агентов.

Для того чтобы облегчить анализ поведения модели выделим несколько крупных классов стратегий. При использовании теории игр для моделирования взаимодействия животных принято давать названия стратегиям поведения. Так, например, агенты, всегда проявляющие агрессивность в отношении партнера, называются «ястребы», а всегда избегающие конфликта – «голуби». Кроме ястребиных и голубиных стратегий в исследуемой модели присутствует стратегия «буржуа». Эта стратегия заключается в том, что агент не посягает на «собственность» других агентов, т.е. остается в своей клетке, но защищает «свой» ресурс, нападая на любого, пришедшего на его территорию.

Наличие в модели возможности изменения поведения в зависимости от значения маркера партнера позволяет ввести пару новых стратегий[6]. В одну из них попадают агенты, избегающие конкуренции за ресурс с родственниками (малое расстояние между маркерами) и нападающие на чужаков. Примером такой стратегии может служить стратегия, закодированная в соответствии с таблицей 7как «121212». В соответствии с поговоркой: «Ворон ворону глаз не выклюет», будем называть эту стратегию стратегией «ворона». В природе у многих малых стайных птиц, например у скворцов, наблюдается кооперативная защита от хищника. Если провести аналогию с коллективной защитой в модели, то можно назвать агентов, придерживающихся подобной стратегии – «скворцами». Определения стратегий для исследуемой модели приведено в таблице 8.

Таблица 8

Название стратегии	Определение
Голубь	Отсутствие действия a₂ ("нападать") для всех ситуаций приведенных в таблице 7.
Ястреб	Агент не различает родственников и среди его действий присутствует a₂ ("нападать").
Буржуа	Ни в одной из ситуаций агент не покидает клетки. Если в клетке появляется другой агент, то на него производится нападение.
Ворон	Ни в одной из ситуаций агент не нападает на родственника, и хотя бы в одной ситуации нападает на не родственника.
Скворец	При значении внутреннего ресурса r ≥ 0,5r_max агент не покидает клетку с родственником (действия a₀ «отдыхать» или a₃ «делиться»), и нападает на не родственника.

Рассмотрим, как изменение эффективности потребления ресурса k₃ влияет на эволюцию кооперации в третьем варианте модели (см. таблицу 5). Это вариант обладает наиболее интересной динамикой, кроме того, четвертый вариант модели можно рассматривать, как частный случай третьего варианта.

При низких значениях эффективности потребления ресурса k₃ < k₃^С (см. рис. 11) ресурса, появляющегося в одной клетке, недостаточно для выживания одного агента, поэтому агенты вынуждены постоянно перемещаться в пространстве. Постоянное движение агентов приводит к тому, что конкуренция за ресурс между родственниками отсутствует, а, следовательно, отсутствует и вызываемое ей давление отбора. Но если агенты могут нападать друг на друга, то присутствует родственный отбор в сторону не нападения на родственников. Поэтому при k₃ < k₃^С в популяции частота агентов, способных дифференцировать свое поведение в отношении родственников, растет вместе с частотой агрессивных агентов (см. рис. 17). Анализ стратегий показывает, что основная часть агрессивных агентов в этом интервале значений k₃ являются воронами (см. рис. 18).

Рис. 17. Значения усредненной частоты агрессивных (кружки) и различающих родственников (треугольники) агентов в популяции для различных значений эффективности потребления ресурса k₃. Частоты усреднялись по времени за период пребывания популяции в установившемся режиме. Линии проведены через средние значения. Агрессивными считались агенты, которые совершали действие a₂ ("нападать") хотя бы в одной из ситуаций из таблицы 7. Считалось, что агент отличает родственников, если хотя бы в одной из ситуаций действие в отношении родственника отличалось от действия в отношении не родственника.

Рис. 18. Значения усредненной частоты стратегий голубей (крестики), воронов (кружки) и скворцов (треугольники) в популяции для различных значений эффективности потребления ресурса k₃. Частоты усреднялись по времени за период пребывания популяции в установившемся режиме. Линии проведены через средние значения.

Когда одна клетка способна «прокормить» одного агента, но не двух, т.е. k₃^С < k₃ < 2k₃^С, отдельный агент имеет тем большую вероятность выжить в данный момент времени, чем выше его внутренний ресурс, так как от величины накопленного ресурса зависит успешность борьбы. Это приводит к тому, что отбор действует в сторону повышения внутреннего ресурса, и отражается в приближении максимума распределения агентов по накопленной энергии к максимально возможным значениям (см. рис. 19). Так как все агенты обладают примерно одинаковым внутренним ресурсом, а значит и одинаковыми шансами на выживание в поединке, то в популяции устанавливается «баланс сил» – доминирующей стратегией является стратегия буржуа. При этом в популяции присутствуют, как агенты, не различающие родственников, так и вороны. В модели при делении агента энергия распределяется поровну между родителем и потомком, что делает каждого из них неконкурентоспособным в сравнении с агентами из соседних клеток. Следовательно, если один из агентов после деления покидает клетку, он с большой вероятностью погибает. С другой стороны, если они оба остаются в клетке, то даже в случае ненападения друг на друга один из них погибает от недостатка ресурса (т.к. k₃ < 2k₃^С). Отсюда можно сделать вывод, что для k₃^С < k₃ < 2k₃^С отбор в сторону родственной кооперации будет слабее, чем для k₃ < k₃^С, но при этом он все равно будет достаточно сильно действовать на популяцию, о чем свидетельствует рис. 15а. Результаты моделирования свидетельствуют в пользу этого предположения. На рисунке 17 видно, что в отличие от первого интервала k₃ < k₃^С, на котором численность различающих родственников агентов следует за численностью агрессивных агентов (т.е. практически все они вороны), на втором интервале k₃^С < k₃ < 2k₃^С наблюдается сильный разброс значений частоты родственных агентов от эксперимента к эксперименту (см. также точки для стратегии ворона на рис. 18).

Рис. 19. Пример изменения распределения агентов по значению внутренней энергии во времени при k₃ = 1000. Для каждого значения энергии доля агентов закодирована яркостью, шкала приведена справа.

При k₃ > 2k₃^С на эволюцию в популяции влияет несколько разнонаправленных факторов. За счет возможности кооперативной обороны скворцов, равновесие с высокой средней внутренней энергией по популяции, обычное для k₃^С < k₃ < 2k₃^С, становится неустойчивым. Наличие скворцов создает отбор в сторону понижения энергии агента, такое понижение происходит за счет появления стратегий со все большей скоростью размножения. При этом если средний внутренний ресурс для агентов некоторой стратегии опускается ниже величины r_s < k₆, нападение на агентов этой стратегии становится не выгодно, так как в соответствии с определением взаимодействия между хищником и жертвой (см. таблицу 4), изменение ресурса хищника в этой ситуации становится отрицательным. Это делает возможным существование в популяции значительной доли голубей (рис. 18). С другой стороны, конкуренция между голубями действует, как фактор отбора в сторону увеличения внутреннего ресурса, т.к. агент, имеющий больший запас энергии, имеет большее время на поиск ресурса. Все эти факторы приводят к сложной коэволюции стратегий голубей, воронов и скворцов. Высокая конкуренция как внутри, так и между стратегиями ведет к отбору кооперирующихся агентов. Результаты экспериментов показывают, что доля кооперирующихся агентов высока для всех реализаций (рис. 17). При этом в отличие от первого интервала значений эффективности потребления ресурса k₃ < k₃^С при k₃ > 2k₃^С практически все голуби различают родственников (разность значений для агрессивных и кооперирующихся агентов на рис. 17 примерно равна численности голубей на рис. 18).

Детальное исследование динамики стратегий для высоких значений потребления ресурса представляет отдельный интерес и может выступать в качестве предмета дальнейших исследований.

Результаты компьютерных экспериментов показывают, что модели типа искусственной жизни позволяют исследовать не только, как одна эволюционная стратегия сменяет другую, но и сами механизмы возникновения стратегий. В отличие от существующих на сегодня моделей эволюции поведения, и в частности кооперации, агенты в исследуемой модели не были снабжены фиксированным набором из небольшого числа стратегий. Напротив, исходя из элементарных предположений, каждый агент имел набор входных (сенсоры) и выходных (действия) переменных. При таком подходе, изменение стратегий поведения осуществляется в процессе эволюции функции, связывающей входные и выходные переменные, что позволяет получить гораздо более обширный репертуар стратегий.

Адекватность выбранного подхода к моделированию подтверждает то, что в компьютерных экспериментах с моделью стабильно возникают стратегии поведения, аналогичные стратегиям, давно исследующимся в области эволюции поведения. Так в вариантах модели без маркеров наблюдаются стратегии эквивалентные стратегиям голубей, ястребов и буржуа. Добавление в модель фенотипических маркеров приводит к эволюционной модификации этих базовых стратегий и приводит к возникновению новой. Так кооперирующиеся голуби избегают конкуренции за ресурс с родственниками, а кооперирующиеся ястребы – вороны не нападают на фенотипически близких агентов. Новой стратегией, не исследованной ранее, является стратегия скворца. Скворцы в модели предпочитают жить группами и коллективно обороняться от вторгающихся на их территорию фенотипически отличных агентов. Необходимо особо отметить, что кооперация в стратегии скворцов основывается не только на фенотипических маркерах, но и на локализации в пространстве. Современная теория эволюции поведения отводит подобной локализации важную роль в поддержании кооперации [44,107,108,110]. В предложенной модели локализация в пространстве не заложена изначально как в других моделях (агенты «сами» решают, когда и куда им передвигаться), а возникает в процессе эволюции.

Обобщая все выше сказанное можно перечислить следующие основные результаты работы представленные в данной главе.

1. Предложена новая модель для исследования эволюции кооперации, базирующаяся на методе искусственной жизни. Модель отличается более широким, по сравнению с существующими аналогами, спектром возможных стратегий поведения агентов, что позволяет более детально исследовать механизмы возникновения кооперативного поведения и его устойчивости.

2. При помощи модели исследованы условия возникновения кооперации и зависимость поведения модели от изменения количества ресурсов, доступных агентам. Был проведен анализ, как изменение возможностей для взаимодействия между агентами, происходящее при введении фенотипических маркеров или при увеличении доступного ресурса, влияет на кооперативное поведение.

3. При анализе результатов вычислительных экспериментов было обнаружено, что в процессе эволюции в моделируемой популяции возникают стратегии поведения аналогичные классическим стратегиям эволюционной теории игр. Введение в модель фенотипических маркеров позволило выделить две новых поведенческих кооперативных стратегии: кооперативного ястреба – стратегия ворона, и групповой обороны – стратегия скворца.

Глава 3. Кооперация у охотников-собирателей и ранних земледельцев. Проверка модели

Модель, изложенная в третьей главе диссертации, может быть интерпретирована, как модель эволюции социальной динамики в примитивных обществах. Такая интерпретация позволяет по-новому взглянуть на некоторые результаты этнографических исследований и их понимание антропологией, а также выдвинуть новые гипотезы о механизмах социальной эволюции традиционных обществ.

3.1 Теории социальной эволюции

Современная история, социология и антропология рассматривает динамику человеческих обществ, как сложный процесс, при котором возможно движение по альтернативным траекториям развития, что может приводить, как к усложнению, так и упрощению социальных систем [134-138]. Хотя при этом основной тренд все-таки направлен в сторону повышения социальной сложности [139]. Представления об альтернативности путей эволюции социальных систем также разрабатываются и со стороны синергетики [140].

Человек является частью природы, поэтому выглядит естественным использование эволюционной парадигмы при исследовании его сообществ. Сегодня в социологии существует несколько теорий в той или иной степени базирующихся на идеях заимствованных из теории эволюции. В макро-социологии такой теорией является экологическо-эволюционная теория, предложенная Герхардом Ленски [141,142]. В основе теории лежит типология обществ по эволюционному и экологическому признакам.

Ленски предлагает выделять в социокультурной эволюции следующие типы сообществ:

· охотники и собиратели;

· примитивные ранние земледельцы, которые характеризуются использованием палочно-мотыжной техники обработки земли;

· развитые ранние земледельцы, используют в хозяйстве бронзовые и медные орудия;

· примитивные аграрные общества, использование плуга;

· развитые аграрные общества, производство железа;

· индустриальные общества.

По экологическому признаку типология выглядит следующим образом:

· скотоводы (земледелие невозможно в силу экологических причин);

· рыболовы (доступность рыболовных ресурсов выше, чем сельскохозяйственных);

· морские сообщества (использование морских ресурсов и торговли).

На основе экологическо-эволюционной типологии обществ, можно построить схему макросоциальной эволюции, приведенную на рис. 20.

Рис. 20. Экологическо-эволюционная таксономия обществ по Ленски [143]. Стрелками показаны переходы от одного типа к другому.

Экологическо-эволюционная теория является макросоциологической, она не содержит детальные ответы на вопросы о механизмах, лежащих в основе динамики социальной эволюции. Предполагается, что в качестве такого механизма выступает некоторый вариант группового отбора [142], который заключается в:

1. отборе внутри сообщества – некоторые из элементов культуры сообщества заменяются на новые, более адаптивные;

2. отборе между сообществами – некоторые сообщества полностью разрушаются при контакте с более сильным партнером, при разрушении исчезает социальная система проигравшего, но его члены могут быть ассимилированы победителем.

Теории социальной эволюции на микроуровне берут свое начало в работах эволюционных биологов, занимавшихся социальным поведением у животных [23,144]. Современная эволюционная теория социальных систем представлена двумя основными направлениями, являющимися вариациями теории группового отбора. Первое из них – теория многоуровневого отбора (multilevel selection) [25,145]. Второе – теория отбора культурных групп (cultural group selection) и коэволюции генов и культуры (culture-gene coevolution) [146-149].

С микроэволюционной точки зрения социальная организация представляет собой кооперацию между отдельными членами сообщества. Следовательно, в качестве факторов эволюции социальных систем выступают родственный и групповой отбор, а также взаимность (все эти факторы были подробно рассмотрены нами в предыдущей главе). Вклад этих факторов в эволюцию социальной организации в каждом конкретном случае может быть различным. Так, например, главный механизм эволюции социальной системы у муравьев – родственный отбор. Подавляющая часть членов муравьиной колонии стерильна, и все члены колонии являются близкими родственниками. Это приводит к тому, что единственной возможностью сохранить свои гены у стерильных особей является кооперация с целью обеспечить размножение тем родственникам, кто может размножаться. Это не позволяет разрушиться колонии, несмотря на большую численность особей.

Несмотря на то, что у млекопитающих родственный отбор является основным механизмом, поддерживающим кооперацию, у них (за исключением человека) социальная организация выражена гораздо слабее, чем у социальных насекомых. Это связано со способом размножения, не позволяющим получить большие группы близких родственников. Очевидно, что для возникновения сложной социальной организации человеческих сообществ, помимо уже указанных механизмов эволюции, необходимо наличие дополнительных факторов. В качестве такого фактора, в рамках теории отбора культурных групп [146] выступает уникальная для человека способность к восприятию и развитию культуры. Под культурой подразумевается некоторое мировоззрение, определенный набор поведенческих стратегий (традиций) и возможность определять принадлежность к той или иной культуре для себя и других членов сообщества.

Наличие культуры открывает новые возможности для воздействия группового отбора на популяцию. Знания, подобно генам, передаются от поколения к поколению, но при этом гораздо быстрее изменяются и могут быть получены сразу от нескольких «культурных родителей». Врожденная способность человека обучаться посредством подражательного поведения делает культурные группы более однородными по составу. Таким образом, можно предположить, что в человеческих популяциях групповой отбор будет оказывать наибольшее влияние на уровне культурных групп. Кроме того, человек обладает развитыми когнитивными способностями, позволяющими ему варьировать свое поведение в отношении конкретных членов сообщества на основе опыта предыдущих взаимодействий с ними, что тоже способствует распространению кооперативного поведения внутри группы.

Хотя гены эволюционируют медленнее культуры, исследования поведения современного человека показывают, что он имеет врожденную предрасположенность к социальному поведению [150-153]. Это говорит о том, что происходит генетическая ассимиляция социального поведения, коэволюция генов и культуры.

В рамках теории отбора культурных групп был разработан ряд моделей, базирующихся на теории игр, которые показали возможность эволюции кооперации при выполнении основных допущений теории [24,154-157]. В работе [158] была сделана попытка оценить возможность группового отбора для реальных этнографических данных. Оценка показала, что для условий, в которых существует часть традиционных племен Папуа Новой Гвинеи, отбор на уровне культурных групп должен быть достаточно высок для поддержания кооперативного поведения внутри отдельных сообществ.

Необходимо отметить, что эволюционный подход к развитию социальных систем является альтернативой теориям рационального выбора [159]. Основное отличие между ними заключается в том, что в первом случае социальная система является результатом самоорганизации индивидуумов, направляемых животными и социальными инстинктами, а также культурным наследием (традицией). Во втором случае, поведение индивидуума определяется его субъективными оценками будущей выгоды.

3.2 Социальная эволюция в модели искусственной жизни. Интерпретация результатов моделирования и сопоставление с этнографическими данными.

Одним из основополагающих вопросов для теорий социальной эволюции можно считать вопрос об уровне кооперации, и ее механизмах в обществах с наиболее примитивной социальной организацией. Ответ на этот вопрос позволяет получить точку отсчета, с которой начинается социальная эволюция человеческих сообществ. Гипотеза, защищаемая в данной работе, состоит в том, что главным механизмом кооперации в примитивных социальных системах, таких как общины охотников-собирателей или ранних земледельцев, является кооперация на основе общности происхождения (родовых отношений). Для проверки гипотезы, предсказания, основанные на результатах вычислительных экспериментов с моделью, изложенной в предыдущей главе, проверяются на соответствие современным данным о примитивных обществах.

Охота и собирательство являлись основной деятельностью человека со времени его возникновения, как биологического вида, около 180 тыс. лет назад [160] до широкого распространения земледелия (~11000-7000 лет назад). Сравнение современных охотников-собирателей и человекообразных обезьян, практикующих охоту и собирательство, показывает очевидное сходство их социальной организации [161]. Например, средние размеры сообщества как у современных шимпанзе и бонобо, так и у охотников-собирателей составляет 25-30 особей (вместе с детьми). Если мы принимаем гипотезу «социального инстинкта» – генетического детерминирования предрасположенности к социальному поведению, и считаем, что подобные инстинкты являются основой для более сложного социального поведения человека, то изучение эволюции стратегий у охотников-собирателей приобретает особую важность.

Другой важный вопрос связан с переходом от охоты и собирательства к раннему земледелию. Сегодня в большинстве районов земли даже достаточно примитивное земледелие позволяет человеку получать в несколько раз больше ресурсов с единицы территории, чем охота и собирательство [137]. Значительное повышение эффективности использования территорий не могло не сказаться на социальной организации древнего человека, и теоретические исследования основных причин, приведших к изменению социальной организации при переходе к раннему земледелию, позволяют лучше понять развитие социальной организации, как в исторической перспективе, так и в наше время.

Адекватность представления моделью исследуемого явления определяется правильным соотнесением различных ее составляющих с объектами и процессами в реальной среде.

Будем считать, что агенту из модели, изложенной в предыдущей главе, будет соответствовать община охотников-собирателей или ранних земледельцев. Такая община, обычно состоящая из нескольких простых семей или одной расширенной семьи (семья с близкими родственниками), в первобытном обществе выступает в качестве отдельной автономной единицы [162]. Члены общины селятся вместе, при перемещении с места на место и при взаимодействии с членами других общин, община выступает в качестве целостного субъекта.

Людскому ресурсу, т.е. численности общины, будем сопоставлять значение внутреннего ресурса агента модели. Это позволяет учесть в модели следующие важные характеристики первобытных общин.

1. Численность общины тем выше, чем больше она получает ресурсов из окружающей среды, но при этом она ограничена. Для охотников-собирателей это ограничение вызвано конечным количеством пищи в локальном окружении, которое может быть добыто ее членами, а для ранних земледельцев – особенностями социального поведения человека, которое преадаптированно к жизни в относительно небольших группах[7].

2. При делении агента ресурс родителя делится пополам между ним и его потомком. Конечно, в действительности такого точного распределения людей не происходит. Несмотря на это, принятое при моделировании допущение не является существенным огрублением, так как, естественно, что община с большей численностью будет при разделении порождать большие группы, чем община с меньшей численностью.

3. В процессе борьбы часть ресурса атакуемого агента переходит нападающему, это соответствует захвату пленных. Захват пленных при нападении являлся обычной практикой в первобытных обществах. В основном в плен брали женщин и детей, которые затем включались в общину победителей. Реже в плен брали мужчин, которых использовали в качестве рабов [163,164].

В архаичных сообществах родовые отношения играют очень важную роль [165]. Поэтому введение в модель наследуемых маркеров, позволяющих агенту оценить степень родства партнера по взаимодействию, является одним из основных допущений модели. Следует отметить, что родство в модели не обязательно соответствует родственным отношениям между конкретными семьями, так как первобытные общины состояли из представителей различных родов. Поэтому маркер агента можно рассматривать, как совокупность нескольких характеристик общины, игравших важную роль при выделении «родственных» общин от «чужих» в первобытном обществе. В качестве таких характеристик можно рассматривать принадлежность к роду, племени, определенной языковой группе.

При моделировании в качестве параметра, изменяющегося в серии экспериментов, выступала эффективность потребления ресурса, локализованного в клетке, одним агентом. Будем считать этот параметр аналогом количества ресурса (калорий), который может собрать община в окрестности стоянки, не перемещая ее. Таким образом, для реальных общин этот параметр будет определяться двумя факторами – экологическими условиями, которые зависят от географического положения и климата, и эффективностью извлечения ресурсов из среды, т.е. технологией. При моделировании интервал изменения эффективности потребления ресурса был порядка этой величины (), при этом в начале этого интервала эффективность не достаточна для выживания одного агента (при постоянном нахождении в одной клетке), а в конце достаточна для выживания нескольких агентов. Тогда охотники собиратели, существующие в неблагоприятных экологических условиях, например в полупустыне, расположатся в начале интервала, а ранние земледельцы и охотники собиратели, существующие в благоприятных условиях в конце.

Таким образом, мы видим, что предложенная модель достаточно полно описывает основные характеристики первобытнообщинной системы.

Одной из основных характеристик примитивных обществ является уровень агрессии. Антропологией и этнографией накоплен достаточно богатый материал об агрессивности в архаичных сообществах [163,164,166-169], что позволяет наиболее полно сопоставить результаты моделирования с реальными социальными системами именно в этом контексте. Для тестирования модели использовалась информация о примитивных обществах почерпнутая из этнографических и антропологических источников, а так же из стандартной кросс-культурной выборки[8] [170]. В качестве базового варианта для тестирования был выбран третий вариант модели (см. таблицу 5).

Для оценки уровня агрессивности в исследуемой модели использовались две характеристики:

1. Частота в популяции агрессивных агентов. Агрессивными будем называть таких агентов, которые совершают действие a₂ («нападать») хотя бы в одной из ситуаций, приведенных в таблице 7. Эта величина отражает количество агентов, потенциально готовых совершать агрессивные действия.

2. Частота совершения действия f₆ («отнять ресурс у соседа»). Дает оценку количества совершаемых агрессивных действий в популяции.

Зависимость этих характеристик от величины ресурсной базы (параметр k₃) приведены на рисунках 17 и 21а соответственно. Эти зависимости демонстрируют, что поведение модели четко различается в трех интервалах:

1. k₃ < k₃^С – скудная ресурсная база;

2. k₃^C < k₃ < 2k₃^C – удовлетворительная ресурсная база;

3. k₃ > 2k₃^C – хорошая ресурсная база.

Рис. 21. Зависимость средней частоты действия f₆ («отнять ресурс у соседа») в популяции (а) (частота усреднялась по времени за период пребывания популяции в установившемся режиме, линия проведена через средние значения) и корреляционного коэффициента между размером популяции и частотой f₆ (все корреляции значимые p < 0,01) (б) от эффективности потребления ресурса k₃.

Отталкиваясь от этих результатов, можно сделать следующие предсказания о зависимости агрессивности в примитивных сообществах от экологических условий:

1. В условиях скудной ресурсной базы агрессивность агентов и количество совершаемых агрессивных актов увеличиваются по мере улучшения экологических условий (см. рис. 17 и 21).

2. При удовлетворительном обеспечении ресурсами частота агрессивных агентов в популяции максимальна (см. рис. 17), а количество агрессивных действий близко к нулю (см. рис. 21). При этом обе характеристики не зависят от количества ресурсов.

3. При хорошей ресурсной базе по мере ее увеличения, как частота агрессивных агентов, так и количество агрессивных действий растут (см. рис. 17 и 21).

Согласно представлениям современной антропологии, подкрепленным богатым этнографическим материалом, улучшение ресурсной базы в большинстве случаев должно вести к повышению агрессивности в архаических обществах [166-168]. Результаты моделирования находятся в соответствии с этой гипотезой в условиях скудной и хорошей ресурсной обеспеченности, но при промежуточных значениях параметра k₃ модель обладает «аномальным» поведением. На первый взгляд, это противоречит фактам. Однако существуют случаи, когда улучшение экологических условий приводит к снижению наблюдаемого исследователями уровня насилия. Так, четыре группы бушменов Калахари – !ко, г/ви, нхаро и !кунг обитают в условиях различной обеспеченности ресурсами [168]. Наиболее обеспечены ресурсами !кунг, а наименее !ко, остальные группы имеют промежуточную обеспеченность. При этом наибольший уровень межобщинной конфликтности среди четырех наблюдается у !ко, а наименьший у !кунг.

Это исключение из общего правила позволяет нам протестировать предсказания модели. Данные об обеспеченности ресурсами, приведенные в [168], позволяют предположить, что !ко могут быть сопоставлены с популяцией агентов в условиях скудных ресурсов, а !кунг с популяцией в условиях удовлетворительных ресурсов. Результаты моделирования показывают, что в первом случае количество совершаемых агрессивных действий больше, чем во втором (рис. 21а), что совпадает с этнографическими наблюдениями. При этом модель позволяет сделать еще один прогноз, который может быть проверен. Это прогноз заключается в том, что, несмотря на низкий уровень межобщинной агрессии при удовлетворительной ресурсной базе, агенты обладают развитыми возможностями совершения агрессивных действий (рис. 17). Оказывается, что это действительно имеет место у !кунг. Охотники !кунг всегда носят с собой отравленные стрелы, убить человека при помощи которых для охотника не представляет особого труда. Более того, существуют нормы, оправдывающие убийство посягнувшего на чужую собственность (улей с медом) [167]. Предсказание модели подтверждается и наблюдениями аборигенов западной пустыни Австралии, которые живут в экологических условиях аналогичных, условиям !кунг, и также демонстрируют низкий уровень агрессии. При этом у аборигенов присутствует институализация агрессии, проявляющаяся в виде создания отрядов тайных мстителей и ритуальных поединков [167].

Таким образом, результаты моделирования для первых двух интервалов обеспеченности ресурсом находятся в согласии с данными наблюдений.

Для того, чтобы оценить адекватность модели при хорошей ресурсной базе, сравним ее с имеющимися представлениями и моделями конфликтности у ранних догосударственных земледельцев.

Наиболее распространенная гипотеза о природе агрессивности у до индустриальных обществ, основывается на мальтузианском предположении, заключающемся в том, что причиной повышения уровня агрессии в обществе является рост плотности населения [173]. Следовательно, для реальных сообществ высокий уровень межобщинной агрессии должен положительно коррелировать с плотностью населения.

Исходя из похожей посылки, Турчин и Коротаев предложили конкретную количественную модель внутренней конфликтности для обществ, у которых отсутствует государственность [174]. Модель основана на следующем уравнении, широко использующемся в популяционной динамике:

, (3.1)

где N – плотность населения; W – уровень конфликтности (агрессии) в популяции; r и K – параметры, определяющие скорость воспроизводства населения и предел его насыщения соответственно. В модели также предполагается, что W является изменяющейся величиной. Авторы предлагают два варианта задания уравнения для изменения W. В первом, уровень агрессии растет пропорционально количеству столкновений между агентами, и ограничивается обратной связью:

, (3.2)

где a и b – некоторые коэффициенты. Во втором, предполагается, что W самоусиливается, т.е. увеличение интенсивности войны приводит к увеличению количества агентов, участвующих в ней:

. (3.3)

Для обоих вариантов модели (3.1) и (3.2) или (3.1) и (3.3) решение системы обладает схожей динамикой, выражающейся в затухающих колебаниях в окрестности единственной устойчивой точки. Исходя из этой модели, корреляция между уровнем агрессии и плотностью населения должна быть слабо отрицательной, стремящейся к нулю.

Расчет рассматриваемой корреляции для представленной в работе модели приведен на рис. 21б. Результаты моделирования предсказывают наличие достаточно значительной отрицательной корреляции.

Для того чтобы сравнить представленные модели посмотрим, как плотность популяции коррелирует с частотой конфликтов для примитивных обществ из стандартной кросс-культурной выборки [170]. Высокие значения эффективности потребления ресурса в модели соответствуют раннеземледельческим обществам, использовавшим экстенсивное земледелие, поэтому для анализа из выборки были отобраны только общества с данным типом хозяйства. Результаты расчета корреляционных коэффициентов приведены в таблице 9.

Из таблицы видно, что корреляция между плотностью населения и переменными, характеризующими уровень внутренней агрессии, отрицательная и достаточно высокая. При этом корреляция значима только для одной из переменных – «Частота вооруженных конфликтов между общинами» (r = -0,489, p = 0,046). Качественно схожие результаты расчета аналогичной корреляции получены в работе [173].

Таблица 9

	Плотность населения («Density of Population» v156)
Название переменной (номер по [170])	r	p*
Частота вооруженных конфликтов между общинами («Frequency of Intercommunity Armed Conflict» v693)	-0,489	0,046
Частота жестоких конфликтов между группами в локальных общинах («Frequency of Violent Conflict Between Groups within Local Communities» v1750)	-0,230	0,375
Частота жестоких конфликтов с участием хотя бы одной локальной общины («Frequency of Violent Conflict Involving at Least One Local Community» v1758)	-0,208	0,408

*корреляция значима при p < 0,05.

Примечание. При расчете учитывались только те общества, для которых переменная v157 (“POLITICAL INTEGRATION”) принимала значения 1, 2 или 3 («отсутствует», «автономные локальные общины» или «один надобщинный уровень» соответственно), и переменная v232 имела значение «экстенсивное земледелие».

Очевидно, что по результатам расчета корреляции предложенная модель является наиболее приемлемой.

Как показывают кросс-культурные исследования, на межобщинный уровень агрессии влияет не только объем ресурсов, но и предсказуемость их доступности. В работах [175-177] было показано, что наличие проблем с ресурсным обеспечением (неурожай), вызванных стихийными бедствиями или сельскохозяйственными вредителями и заболеваниями культур, имеет значительную положительную корреляцию с частотой военных столкновений (археологические данные о влиянии непредсказуемых колебаний ресурсной базы на частоту военных столкновений могут быть найдены, например, в [178,179]). Для догосударственных обществ корреляция между частотами стихийных бедствий (или неурожаев) и вооруженных столкновений r = 0,631 (p = 0,046) [176].

Проверка предложенной в работе модели кооперации на соответствие данным о влиянии регулярности доступности ресурса на агрессивность не представляет труда, так как в модели ресурс появляется в каждой из клеток среды фиксированными порциями с некоторой заданной вероятностью. Уменьшим в 10 раз количество ресурса в одной порции и увеличим в 10 раз вероятность появления ресурса относительно базовой модели (вариант 3 из таблицы 5), при этом суммарное количество ресурсов получаемых агентом не изменится. Подобная модификация модели должна привести к снижению доли агрессивных агентов в популяции и уменьшению частоты совершения агрессивных действий.

Рис. 22. Средние значения доли агрессивных агентов (а) и частоты действия f₆ («отнять ресурс у соседа») (б) в популяции для базовой модели и варианта модели с большей вероятностью появления ресурса (для обоих случаев k₃ =1500).

Расчет для модифицированного варианта модели был проведен для эффективности потребления ресурса k₃ = 1500, результаты расчета представлены на рис. 22. На рисунке видно, что оба показателя уровня агрессивности в модели при увеличении вероятности появления ресурса в 10 раз уменьшаются примерно в 3 раза, что находится в согласии с кросс-культурными данными.[9]

Интерпретация модели, как аналога примитивной общинной системы, позволяет сделать некоторые выводы общего характера, которые позволяют лучше понять ее место в исследовании социальной динамики и перспективы ее развития.

Почему до появления земледелия в человеческих сообществах отсутствовала сложная социальная организация? Отталкиваясь от результатов моделирования можно предположить, что основным фактором, сдерживающим развитие социальной организации, являлась низкая плотность населения, вызванная низкой эффективностью извлечения ресурсов из единицы территории. Это ограничивало концентрацию людей в одном месте, т.к. они были вынуждены или постоянно перемещаться в поисках пищи, или селиться в отдалении друг от друга. Следовательно, социальная организация не могла проэволюционировать в виду отсутствия «критической массы» людей, вынужденных постоянно взаимодействовать, коммуницировать друг с другом. Эксперименты с моделью показывают, что при низкой плотности населения (интервал k₃ < 2k₃^C) возможность кооперации (наличие маркеров) никак не влияет на эволюцию в системе. Примеры влияния плотности населения на сложность социальной организации могут быть найдены в этнографических источниках, так, например, индейцы Калифорнии, имевшие богатую ресурсную базу и умевшие заготовлять впрок желуди, являвшиеся их основным пищевым продуктом, обладали более сложной социальной организацией, чем охотники-собиратели из экологически бедных районов [181]. Другой пример, различие в степени социальной организации индейцев пима и папаго:

«Индейские племена из засушливых районов Аризоны, пима и папаго, живущие в разных природных условиях, еще до европейской колонизации совмещали земледелие с охотой и собирательством. У первых земледельческое хозяйство зависело от ирригации, использования речных вод, у вторых – от дождей и ручьев. Соответственно у них были и различные формы общественного строя: у пима – большие поселения, пользующиеся единой ирригационной системой, причем поселения имели тенденцию к политическому объединению, у папаго – небольшие деревни и аморфная политическая организация.» [162]

Таким образом, после появления земледелия, позволяющего гораздо более эффективно использовать территорию, людям приходится существовать большими группами. При этом группы с более сложной социальной организацией имеют больший потенциал адаптации в конкуренции за ресурсы с более простыми группами. Кроме того, увеличение уровня межобщинной агрессии также приводит к усилению давления отбора в сторону социальной интеграции. В соответствии с теорией группового отбора такой сценарий должен приводит к усложнению социальной организации между членами группы. При этом на социальную эволюцию все сильнее начинают влиять такие присущие только человеку механизмы кооперации, как наследование культурных традиций, культурная ассимиляция и непрямая взаимность. Изложенная в данной работе модель может быть модифицирована для исследования влияния этих механизмов на эволюцию социальной организации.

Основные результаты, представленные в данной главе, говорят о том, что предложенная эволюционная модель достаточно адекватно описывает основные черты социальной динамики в обществах охотников-собирателей и ранних земледельцев. Так для предложенной модели было показано, что:

1. Зависимость агрессивности от количества ресурсов в среде, полученная при моделировании качественно совпадает с антропологическими данными. Значительные различия двух характеристик модели – актуальной (количество совершаемых агрессивных действий) и потенциальной (количество агентов, имеющих в своем поведенческом репертуаре действие нападения) агрессивности при средних значениях ресурсной обеспеченности позволяет объяснить данные о реальных примитивных обществах, поведение которых противоречит общепринятым представлениям современной антропологии.

2. Из всех имеющихся на сегодня теорий и моделей, описывающих агрессивность в догосударственных обществах, исследуемая модель демонстрирует наиболее близкую к реальности зависимость между плотностью населения и уровнем конфликтности.

3. При повышении вероятности появления ресурса уровень агрессии в модели снижается, что соответствует результатам кросс-культурных исследований.

Глава 4. Модель эволюции адаптивного поведения, основанного на мотивациях

«Широкая работа кибернетика в области биологии неизбежно приводит к более трудным для логического анализа проблемам ВОЗНИКНОВЕНИЯ ЦЕЛЕСООБРАЗНОСТИ в материальных системах, возникающих в процессе естественной эволюции из неживой природы, знающей лишь сцепление ПРИЧИН И СЛЕДСТВИЙ.»

А.Н. Колмогоров

В процессе эволюции у различных животных возникло сложное адаптивное поведение. Одной из основных характеристик подобного поведения является целенаправленность. У животных целенаправленность проявляется в том, что поведение конкретной особи существенным образом зависит от внутреннего состояния самой особи, а не только от сигналов поступающих из внешней среды, как при рефлекторном поведении. Информацию о своем внутреннем состоянии животное получает при помощи мотиваций.

Мотивация – один из важных факторов целенаправленного поведения. Роль мотивации – формирование цели и поддержка целенаправленных форм поведения. Мотивация может рассматриваться как активная движущая сила, стимулирующая нахождение такого решения, которое адекватно потребностям животного в рассматриваемой ситуации.

Целенаправленное поведение наблюдается на различных уровнях организации живой материи, от самых простых до самых сложных. Это делает актуальной проблему исследования наиболее общих функциональных свойств, определяющих возможность возникновения целенаправленного поведения в процессе эволюции. Понимание основных механизмов целенаправленного поведения открывает возможности для их использования при разработке искусственных адаптивных систем.

Возникновение целенаправленности поведения в эволюции возможно лишь в том случае, когда целенаправленность будет приносить животному селективные преимущества по сравнению с другими особями, у которых целенаправленность отсутствует. Для того чтобы исследовать возникновение целенаправленности в данной работе моделируется эволюция двух типов популяций. В популяции первого типа агенты не имеют возможности получать информацию о своем внутреннем состоянии при помощи мотивации, тогда как в популяции второго типа такая возможность присутствует. Если наличие информации о собственных мотивациях достаточно для эволюции целенаправленного поведения моделирование должно привести к:

1. Более эффективному использованию ресурсов в популяции с мотивациями (большая численность популяции по сравнению с популяцией без мотиваций).

2. Использованию мотиваций агентами в поведении.

Основные предположения модели состоят в следующем:

1. Имеется популяция агентов, имеющих естественные потребности (Энергия, Размножение).

2. Каждая потребность характеризуется количественно мотивацией. Например, если энергетический ресурс агента мал, то есть мотивация найти пищу и пополнить энергетический ресурс.

Рассмотрим популяцию P агентов A, находящихся в одномерной клеточной среде, замкнутой в виде кольца. В клетках с некоторой вероятностью появляется ресурс, необходимый агентам для совершения действий. Кроме одномерности пространства модель обладает следующими основными отличиями от модели, изложенной в главе 3:

· в одной клетке может находиться только один агент;

· величина внутреннего ресурса r не ограничена;

· агенты не могут нападать друг на друга;

· агент-потомок может появиться только в результате скрещивания двух агентов-родителей.

Поле зрения агента представлено на рис. 23. Кроме информации о состоянии клеток в поле зрения вектор s значений входных переменных содержит информацию о собственной мотивации к пополнению внутреннего ресурса M_E и мотивации к размножению M_R, а также о величине мотивации к размножению у соседей. Полный список входных переменных и их определения приведены в таблице 10.

Рис. 23. Поле зрения агента (окружностями отмечены клетки, из которых агент может получать информацию, квадратом обозначен агент).

Таблица 10

Входная переменная	Значение
s₁, s₂, s₃	1 если в данной клетке поля зрения (слева, рядом, справа) есть ресурс, 0 в противном случае;
s₄, s₅	1 если в клетке слева/справа есть агент, 0 в противном случае;
s₆, s₇	мотивация к скрещиванию M_R соседа слева/справа;
s₈	собственная мотивация к поиску пищи
s₉	собственная мотивация к скрещиванию

Примечание: r₀ и r₁ – некоторые оптимальные значения внутреннего ресурса для насыщения и скрещивания соответственно.

Значения выходной переменной f, определяющей действия агента и соответствующих коэффициентов k_i изменения внутреннего ресурса агента, использовавшиеся при моделировании, приведены в таблице 11.

Таблица 11

f	действие	изменение внутреннего ресурса r*
f₀	скрещиваться с соседом справа	Dr = -k₀
f₁	скрещиваться с соседом слева	Dr = -k₁
f₂	прыгать	Dr = -k₂
f₃	двигаться на одну клетку вправо	Dr = -k₃
f₄	двигаться на одну клетку влево	Dr = -k₄
f₅	потреблять ресурс	Dr = -k₅
f₆	отдыхать	Dr = -k₆ + 2k₆, если ресурс соседа r_n ≥ 2k₆, Dr = -k₆ + r_n, в противном случае

* исходя из разумных допущений, при моделировании коэффициенты k_i были заданы в соответствии со следующими равенствами: k₀ = k₁ = k₂ = 5k₄, k₄ = k₃ = 2k₅, k₅ = 2k₆.

Если два агента в соседних ячейках осуществляют действие скрещивания, то возможно появление нового агента. В этом случае родители передают часть своей энергии потомку: r_A = - k₇, r_B = - k₇, где A и B – индексы родителей. Начальный ресурс потомка r_o равен переданной ему (от родителей) энергии r_o= 2k₇.

Оптимальный ресурс агента r₀ задавался на три-четыре порядка больше, чем затраты на выполнение какого-либо действия (r₀ = 10⁴ k_i), таким образом, наличие оптимального ресурса позволяло агенту существовать несколько тысяч тактов времени. Значение ресурса r₁, определяющее мотивацию к скрещиванию, задавалось как r₁ = 0,5r₀.

Количество энергии, передаваемое от одного родителя к потомку полагалось равным k₇ = 0,1r₀ . Т.е. с учетом того, что оба родителя передают такую энергию своему потомку, "новорожденные" агенты имели энергию 0,2r₀.

Количество энергии, получаемое агентом в результате съедания "одной порции" ресурса, было значительно больше типичной затраты на действия, но существенно меньше оптимального ресурса и составляло 0,02r₀.

Для данной модели геном агента содержал только матрицу весов связей W (см. главу 1). При появлении в популяции нового агента A_o его матрица весов W^o формировалась в два этапа. На первом этапе каждый вес потомка приравнивался соответствующему весу одного из двух родителей, выбранного случайно. Затем полученная матрица подвергалась воздействию мутаций с амплитудой p_m = 0,05 (см. главу 1).

В каждом эксперименте начальная популяция P состояла из 200 агентов A, которые имели одинаковые геномы g{W}. Геном агента начальной популяции был задан таким образом, что агент имел два основных "врожденных инстинкта": 1) пополнения ресурса и 2) размножения.

Инстинкт пополнения ресурса определяет действия агента при наличии травы в поле его зрения. Если агент видит траву в соседней клетке, то он должен двигаться к ней, если трава находится в одной с ним клетке, агент съедает ее.

При появлении в поле зрения другого агента включается инстинкт размножения. Этот инстинкт заключается в том, что при наличии соседа с ним нужно скрещиваться.

В дополнение к двум основным инстинктам был введен инстинкт "боязни тесноты". Этот инстинкт позволяет агентам сохранять свободу передвижения: если агент попадает в ситуацию, когда он с обеих сторон окружен соседями, то у него вырабатывается действие "прыгать".

Матрица весов агента начальной популяции W^init представлена в таблице 12.

Таблица 12

		входная переменная
		s₁ (ресурс в клетке слева)	s₂ (ресурс в той же клетке, что и сам агент)	s₃ (ресурс в клетке справа)	s₄ (сосед слева)	s₅ (сосед справа)
действие	f₀ (скрещиваться с соседом справа)					0,6
	f₁ (скрещиваться с соседом слева)				0,6
	f₂ (прыгать)				0,4	0,4
	f₃ (двигаться на одну клетку вправо)			0,7
	f₄ (двигаться на одну клетку влево)	0,7
	f₅ (потреблять ресурс)		0,8

Примечание. Веса, не указанные в таблице, у агентов начальной популяции приравнивались нулю. Во всех экспериментах W_max = 1.

С моделью была проведена серия экспериментов. В отдельном эксперименте моделировалась эволюция популяции агентов с мотивациями или популяции, в которой агенты не могли получать информацию о своих мотивациях (в этом случае мотивационные входы нейронной сети имели постоянное значение, т.е. не изменялись в течение «жизни» отдельного агента). Ниже первый тип популяции будет называться «популяция без мотиваций», а второй – «популяция с мотивациями».

Основным количественным показателем, по которому определялось "качество жизни" агентов, была общая численность популяции. На рис. 24 представлены зависимости общей численности популяции от времени для агентов с мотивациями и без мотиваций при различном количестве пищи в нашей клеточной среде. Количество пищи задавалось параметром P_g – вероятностью случайного появления травы в каждый такт времени в каждой клетке.

Рис. 24. Динамика численности популяции (начальная численность популяции 200 агентов, размер мира 900 клеток) для агентов с мотивациями и без мотиваций при различных вероятностях роста травы P_g: а) P_g =1/2000 (в любой клетке трава появляется случайно в среднем через 2000 тактов); б) P_g = 1/200; в) P_g = 1/20.

Если пищи мало (рис. 24а), то зависимость численности популяции агентов с мотивациями и популяции агентов без мотиваций ведет себя практически одинаково. Так как травы мало, то в этом случае агенты не успевают пополнять свой ресурс, и через некоторое время (около 10 - 15 тысяч тактов), израсходовав начальную энергию, все агенты погибают.

При среднем количестве пищи (рис. 24б) популяция успешно развивается, если в процессе эволюции на первом этапе в популяции возникает эффективная стратегия поведения. Для популяции агентов с мотивациями такая стратегия находится, а для популяции без мотиваций – нет. Рисунок 24б демонстрирует, что в популяции агентов с мотивациями около 150-ти тысячного такта происходит благоприятная мутация, и численность популяции начинает расти. В случае отсутствия мотиваций популяция постепенно вымирает.

При избытке пищи (рис. 24в) агенты с мотивациями находят более эффективную жизненную стратегию, чем агенты без мотиваций: конечное число агентов в эксперименте с мотивациями более чем в полтора раза превышает численность популяции в эксперименте без мотиваций.

Итак, приведенные результаты показывают, что популяция агентов, имеющих мотивации, лучше приспосабливается к окружающей среде, чем популяция агентов без мотиваций. Этот факт подтверждается и рядом аналогичных экспериментов, выполненных для других темпов роста травы.

Рассмотрим детали формирования мотивированного поведения агентов на примере эксперимента со средним уровнем пищи (рис. 24б).

На рис. 25 а, б показана зависимость от времени общей численности популяции, а также численности агентов, выполняющих действия "отдыхать" и "питаться". Мы выбрали эти кривые, так как большинство агентов в популяции выполняют именно эти действия. Рисунок 25в, на котором показана "нижняя часть" рис. 25б в увеличенном масштабе, дает представление об эволюции остальных действий агентов.

Видно, что на временном отрезке 0 - 10 тысяч тактов численность популяции быстро падает (с 200 примерно до 100), затем наблюдается небольшой рост. На отрезке 10 - 40 тысяч тактов доля "питающихся", составлявших подавляющее большинство в общей численности в начале эволюции, сокращается, а доля "отдыхающих" растет, это говорит о том, что происходит отбор наиболее приспособленных. Действие "отдыхать" требует наименьших затрат энергии и следовательно, когда поведение агента не направлено на удовлетворение "врожденных инстинктов", то есть, когда агент не видит травы или другого агента, ему выгодно выбирать именно это действие. На следующем этапе (50 - 150 тысяч тактов) в популяции агентов с мотивациями (рис. 25б)) эволюция оптимизирует веса, связывающие нейроны агента с мотивационными входами, и затем начинается рост численности. В случае отсутствия мотиваций популяция постепенно вымирает.

Рис. 25. Динамика распределения агентов по совершаемым действиям (эксперимент тот же, что и на рис. 24б)): а) мотивации отсутствуют; б) с мотивациями; в) детали рис. 25б).

Проведем анализ весов нейронной сети, выработанных в процессе моделируемой эволюции в эксперименте, представленном на рисунках 24б) и 25.

Рис. 26. Усредненные по всем агентам веса нейронной сети. Расшифровка обсуждаемых номеров весов представлена в тексте, полный список номеров весов приведен в таблице 13.

Таблица 13

	s₁	s₂	s₃	s₄	s₅	s₆	s₇	s₈	s₉
f₀	1	8	15	22	29	36	43	50	57
f₁	2	9	16	23	30	37	44	51	58
f₂	3	10	17	24	31	38	45	52	59
f₃	4	11	18	25	32	39	46	53	60
f₄	5	12	19	26	33	40	47	54	61
f₅	6	13	20	27	34	41	48	55	62
f₆	7	14	21	28	35	42	49	56	63

Начальные и усредненные по популяции конечные веса синапсов нейронной сети показаны на рис. 26. Видно, что большинство весов изменяются не слишком сильно, причем часто веса, которые имеют одинаковый смысл (с учетом симметрии нашего одномерного мира), имеют разные знаки изменения. Например, веса 5 (от входа "ресурс слева" к выходу "двигаться влево") и 18 (от входа "ресурс справа" к выходу "двигаться вправо") в эволюции с мотивациями меняются по разному, т.е., скорее всего, эти изменения просто случайны. Поэтому имеет смысл обсудить только наиболее значимые изменения весов. Наибольшие изменения в эволюции с мотивациями произошли с весами 56 (от входа "мотивация к пополнению ресурса" к выходу "отдых") и 59 (от входа "мотивация к скрещиванию" к выходу "прыгать"). Причем аналогичные изменения этих весов наблюдаются и в других экспериментах. Поэтому изменения этих весов можно считать достаточно достоверными и эволюционно значимыми. В начальной популяции оба этих веса равны нулю, поэтому их изменения равны самим этим весам. Проанализируем влияние этих весов. Положительный вес 56 способствует выжидательной тактике агента, когда он «хочет» есть, но в его поле зрения отсутствует ресурс. Если агент хочет скреститься, то для этого агента отрицательный вес 59 тормозит прыжки, которые могут приводить к уходу от партнера по скрещиванию. Оба веса эти веса имеют адаптивное значение.

Результаты моделирования позволяют нам представить эволюцию схемы управления действиями агента, обладающего мотивациями.

В нашей модели агент имеет две основные потребности: потребность получать энергию и потребность размножаться. Оба этих свойства являются обязательными для любого живого организма. Энергия необходима для существования организма, а размножение делает возможным существование вида.

Работу нейронной сети агентов исходной популяции можно представить как управление в соответствии с простейшими программами действий, которые необходимо выполнять агенту при определенных внешних условиях. Так программу пополнения ресурса энергии можно представить следующим образом: 1. "ВИЖУ ЕДУ" -> "ЕСТЬ", а программу размножения: 2. "ВИЖУ СОСЕДА" -> "СКРЕЩИВАТЬСЯ" (Отметим, что в программе пополнения ресурса подразумевается возможность промежуточного действия "двигаться в клетку с едой" в случае, когда агент видит еду в соседней клетке).

Естественно, что в течение "жизни" агент может встречаться с конфликтными ситуациями, когда складываются условия для выполнения обеих программ, например, когда справа от агента "трава", а слева другой агент. Для разрешения подобных конфликтов веса исходной нейронной сети были выбраны так, чтобы обеспечить несколько больший приоритет действиям, направленные на пополнение ресурса (см. таблицу 12). Так как поведение агентов эволюционирует, то изначально заданные стратегии поведения могут изменяться, и возможно появление других программ действий обеспечивающих лучшую приспособленность популяции к внешней среде.

Рассмотрим сначала эволюцию стратегии поведения в популяции агентов, не обладающих мотивациями. Изначально у агентов имеются две заданные программы действий, направленные на пополнение ресурса и размножение, а в ситуации, когда возбуждение входов агента не соответствует какой-либо из программ, выбор действия ничем не определен. Через некоторое время эволюция вырабатывает для этого случая следующую программу: 3. "НЕ ВИЖУ НИЧЕГО" -> "ОТДЫХАТЬ". Теперь действия определены для любых внешних условий, и стратегию поведения агента можно описать так (рис. 27):

1. вижу траву – есть;

2. вижу соседа, но не вижу травы – скрещиваться;

3. не вижу ничего – отдыхать.

Эволюционный отбор "отдыхающих", при отсутствии внешних раздражителей, агентов происходит потому, что затраты энергии на отдых минимальны.

Видно, что поведение агента однозначно зависит от внешних раздражителей, это можно рассматривать как поведение, состоящее из одних только простых безусловных рефлексов, когда выбор действия напрямую определяется текущим состоянием окружающей среды.

Рис. 27. Схема управления агента без мотиваций.

Рис. 28. Схема управления агента, обладающего мотивациями.

Рассмотрим теперь эволюцию системы управления агента, обладающего мотивациями. Наличие мотиваций позволяет эволюции формировать следующую модель поведения. В дополнение к трем программам, рассмотренным выше, появляется следующий уровень управления – метапрограмма, управляющая выбором выработанных программ в зависимости от мотиваций. В случае малого ресурса мотивация к пополнению ресурса тормозит потребность в скрещивании, выключая программу 2. В случае большого ресурса включается мотивация к размножению, что делает размножение предпочтительным, хотя и потребление пищи здесь также возможно. Найденную стратегию можно представить следующим образом (рис. 28):

1. мало ресурса – выполнять программы 1 и 3;

2. много ресурса – выполнять программы 1, 2 и 3.

Рассмотрим как схема управления агента, обладающего мотивациями, приведенная на рис. 28, реализуется в нейронной сети агента (рис. 26). В ситуации, когда агент видит соседа, но не видит рядом ресурса, у него существует две конкурирующие программы – «2. Скрещиваться» (действие f₀ или f₁) и «3. Отдыхать» (действие f₆). На выбор одной из этих программ влияют веса от сенсорного входа, говорящего о наличии агента (s₃ или s₄), и мотивационных входов (s₈ и s₉) (значения весов показаны на рис. 26 номера весов приведены в таблице 13). Действие с максимальной активацией, вычисленной по формуле (1.13), реализуется. Активации обеих программ для ситуаций «Сосед справа, много ресурса» и «Сосед справа, мало ресурса» приведены в таблице 14. Из таблицы видно, что при низком значении внутреннего ресурса действие, направленное на размножение, подавляется, и агент предпочитает отдыхать, а при высоком значении внутреннего ресурса наблюдается обратная ситуация. Таким образом, значения весов, полученные в эксперименте, подтверждают схему, приведенную на рис. 28.

Таблица 14

	«2. Скрещиваться»	«3. Отдыхать»
«Сосед справа, много ресурса»	0,373026	0,343491
«Сосед справа, мало ресурса»	0,311114	0,551753

Переход от схемы управления без мотиваций (рис. 27) к схеме с мотивациями (рис. 28) можно рассматривать как переход от рефлекторного поведения к целенаправленному.

Переход от схемы управления без мотиваций к схеме с мотивациями можно также рассматривать как возникновение системы регулирования энергетического ресурса агентов. Данная система регулирования стремится поддерживать ресурс в окрестности оптимальных значений r₀, r₁. Более того, сделанный нами выбор параметров, определяющих затраты агента на размножение и пополнения ресурса при питании, позволяет интерпретировать данную систему регулирования, как регулирование цикла "накопление ресурса - размножение". Напомним, что при размножении агент передает потомку количество энергии, равное 0,1r₀, а при поглощении одной порции пищи увеличение его энергии составляет только 0,02r₀. После размножения агенту целесообразно накопить энергию, т.е. несколько раз поесть, а затем снова можно будет произвести потомка. Следовательно, деятельность агента можно представить в виде чередования действий, направленных на накопление ресурса и размножение. Естественно ожидать, что при эффективной "жизнедеятельности" агентов (т. е. направленной на поддержание максимальной скорости роста численности популяции), их ресурс должен поддерживаться в окрестности значений, близких к оптимальным r₀, r₁. Однако, если мотивации отсутствуют, то агент не может следить за своим внутренним ресурсом, т.е. данная система регулирования ресурса не работает.

Рис. 29. Зависимость среднего энергетического ресурса агентов выполняющих действие "скрещиваться" от времени в логарифмическом масштабе (эксперимент тот же, что и на рис. 24б): а) мотивации отсутствуют; б) с мотивациями.

Экспериментальные результаты показывают, что модель демонстрирует описанный эффект (рис. 29). Для поддержания оптимального внутреннего энергетического ресурса агентам необходимо вырабатывать действие "скрещиваться" сразу же при появлении мотивации к нему (r > r₁, M_R = 1), и тормозить "скрещивание" в отсутствие мотивации к нему (r < r₁, M_R < 1). Рисунок 29б) демонстрирует, что в популяции с мотивациями после 1 000 000 такта в значительном числе случаев средняя энергия агентов, вырабатывающих действие скрещивания, лежит в области, соответствующей оптимальным значениям ресурса (r₁ < r_ср < r₀). Если же мотивации отсутствуют (рис. 29а)), то эффект регулирования не наблюдается.

Основные результаты проведенного моделирования таковы:

1) Целенаправленное поведение действительно возникает в ходе проанализированного нами эволюционного процесса. А именно, если сравнить популяцию агентов, имеющих мотивационные входы, с популяцией агентов, в которых эти входы искусственно "подавлены", то эволюционный процесс приводит к тому, что первая популяция (с мотивациями) имеет значительные эволюционные преимущества по сравнению со второй (без мотиваций).

2) В рамках этой модели возникает парадоксальное поведение агентов: они не только обучаются действовать в соответствии с ситуациями во внешней среде, но и находят стратегию поведения "не суетись" – часто агенты ничего не делают, выжидая удобного момента, когда ситуация во внешней среде изменится и нужно будут совершить действие, приводящее к полезному результату.

Основные результаты диссертации

1. Предложен новый способ формального описания моделей искусственной жизни, базирующийся на работах по теории автоматов. В рамках этого формализма на основе теории динамических систем были разработаны методы исследований данного класса компьютерных моделей.

2. Впервые в области искусственной жизни предложена и исследована модель эволюции родственных отношений. Механизмы родственного отбора в модели, детально проанализированы с использованием разработанных в работе методов. Выявлены различные типы кооперации родственников и их влияние на популяционную динамику. Обнаружено эволюционное возникновение и развитие стратегий «вороны» и «скворцы».

3. Построена и исследована модель эволюции поведенческих стратегий в обществах, не имеющих сложной социальной организации. Показано, что изменение уровня предрасположенности к агрессии и частоты межобщинных конфликтов при изменении обеспеченности жизненными ресурсами находятся в согласии с данными об архаичных обществах. Проведено сравнение предсказаний модели в отношении связи между частотой конфликтов и плотностью населения с предсказаниями альтернативных моделей и этнографическими данными, которое продемонстрировало, что предложенная в диссертации модель наиболее адекватна.

4. Построена и исследована модель эволюционного возникновения целенаправленного поведения, обусловленного мотивациями, продемонстрировано, что мотивации играют важную роль в формировании адаптивного поведения.

Литература

1. Николис Г., Пригожин И. Самоорганизация в неравновесных системах. – М.: Мир, 1979.

2. Хакен Г. Синергетика. – М.: Мир, 1980.

3. Пределы предсказуемости / Сб. статей под ред. Ю.А. Кравцова. М.: Центрком, 1997.

4. Нейман Дж. Теория самовоспроизводящихся автоматов. – М.: Мир, 1971.

5. Цетлин М.Л. Исследования по теории автоматов и моделированию биологических систем. – М.: Наука, 1969.

6. Кулагина О.С., Ляпунов А.А. К вопросу о моделировании эволюционного процесса // сб. «Проблемы кибернетики», вып. 16. M.: Наука, 1966.

7. Evolution, Games and Learning: Models for Adaptation in Machines and Nature // Physica D V.22D, N(1-3), 1986.

8. Новое в синергетике. Взгляд в третье тысячелетие. Сборник статей под ред. Г.Г.Малинецкого, С.П.Курдюмова. – М.: Наука, 2002.

9. Куракин П.В., Малинецкий Г.Г. На пороге «субъективной» синергетики (синергетика II). Синергетика. Труды семинара. Т.3, С.242-250. М.: изд-во МГУ, 2000.

10. Редько В.Г. Эволюционная кибернетика. – М.: Наука, 2001.

11. Holland J.H. Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence. – Cambridge, Massachusetts: MIT Press, 1992.

12. Эволюционная эпистемология и логика социальных наук: Карл Поппер и его критики. Под ред. Садовского В.Н. – M.: Эдиториал УРСС, 2000.

13. Эволюция, культура, познание. - М., 1996.

14. Nelson R.R., Winter S.G. An Evolutionary Theory of Economic Change. – London: Belknap Press, 1982.

15. The Economy as an Evolving Complex System // Anderson P.W., Arrow K.J., Pines, D. (eds.), Addison-Wesley, Reading, Mass., 1988.

16. von Neumann J., Morgenstern O. Theory of Games and Economic Behaviour. – Princeton: Princeton University Press, 1947.

17. Nash J. Non-cooperative games // Ann. Math. V.54, p.287-295, 1951.

18. Maynard Smith J. The theory of games and the evolution of animal conflicts // J. Theor. Biol. V.47, p.209-221, 1974.

19. Maynard Smith J. Evolution and the Theory of Games. – Cambridge: Cambridge University Press, 1982.

20. Hofbauer J., Sigmund K. Evolutionary Games and Population Dynamics. – Cambridge: Cambridge University Press, 1998.

21. Hofbauer J., Sigmund K. Evolutionary game dynamics // Bull. Am. Math. Soc. V.40, N4, p.479-519, 2003.

22. Lorenz K. On Aggression. – London: Methuen, 1966.

23. Wilson E.O. Sociobiology: The New Synthesis. – Cambridge, MA: Harvard University Press, 1975.

24. Boyd R., Richerson P.J. Culture and the evolutionary process. – Chicago: University of Chicago Press, 1985.

25. Sober E., Wilson D.S. Unto Others: The Evolution and Psychology of Unselfish Behavior. – Cambridge, MA: Harvard University Press, 1998.

26. Richerson P.J., Boyd R., Henrich J. The Cultural Evolution of Human Cooperation // The Genetic and Cultural Evolution of Cooperation, P. Hammerstein ed., p.357–388. Cambridge MA: MIT Press, 2003.

27. Fisher R.A. The genetical theory of natural selection. – Oxford: Clarendon Press, 1930.

28. Haldane, J. B. S. A mathematical theory of natural and artificial selection. Parts I-V // Transactions of the Cambridge Philosophical Society V.23, 1924-1927.

29. Wright S. Evolution in Mendelian populations // Genetics V.16, p.97-159, 1931.

30. Ariew A., Lewontin R. C. The Confusions of Fitness // Brit. J. Phil. Sci. V.55, p.347–363, 2004.

31. Lotka A. J. Undamped oscillations derived from the law of mass action // J. Am. Chem. Soc. V.42, p.1595–1599, 1920.

32. Volterra V. Variozioni e ﬂuttuazioni del numero d’individui in specie animali conviventi // Mem. Accad. Naz. Lincei V.2, p.31–113, 1926.

33. Crutchfield J.P. When Evolution is Revolution: Origins of Innovation // Evolutionary Dynamics: Exploring the Interplay of Selection, Neutrality, Accident, and Function / J. P. Crutchfield and P. Schuster eds. – NY: Oxford University Press, 2003.

34. Burtsev M.S. Tracking the Trajectories of evolution // Artificial Life V.10, p.397-411, 2004.

35. Page K.M., Nowak M.A. Unifying Evolutionary Dynamics // J. theor. Biol. V.219, p.93–98, 2002.

36. Hamilton W.D. The evolution of altruistic behavior // Am. Nat. V.97. p.354-356, 1963.

37. Hamilton W.D. The genetical evolution of social behavior, I and II // J. Theor. Biol. V.7, p.1-52, 1964.

38. Maynard Smith J. Kin selection and group selection // Nature V.201, p.1145-1147, 1964.

39. Wright S. Tempo and Mode in Evolution: A Critical Review // Ecology V.26, N.4, p.415-419, 1945.

40. Wilson D.S. A theory of group selection // Proc. Nat. Acad. Sci. USA. V.72, N1, p.143-146, 1975.

41. Trivers R. The evolution of reciprocal altruism // Q. Rev. Biol. V.46, p.35-57, 1971.

42. Wilson D.S., Dugatkin L.A. Group selection and assortative interactions // Amer. Natur. V.149, N2, p.336-351, 1997.

43. Eshel I., Cavalli-Sforza L.L. Assortment of encounters and evolution of cooperativeness // PNAS (Part 1: Biological Sciences) V.79, N4, p.1331-1335, 1982.

44. Nowak M.A. May R. M. Evolutionary games and spatial chaos // Nature V.359, p.826-829, 1992.

45. Brauchli K., Killingback T., Doebeli M. Evolution of cooperation in spatially structured populations // J. theor. Biol. V.200, p.405-417, 1999.

46. Artificial Life // Langton C.G. ed. – MA: The MIT Press, 1995.

47. Adami C. Introduction to Artificial Life. – NY: Springer Verlag, 1998.

48. Axtell R. Why agents? On the varied motivations for agent computing in the social sciences // Center for Social and Economic Dynamics, Working Paper N17, 2000.

49. Lansing J.S. “Artificial Societies” and the Social Sciences // Artificial Life V.8, p.279-292, 2002.

50. Adaptive Agents, Intelligence, and Emergent Human Organization: Capturing Complexity through Agent-Based Modeling // Proc. Nat. Acad. Sci. V.99 (supl 3), p.7187-7316, 2002.

51. Axtell R., Axelrod R., Epstein J., Cohen M. Aligning Simulation Models: A Case Study and Results // Computational and Mathematical Organization Theory, V.1, p.123-141, 1996.

52. Raven M.J., Bedau M.A. A General Framework for Evolutionary Activity Statistics // Lecture Notes in Computer Science, 2801/2003. Advances in Artificial Life, p.676-685, 2003.

53. Ахромеева Т.С., Курдюмов С.П., Малинецкий Г.Г., Самарский А.А. Нестационарные структуры и диффузионный хаос. – М.: Наука, 1992.

54. Эбелинг В., Энгель А., Файстель Р. Физика процессов эволюции. – М.: Эдиториал УРСС, 2001.

55. May R. M. Stability and Complexity in Model Ecosystems. – Princeton, NJ: Princeton University Press, 2001.

56. Eigen M., Schuster P. Hypercycle–principle of natural self-organization. A. Emergence of hypercycle. // Naturwissenschaften V.64, p.541–565, 1977.

57. Эйген М., Шустер П. Гиперцикл. Принципы самоорганизации макромолекул. – М.: Мир, 1982.

58. Eigen M., Mccaskill J., Schuster P. The molecular quasispecies // Adv. Chem. Phys. V.75, p.149–263. 1989.

59. Altmeyer S., Fuchslin R.M., McCaskill J.S. Folding Stabilizes the Evolution of Catalysts // Artificial Life V.10, p.23–38, 2004.

60. Sasaki A., Nowak M.A. Mutation landscapes // J. Theor. Biol. V.224, p.241-247, 2003.

61. Nowak M.A., Sigmund K. Evolutionary Dynamics of Biological Games // Science V.303, p.793-799, 2004.

62. Hofbauer J. From Nash and Brown to Maynard Smith. Equilibria, Dynamics, and ESS // Selection V.1, p.81-88, 2000.

63. Maynard Smith J., Price G. R. The logic of animal conflicts // Nature V.246, N.15, 1973.

64. Gavrilets S., Arnqvist G., Friberg U. The evolution of female mate choice by sexual conflict // Proceedings of the Royal Society London B V.268, p.531-539, 2001.

65. Kauffman S.A., Johnsen S. Coevolution to the edge of chaos: Coupled fitness landscapes, poised states, and coevolutionary avalanches // J. Theor. Biol. V.149, p.467-505, 1991.

66. Kauffman S.A. Origins of Order: Self-Organization and Selection in Evolution. – Oxford: Oxford University Press, 1993.

67. Kauffman S.A. At Home in the Universe. – Oxford: Oxford University Press, 1993.

68. Bak P. How nature works: the science of self-organized criticality. – NY: Springer-Verlag, 1996.

69. Newman M.E.J., Palmer R.G. Modelling Extinction. – Oxford: Oxford University Press, 2003.

70. Bak P., Sneppen K. Punctuated equilibrium and criticality in a simple model of evolution // Phys. Rev. Lett. V.71, N24, p.4083‑4086, 1993.

71. Подлазов А.В. Новые математические модели, методы и характеристики в теории самоорганизованной критичности / тезисы диссертации. – М. 2001.

72. Harvey I. Artificial Evolution for Real Problems / In T. Gomi (Ed.), Evolutionary Robotics: From Intelligent Robots to Artificial Life (ER'97), AAI Books, 1997.

73. Sharpe O. J. Towards a Rational Methodology for Using Evolutionary Search Algorithms / Ph. D. Dissertation. – University of Sussex, 2000.

74. Barnett L. Explorations in Evolutionary Visualisation / In Bilotta E., et al. (Eds.), ALife VIII Workshops, p.113-118. UNSW, 2002.

75. Layzell P. Visualising Evolutionary Pathways in Real-World Search Spaces / In Bilotta E., et al. (Eds.), ALife VIII Workshops, p.149-154. UNSW, 2002.

76. Dopazo H., Gordon M.B., Perazzo R., Risau-Gusman S. A Model for the Emergence of Adaptive Subsystems // Bulletin of Mathematical Biology, V.65, p.27–56, 2003.

77. Wright S. The roles of mutation, inbreeding, crossbreeding, and selection in evolution // In Proceedings of the Sixth International Congress on Genetics, pp.355-366, 1932.

78. Bedau M.A., Packard N.H. Measurement of evolutionary activity, teleology, and life / In C. G. Langton, C. Taylor, J. D. Farmer, and S. Rasmussen, (Eds.), Proceedings of Artificial Life II, p.431-461. Redwood City, CA: Addison-Wesley, 1992.

79. Bedau M.A., Snyder E., Packard N.H. A classification of long-term evolutionary dynamics / In C. Adami, R. Belew, H. Kitano, and C. Taylor, (Eds.), Proceedings of Artificial Life VI, p.228-237. Cambridge, MA: MIT Press, 1998.

80. Bedau M.A., Brown C.T. Visualizing evolutionary activity of genotypes // Artificial Life V.5, p.17-35, 1999.

81. Bedau M.A., Raven M.J. Visualizing Adaptive Evolutionary Activity of Allele Tokens and of Phenotypic Equivalence Classes of Alleles / In Bilotta, E., et al. (Eds.), ALife VIII Workshops, p.119-130. UNSW, 2002.

82. Channon A.D. Passing the ALife test: Activity statistics classify evolution in Geb as unbounded / In J. Kelemen, P. Sosik (Eds.), Advances in Artificial Life, Proceedings of 6th European Conference, p.417-426. Prague, Czech Republic: Springer, 2001.

83. Pachepsky E., Taylor T., Jones S. Mutualism promotes diversity and stability in a simple artificial ecosystem // Artificial Life, N.8, p.5-24, 2002.

84. Малинецкий Г.Г., Потапов А.Б. Современные проблемы нелинейной динамики. – М.: УРСС, 2000.

85. Eldredge N., Gould S.J. Punctuated equilibria: an alternative to phyletic gradualism // Models in Paleobiology, p.82-115. San Francisco, 1972.

86. Cliff D., Miller G.F. Tracking the Red Queen: Measurements of adaptive progress in co-evolutionary simulations / In F. Moran, A. Moreno, J.J. Merelo and P. Cachon (Eds.), Advances in Artificial Life, Proceedings of the Third European Conference on Artificial Life, p.200-218. Springer Verlag, 1995.

87. Burtsev M.S. Measuring the Dynamics of Artificial Evolution // Lecture Notes in Computer Science, 2801/2003. Advances in Artificial Life, p.580-587, 2003.

88. Axelrod R., Hamilton W.D. The evolution of cooperation // Science V.211, p.1390-1396, 1981.

89. Wright S. Statistical genetics and evolution // Bulletin of the Amer. Mathematical Society V.48, p.223-246, 1942.

90. Levins R. Extinction / In Some mathematical questions in biology: lectures on mathematics in the life sciences // Amer. Math. Soc. V.2, p.75-108, 1970.

91. Eshel I. On the neighbor effect and the evolution of altruistic traits // Theor. Popul. Biol. V.3, p.258-277, 1972.

92. Boorman S.A., Levitt P.R. Group selection on the boundary of a stable population // Theor. Popul. Biol. V.4, p.85-128, 1973.

93. Levin B.R., Kilmer W.L. Interdemic selection and the evolution of altruism: a computer simulation study // Evolution. V.28, N4, p.527-545, 1974.

94. Gilpin M.E. The theory of group selection in predator prey communities. – Princeton University Press, Princeton N.J. 1975.

95. Wilson D.S. Structured demes and the evolution of group-advantageous traits // Amer. Natur. V.111, N977, p.157-185, 1977.

96. Gadgil M. Evolution of social behaviors through interpopulation selection // Proc. Natl. Acad. Sci. USA. V.72, p.1199-1201, 1975.

97. Charnov E.L., Krebs J.R. The evolution of alarm calls: altruism or manipulation? // Amer. Natur. V.109, p.107-112, 1975.

98. Matessi C., Jayakar S.D. A model for the evolution of altruistic behavior // Genetics. V.47, p.174, 1973.

99. Matessi C., Jayakar S.D. Conditions for the evolution of altruism under Darwinian selection // Theor. Popul. Biol. V.9, p.360-387, 1976.

100. Cohen D., Eshel I. On the founder effect and the evolution of altruistic traits // Theor. Popul. Biol. V.10, p.276-302, 1976.

101. Taylor P.D., Wilson D.S. A mathematical model for altruism in haystacks // Evolution. V.42, N1, p.193-196, 1988.

102. Tanaka Y. A quantitative genetic model of group selection // Amer. Natur. V.148, N4, p.660-683, 1996.

103. Silva A.T.C., Fontanari J.F. Deterministic group selection model for the evolution of altruism // Eur. Phys. J. B. V.7, p.385-392, 1999.

104. Silva A.T.C., Fontanari J.F. Stochastic group selection model for the evolution of altruism // Physica A. V.268, p.257-268, 1999.

105. Ono S., Misawaz K., Tsujiy K. Effect of Group Selection on the Evolution of Altruistic Behavior // J. theor. Biol. V.220, p.55-66, 2003.

106. Cooper B., Wallace C. Group selection and the evolution of altruism // Oxford Economic Papers. V.56, p.307-330, 2004.

107. Hauert C., Doebeli M. Spatial structure often inhibits the evolution of cooperation in the snowdrift game // Nature V.428, p.643–646, 2004.

108. Killingback T., Doebeli M., Knowlton N. Variable investment, the continuous prisoner’s dilemma, and the origin of cooperation // Proc. R. Soc. Lond. B V.266, p.1723-1728, 1999.

109. Irwin A.J., Taylor P.D. Evolution of altruism in stepping-stone populations with overlapping generations // Theor. Pop. Biol. V.60, p. 315-325, 2001.

110. Doebeli M., Knowlton N. The evolution of interspecific mutualisms // PNAS V.95, p.8676-8680, 1998.

111. Traulsen A., Schuster H.G. Minimal model for tag-based cooperation // Physical Review E. V.68, p.046129, 2003.

112. McNamara J.M., Barta Z., Houston A.I. Variation in behavior promotes cooperation in the Prisoner’s Dilemma game // Nature V.428, p.745-748, 2004.

113. McNamara J.M., Gasson C.E., Houston A.I. Incorporating rules for responding into evolutionary games // Nature V.401, p.368-371, 1999.

114. Nowak M.A., Sigmund K. Evolution of indirect reciprocity by image scoring // Nature V.393, p.573-577, 1998.

115. Taylor P.D., Day T. Stability in negotiation games and the emergence of cooperation // Proc. R. Soc. Lond. B. V.271, p.669-674, 2004.

116. Riolo R., Cohen M.D., Axelrod R. Evolution of cooperation without reciprocity // Nature V.414, p.441–443, 2001.

117. Cohen M.D., Riolo R L. Axelrod R. The role of social structure in the maintenance of cooperative regimes // Rationality Soc. V.13, p.5-32, 2001.

118. Mitteldorf J., Wilson D.S. Population Viscosity and the Evolution of Altruism // J. theor. Biol. V.204, p.481-496, 2000.

119. Peck J.R. Friendship and the evolution of co-operation // J. theor. Biol. V.162, p.195-228, 1993.

120. Pepper J.W. Relatedness in trait group models of social evolution // J. theor. Biol. V.206, p.355-368, 2000.

121. Wade M.J. Soft selection, hard selection, kin selection, and group selection // Am. Nat. V.125, N1, p.61-73, 1985.

122. Hamilton W.D. Altruism and related phenomena, mainly in social insects // Annual Review of Ecology and systematics V.3, p.193-232, 1972.

123. Maynard Smith J. Models of evolution // Proc. of the Royal Soc. of London. Series B., V.219, N1216, p.315-325, 1983.

124. Boorman S.A., Levitt P.R. A frequency-dependent natural selection model for the evolution of social cooperation networks // Proc. Nat. Acad. Sci. USA. V.70, N1, p.187-189, 1973.

125. Boyd R., Richerson P.J. Effect of phenotypic variation on kin selection // PNAS V.77, N.12, p.7506-7509, 1980.

126. Charlesworth B. A note on the evolution of altruism in structured demes // Amer. Natur. V.113, N4, p.601-605, 1979.

127. Maynard Smith J. The Evolution of Alarm Calls // Am. Nat. V.99, N904, p.59-63, 1965.

128. Michod R.E., Abugov R. Adaptive topography in family-structured models of kin selection // Science, New Series. V.210, N4470, p.667-669, 1980.

129. Queller D.C. A general model for kin selection // Evolution. V.46, N2, p.376-380, 1992.

130. Slatkin M., Wade M.J. Group selection on a quantitative character // PNAS V.75, N7, p.3531-3534, 1978.

131. Eshel I., Hamilton W.D. Parent-offspring correlation in fitness under fluctuating selection // Proc. R. Soc. Lond. B. V.222, p.1-14, 1984.

132. Axelrod R., Hammond R.A., Grafen A. Altruism via kin-selection strategies that rely on arbitrary tags with which then co-evolve // Evolution. V.58, p.1833-1838, 2004.

133. Nowak M.A., Sasaki A., Taylor C., Fudenberg D. Emergence of cooperation and evolutionary stability in finite populations // Nature V.428, p.646–650, 2004.

134. Crumley C.L. A Dialectical Critique of Hierarchy / In Patterson, Th.C., and Gailey, Chr. W. (eds.), Power Relations and State Formation, p. 155-169. Washington DC: American Anthropological Association, 1987.

135. Beyond Chiefdoms: Pathways to Complexity in Africa / McIntosh S.K. (ed.). – Cambridge: Cambridge University Press, 1999.

136. Альтернативные пути к цивилизации. Сб. Под ред. Н.Н. Крадин, А.В.Коротаев, Д.М. Бондаренко, В.А.Лынша. – М.: Логос, 2000.

137. Коротаев А.В. Социальная эволюция: факторы, закономерности, тенденции. – М.: Вост. лит., 2003.

138. Claessen H.J.M. Was the State Inevitable? / In Grinin, L.E., Carneiro, R.L., Bondarenko, D.M., Kradin, N.N., and Korotayev, A.V. (eds.) The Early State, Its Alternatives and Analogues, p.72-87. Volgograd: Uchitel Publishing House, 2004.

139. Levinson D., Malone M. Toward Explaining Human Culture. – New Haven, CT: HRAF Press, 1980.

140. Капица С.П., Курдюмов С.П., Малинецкий Г.Г. Синергетика и прогнозы будущего. – М.: Наука, 1997.

141. Lenski G. Power and Privilege. – Chapel Hill: University of North Carolina Press, 1966.

142. Nolan P., Lenski G. Human Societies: An Introduction to Macrosociology, 8th ed. – New York: McGraw-Hill, 1999.

143. Nielsen F. The Ecological-Evolutionary Typology of Human Societies and the Evolution of Social Inequality // Sociological Theory V.22, N2, p.292-314, 2004.

144. Hamilton W.D. Innate social aptitudes of man: An approach from evolutionary genetics / In: Biosocial Anthropology, ed. R. Fox, p.115–132. New York: Wiley, 1975.

145. Wilson D.S. Humans Groups as Units of Selection // Science V.276, N5320, p.1816-1817, 1997.

146. Richerson P.J., Boyd R. The evolution of human ultrasociality / In: Indoctrinability, Ideology, and Warfare: Evolutionary Perspectives, ed. I. Eibl-Eibesfeldt and F.K. Salter, p.71–95. – New York: Berghahn, 1998.

147. Richerson P.J., Boyd R. Complex societies: The evolutionary origins of a crude superorganism // Hum. Nat.: Inter. Biosoc. Persp. V.10, p.253–289, 1999.

148. Henrich J., Boyd R. Why people punish defectors: Weak conformist transmission can stabilize costly enforcement of norms in cooperative dilemmas // J. Theor. Biol. V.208, p.79–89, 2001.

149. Henrich J. Cultural group selection, coevolutionary processes and large-scale cooperation // J. Econ. Behav. Org. V.53, N1, p.3-35, 2004.

150. Cosmides L. The logic of social exchange: has natural selection shaped human reason? Studies with the Wason selection task // Cognition, V.31, p.187-276, 1989.

151. Henrich J., Boyd R., Bowles S., et al. In search of Homo economicus: Behavioral experiments in 15 small-scale societies // Am. Econ. Rev. V.91, p.73–78, 2001.

152. Batson C.D. The Altruism Question: Toward a Social Psychological Answer. – Hillsdale, NJ: Erlbaum, 1991.

153. Fehr E., Gächter S. Altruistic punishment in humans // Nature V.415, p.137–140, 2002.

154. Boyd R., Richerson P.J. The evolution of ethnic markers // Cultural Anthropology V.2, p.65-79, 1987.

155. Boyd R., Richerson P.J. The evolution of reciprocity in sizable groups // Journal of Theoretical Biology V.132, p.337-56, 1988.

156. Boyd R., Richerson P.J. The evolution of indirect reciprocity // Social Networks V.11, p.213-36, 1989.

157. Boyd R., Richerson P.J. Punishment allows the evolution of cooperation (or anything else) in sizable groups // Ethology and Sociobiology V.13, p.171-95, 1992.

158. Soltis J., Boyd R., Richerson P.J. Can group-functional behaviors evolve by cultural group selection? An empirical test // Current Anthropology V.36, p.437-94, 1995.

159. Ostrom E. A behavioral approach to the rational choice theory of collective action // Am. Pol. Sci. Rev. V.92, p.1–22, 1998.

160. Oppenheimer S. The Real Eve: Modern Man's Journey Out of Africa. – NY.: Carroll & Graf, 2003. (Оппенгеймер С. Изгнание из эдема. – М.: Эксмо, 2004.)

161. Бутовская М.Л. Эволюция человека и его социальной структуры // Природа №9, 1998.

162. Кабо В. Первобытная доземледельческая община. – М.: Наука, 1986

163. Otterbein K.F. Killing of Captured Enemies: A Cross-cultural Study // Current Anthropology V.44, N3, p.439-443, 2000.

164. Шнирельман В.А. У истоков войны и мира. Война и мир в ранней истории человечества, т.1. – М.: ИЭА, 1994.

165. Pasternak B., Ember C.R. and Ember E. Sex, Gender, and Kinship: A Cross-Cultural Perspective. Upper Saddle River, NJ: Prentice Hall, 1997.

166. Dyson-Hudson R., Smith E.A. Human territoriality: An Ecological Reassessment // American Anthropologist V.10, p.21-41, 1978.

167. Казанков А.А. Агрессия в архаических обществах. – М.: Иаф РАН, 2002.

168. Cashdan E. Territoriality among Human Foragers: Ecological Models and an Application to Four Bushman Groups // Current Anthropology V.24, N1, p.47-55, 1983.

169. Ember C.R., Ember M. War, Socialization and Interpersonal Violence: A Cross-Cultural Study // The Journal of Conflict Resolution V.38, N4, p.620-646, 1994.

170. Standard Cross-Cultural Sample Variables (Edited by William T. Divale, Daria Khaltourina and Andrey Korotayev) // World Cultures V.13, 2002.

171. World Cultures. Journal of Comparative and Cross-Cultural Research // URL: http://eclectic.ss.uci.edu/~drwhite/worldcul/world.htm

172. Murdock G.P., White D.R. Standard Cross-Cultural Sample // Ethnology V.8, p.329-69, 1969.

173. Nolan P.D. Toward an Ecological-Evolutionary Theory of the Incidence of Warfare in Preindustrial Societies // Sociological Theory V.21, N1, p.18-30, 2003.

174. Turchin P., Korotayev A. Population Dynamics and Internal Warfare: a Reconsideration // American Anthropologist (в печати).

175. Ember M. Statistical evidence for an ecological explanation of warfare // American Anthropologist V.84, p.645-649, 1982.

176. Ember C.R., Ember M. Resource Unpredictability, Mistrust, and War: A Cross-Cultural Study // Journal of Conflict Resolution V.36, p.242-262, 1992.

177. Shankman P. Culture contact, cultural ecology, and Dani warfare // Man V.26 p.299-321, 1991.

178. Kang B.W A Reconsideration of Population Pressure and Warfare: A Prehistoric Korean Case // Current Anthropology, V.41, p.873–881, 2000.

179. Lekson S.H. War in the Southwest, War in the World // American Antiquity V.67, p.607-624, 2002.

180. Burtsev M.S., Korotaev A.V. An Evolutionary Agent-Based Model of Pre-State Warfare Patterns: Cross-Cultural Tests // submitted to World Cultures.

181. Bettinger R.L. Why Corn Never Came to California / SFI Workshop on Co-Evolution of Behaviors and Institutions, 2002. (http://discuss.santafe.edu/coevolution/papers)

[1] Необходимо отметить, что значение термина эволюция в искусственной жизни и в области математического моделирования различаются. Если в последнем случае под эволюцией подразумевается динамика исследуемой системы во времени, то в искусственной жизни это процесс «развития» системы, ее усложнения (или упрощения), имеющий принципиально стохастический характер.

[2] Приспособленность организма можно представить в виде функции многих переменных, каждая из которых определяется состоянием некоторого гена. В пространстве всех возможных генотипов эта функция будет задавать поверхность, называемую в эволюционной теории ландшафтом приспособленности. Эволюцию популяции можно представить, как движение по ландшафту приспособленности от долин (низкая приспособленность) к пикам (высокая приспособленность).

[3] Эволюционные механизмы, приводящие к возникновению кооперативного поведения между родственниками, называются родственным отбором.

[4] Вызванное естественными факторами разбиение популяции на небольшие субпопуляции, ведет к значительному повышению генетической неоднородности и конкуренции между локальными группами, и, как следствие, к ускорению эволюции. Это явление получило название группового отбора.

[5] В классической популяционной генетике предполагается, что взаимодействия между особями внутри популяции случайны, введение в теорию зависимости вероятности взаимодействия двух индивидов от их генов позволяет получить более реалистичные результаты.

[6] Названия стратегий предложены П.В. Турчиным.

[7] т.е. предполагается, что даже при высоком значении несущей способности земли локальное поселение будет состоять не из одной большой группы, а из нескольких общин, сходных по размеру и организации с общинами охотников собирателей.

[8] Стандартная кросс-культурная выборка (standard cross-cultural sample) [172] – 186 обществ, специально отобранных для того, чтобы выборка, как можно более репрезентативно представляла весь спектр региональных, культурных и развитийных различий между социальными системами. Информация об обществах из выборки регулярно пополняется. Обновленные версии выборки представляются журналом World Cultures [171].

[9] Исследование зависимости агрессивности от предсказуемости ресурсной базы проведено совместно с А. Коротаевым [180].