Возникновение стратегий старения в модели искусственной жизни

( Senescence strategies emergence in the Artificial Life simulation
Preprint, Inst. Appl. Math., the Russian Academy of Science)

Введение

В современной биологии до сих пор не разрешена загадка старения[1].

Существует два альтернативных подхода к объяснению феномена старения. Первый подход рассматривает старение как явление, неизменно присущее всем живым существам. Например, одна из таких теорий (теория накопления повреждений [2, 3]) предполагает, что старение – это постепенное изнашивание организма, приводящее к смерти. Альтернативная группа теорий рассматривает старение, как эволюционный феномен.

С точки зрения эволюционной теории объяснение возникновения старения в процессе эволюции представляет собой интересную и сложную проблему. Очевидно, что смерть делает размножение организма невозможным, таким образом, снижая вероятность распространения его генов в популяции. Поэтому отбор должен способствовать распространению генов долголетия, позволяющих оставить больше потомков. Но подавляющее число видов животных неизбежно стареет и умирает, даже в самых благоприятных лабораторных условиях.

Первой попыткой разрешить этот парадокс стала теория запрограммированной смерти Вейсмана [4, 5]. Вейсман пишет:

«Я рассматриваю смерть не как первичную необходимость, а как нечто, приобретенное вторично в процессе адаптации. Я полагаю, что жизнь имеет фиксированную продолжительность не потому, что по природе своей не может быть неограниченной, а потому, что неограниченное существование индивидуумов было бы роскошью без какой-либо проистекающей из нее выгоды.»

Вейсман предположил, что существует механизм, возникший путем естественного отбора, для исключения старых изношенных особей и освобождения ресурсов и жизненного пространства молодым поколениям. Сегодня гипотеза о существовании суицидальных программ развивается под названием “феноптоза” [6].

Гипотезу запрограммированной смерти сложно проверить, кроме того, Вейсман не предложил конкретного эволюционного сценария появления такой «самоубийственной» адаптации. Это привело к тому, что в середине прошлого века были предложены другие теории эволюции старения.

Согласно теории аккумуляции мутаций Медовара [2, 3, 7-13] старение – результат передачи потомкам в процессе эволюции неблагоприятных мутаций, проявляющихся лишь в позднем возрасте. Подобные мутации не устраняются отбором, потому что проявляются в возрастах до которых большинство особей не доживает из-за смертности, вызванной внешними факторами. Однако, если репродуктивные способности организма не снижаются с возрастом, то непонятно, чем старые особи будут менее конкурентно способны, чем молодые. Ведь первые обладают накопленным в течении жизни опытом, повышающим их шансы выжить. Если же считать, что репродуктивный возраст ограничен, то встает вопрос, что вызывает это ограничение, которое по сути и является старением (устранением от размножения)?

Еще одной эволюционной теорией старения является теория антагонистической плейотропии Вильямса [2, 3, 7, 14, 15], предполагающая что старение вызывают гены, дающие преимущество в юности, и вредные в более позднем возрасте.

Приведенные выше теории предполагают принципиально отличающиеся независимые причины эволюционного возникновения старения. Теория запрограммированной смерти основывается на допущении об адаптивности «феноптоза». Теория аккумуляции мутаций подразумевает, что мутации, вызывающие старение, нейтральны. В теории антагонистической плейотропии «смертельная» функция гена является довеском к его адаптивной функции, проявляющейся в раннем возрасте. При этом все три теории не являются взаимоисключающими, каждый из механизмов может вносить свой вклад в целостную картину старения.

Сегодня, накоплено значительное количество теоретических работ, посвященных анализу теорий аккумуляции мутаций и антагонистической плейотропии [2, 3, 7-18], при этом отсутствуют работы, посвященные исследованию возможных механизмов эволюции старения в соответствии с гипотезой феноптоза. Цель данной работы предложить компьютерную модель для исследования факторов эволюции запрограммированной смерти. В предложенной модели репродуктивный возраст неограничен, и сразу после размножения вероятность выживания родителя и потомка примерно равны (оба обладают одинаковой начальной энергией и схожими стратегиями поведения, см. описание модели ниже). Это позволяет исключить нейтральную аккумуляцию летальных мутаций в поздних возрастах, так как в такой ситуации для отбора потомок и родитель «неразличимы». В модели поведение агента управляется искусственной нейронной сетью. Архитектура сети, обеспечивает независимую эволюцию связей отдельных действий агента с возрастом, таким образом, в модели исключается возможность появления плейотропных генов.

В данной работе исследуется влияние жесткости отбора и возможности родственной кооперации на вероятность эволюции стратегий феноптоза. Для этого используются различные варианты модели, комбинирующие возможность нападать и возможность кооперироваться.

 

Модель

Модель, использованная в исследовании, относится к классу моделей “Искусственная жизнь” [19, 20], хорошо зарекомендовавших себя при исследовании сложных эволюционных явлений [21-25]. Данная модель является развитием серии моделей [25-28].

Рассмотрим популяцию P агентов A, эволюционирующую в клеточной среде. Поведение отдельного агента A задается следующим образом:

                                                              (1)

                                                            (2)

здесь j – вектор внутренних состояний агента A; s – вектор входных переменных; f – выходная переменная. В уравнениях (1) и (2) переменная t имеет смысл времени и принимает целочисленные значения t = 1, 2, . . . Значения входных переменных s определяются текущим состоянием, окружающей агента среды. Будем считать, что выходная переменная f принимает n дискретных значений f₁, f₂, . . . , f_n, и называть эти значения действиями. Так если в момент времени t выходная переменная принимает значение f(t) = f_a, мы будем говорить, что в момент t агент A произвел действие f_a.

Определим зависимость внутреннего состояния j_i(t) агента A от входных переменных s(t) как взвешенную сумму, тогда выражение (1) принимает вид:

j(t) = Ws(t),                                                                 (3)

где W – матрица весов, компоненты которой могут принимать значения из некоторого ограниченного интервала [-W_max;W_max]. Для удобства в работе рассматриваются агенты, у которых число внутренних состояний j_i равно числу возможных действий n, что позволяет определить (2) следующим образом:

f(t) = f_a , если                      (4)

Будем считать, что каждый агент A популяции P обладает ресурсом r. Изменение значения ресурса агента зависит от его действий:

, где .         (5)

Коэффициент k_i имеет отрицательное значение, если действие приводит к уменьшению ресурса агента, и положительное в противном случае.

Для каждого момента времени t после вычисления действий и изменений значений ресурсов для всех агентов популяции P, отбираются агенты, значение ресурса у которых меньше или равно нулю , эти агенты считаются погибшими и в дальнейшем не учитываются.

Для обеспечения воспроизводства популяции в репертуаре действий агента имеется действие "делиться" f_d. Если агент A_p (родитель) совершает действие f_d, то в популяцию P добавляется новый агент A_o (потомок). Матрица весов потомка W^o формируется на основе матрицы весов родителя W^p следующим образом:

W^o_i,j = W^p_i,j + m,                                                             (6)

где m – случайная величина (своя для каждого веса), имеющая равномерное распределение на интервале [-p_m;p_m]. Выражение (6) задает мутационный процесс с амплитудой мутаций p_m. Будем называть матрицу W – генотипом агента A, отдельный элемент матрицы W_ij – геном. Стратегией поведения агента A или его фенотипом будем называть отображение из пространства входных в пространство выходных переменных (действий), задаваемое (1) и (2).

Взаимодействие между агентами определяется топологией среды. Для того чтобы смоделировать эволюцию популяции на плоскости, в предложенной модели клетки среды были помещены в узлы двумерной прямоугольной сетки, натянутой на тор. Таким образом, за один такт времени агент мог переместиться в одну из четырех соседних клеток среды.

В предложенной модели популяция P агентов A помещалась в клеточную среду, в клетках которой с некоторой вероятностью появлялся ресурс, необходимый агентам для совершения действий. Для того чтобы агенты могли отличать родственников, каждому агенту A был приписан вектор-маркер m, значения которого наследовались с мутациями от агента-родителя A_p. Компоненты вектора m принимали целочисленные значения из некоторого интервала [-M_max;M_max]. Вектор s значений входных переменных агента формировался на основе информации о локальном окружении, значении внутреннего ресурса r и евклидовом расстоянии между собственным маркером m и маркером соседа по клетке. Также вектор входных переменных содержал компоненту, значение которой позволяло агенту оценить свой возраст относительно среднего по популяции (см. рис. 1). Полный список входных переменных представлен в таблице 1.

 

Таблица 1

Входная переменная	Значение
s1	k, смещение
s2, s3, s4, s5	k, если в данной клетке поля зрения есть ресурс, 0 в противном случае;
s6, s7, s8, s9	cNc, где c – константа, Nc – количество агентов в данной клетке поля зрения;
s10	r, внутренний ресурс
s11	rmax – r, где rmax – максимально возможное значение внутреннего ресурса;
s12	, где  – центроид маркеров агентов, находящихся в той же клетке, что и агент;
s13	, где mp – маркер партнера по взаимодействию.
s14	значение входа от возраста представлено на рис. 1.

Примечание: во всех численных экспериментах коэффициент k оставался неизменным и был равен k = r_max.

 

Рис. 1. Зависимость значения входа, несущего информацию о возрасте агента, от возраста агента и среднего возраста агентов в популяции.

 

Значения выходной переменной f, определяющей действия агента и соответствующих коэффициентов k_i изменения внутреннего ресурса агента, использовавшиеся при моделировании, приведены в таблице 2.

Таблица 2

f	Действие	Изменение внутреннего ресурса r*
f0	отдыхать	Dr = -k0
f1	поворачиваться налево	Dr = -k1
f2	поворачиваться на право	Dr = -k2
f3	потреблять ресурс	Dr = k3
f4	двигаться на одну клетку вперед	Dr = -k4
f5	делиться	Dr = -k5
f6	отнять ресурс у соседа	Dr = k6, если у соседа достаточно ресурса, Dr = -k6, в противном случае
f7	умереть	Dr = - rmax

*при моделировании коэффициенты k_i были заданы в соответствии со следующими неравенствами: k₀ < k₁ = k₂ < k₄ = k₅ < k₆, коэффициент k₃ = 36k₀; максимальное значение внутреннего ресурса агента ограничено (r ≤ r_max). При делении (f = f₅) после изменения энергии родителя (Dr = -k₅) половина его ресурса передается потомку.

 

Результаты

Для исследования зависимости эволюции старения от возможности проявления агрессии и/или кооперации компьютерные эксперименты проводились с четырьмя вариантами модели (см. таблицу 3).

Таблица 3

1	У агентов присутствовала входная переменная, связанная со значением родственности, т.е. агенты могли узнавать родственников. Выходная переменная f могла принимать значение f6, т.е. агенты могли нападать друг на друга.	11 запусков компьютерной модели
2	Агенты не могли отличать родственников, но выходная переменная f могла принимать значение f6, т.е. агенты могли нападать друг на друга.	13 запусков
3	Агенты могли отличать родственников, но не могли нападать друг на друга.	12 запусков
4	Агенты не могли ни отличать родственников, ни нападать друг на друга.	12 запусков

 

С каждым из вариантов модели была проведена серия экспериментов. В каждом эксперименте начальная популяция состояла из агентов, которые имели одинаковые матрицы весов W. Геном агента начальной популяции был задан таким образом, что агент мог получать информацию, о наличии ресурса в текущей клетке, клетке по направлению "вперед", и совершать только три действия: потреблять ресурс, двигаться вперед и делиться. Количество ресурса в среде было задано таким образом, что обеспечивало плотность популяции ~0,75 агента на одну клетку. Для одного и того же варианта было рассчитано несколько реализаций, отличавшихся только значением параметра seed генератора случайных чисел.

Анализ результатов численных экспериментов показал, что примерно в половине из них возраст, в котором агенты совершали действие «умереть» (т.е. самоубийство), был близок к удвоенному среднему по популяции (рис. 2б). Это значит, что в популяции возникала эволюционно устойчивая стратегия феноптоза, так как агенты совершали самоубийство в интервале значений возраста, соответствующем «перелому» зависимости воспринимаемого возраста (рис. 1.), т.е. при переходе к максимально воспринимаемому возрасту («старости»). Эволюционная динамика возрастов совершения самоубийства для одного из численных экспериментов, в котором возникал феноптоз, приведена на рисунке 3.

Сравнение результатов расчетов для различных вариантов модели (см. табл. 3) показало, что основным фактором, обуславливающим возникновение и эволюционную устойчивость стратегий старения, является наличие возможности нападения агентов друг на друга (см. рис. 5). Как видно из таблицы 3 наибольшую вероятность эволюции старения (7 реализаций из 11 – 63,6%) продемонстрировал вариант модели с нападением и родственностью (№1 из табл. 3). С меньшей вероятностью (6 реализаций из 13 – 46,15%) феноптоз возникал, если возможность распознавания родственников отсутствовала, но агенты могли атаковать друг друга (№2 из табл. 3). Для оставшихся вариантов модели (№3 и №4 из табл. 3) вероятность возникновения самоубийства была минимальной (2 реализаций из 12 – 16,7%).

Подтверждение того, что именно возраст влияет на возникновение стратегий самоубийства, было получено из контрольных расчётов модели с отключенным входом от возраста. В этом случае (см. рис. 4), плотность распределения возрастов, в которых агенты умирали сами, практически идентична таковой для тех случаев, когда эволюция отсутствовала, но вход от возраста был включенным. При этом численные эксперименты, в которых наблюдалось эволюционное возникновение старения, разительно отличаются от вышеперечисленных ситуаций существованием “пика” плотности распределения, демонстрирующего тот факт, что большинство агентов совершают «самоубийство» в возрасте близком к удвоенному среднему.

 

Рис. 2. Плотность распределения относительных возрастов (отношение возраста агента к удвоенному усредненному по популяции возрасту) агентов в момент совершения самоубийства; а) корреляция возраста самоубийства с воспринимаемым возрастом отсутствует, стратегия феноптоза не возникла; б) есть корреляция возраста самоубийства с воспринимаемым возрастом, признак наличия стратегии феноптоза. Плотность распределения нормирована таким образом, что ее интеграл равен единице.

Рис. 3. Динамика возрастов самоубийц (кружки) и удвоенного усредненного по популяции возраста (сплошная линия) в полулогарифмическом масштабе. Видно, что после 3 10⁶ такта агенты преимущественно совершают самоубийства в возрасте, воспринимаемом ими как «старость».

 

Рис. 4. Плотность распределения агентов-самоубийц в двойном логарифмическом масштабе, в зависимости от относительного возраста, равного отношению возраста агента, в котором было совершено действие “умереть” к удвоенному среднему по популяции возрасту. Видно, что случае, в котором нет устойчивой стратегии феноптоза и с отсутствием входа от возраста дают очень близкие результаты, сильно отличающиеся от результатов, полученных в случае наличия стратегий старения.

Рис. 5. Количество реализаций, в которых наблюдалась связь между возрастом самоубийц и удвоенным средним возрастом.

Выводы

Анализ результатов моделирования показывает, что в 35,4% исследованных случаев возникают эволюционно устойчивые стратегии старения (феноптоза). Это можно рассматривать, как аргумент в пользу значимости гипотезы запрограммированной смерти Вейсмана.

Исследование влияния агрессивности и возможности кооперироваться на вероятность возникновения феноптоза в численных экспериментах с моделью говорит о том, что основным фактором является наличие у агентов возможности нападать друг на друга. Если агенты могут нападать друг на друга, то вероятность возникновения стратегий старения высока, в противном случае мала. При этом возможность распознавать родственников, т.е. кооперироваться, существенно увеличивает вероятность возникновения феноптоза при наличии агрессии, и никак не влияет при ее отсутствии. Необходимо отметить, что численные эксперименты проводились при достаточно низкой плотности популяции, подобные условия не способствуют развитию родственной кооперации из-за высокой мобильности агентов [25, 28]. Но если даже при низком уровне развития родственной кооперации, она оказывает существенное влияние на эволюцию старения, то разумно предположить, что в условиях, способствующих кооперативности (плотность популяции > 2 [25, 28]), ее эффект должен усиливаться. Проверка этой гипотезы, а также детальное исследование механизмов эволюционного возникновения и устойчивости стратегий старения будет являться продолжением данной работы.

 

Список литературы

 

1.     Wachter K.W., Finch C.E., Between Zeus and the Salmon. The Biodemography of Longevity, National Academy Press, Washington DC (1997)

2.     Goldsmith T.C. The Evolution of Aging, 2003.

3.     Hughes K. A., Reynolds R.M. Evolutionary and Mechanistic Theories of Aging, Annual Review Entomology. 2005.

4.     Weismann, A. (1882) Über die Dauer des Lebens. Verlag von Gustav Fisher, Jena, Germany.

5.     Weismann, A. (1889) Essays Upon Heredity and Kindred Biological Problems. Clarendon Press, Oxford.

6.     Скулачёв В.П. Феноптоз: запрограммированная смерть организма. Биохимия. 64(12):1418-1426, 1999.]

7.     Gavrilov L. A., Gavrilova N. S. Evolutionary Theories of Aging and Longevity, Center on Aging, NORC/University of Chicago, 1155 East 60th Street, Chicago

8.     Stauffer D., Life, Love and Death: Models of Biological Reproduction and Aging, Cologne, Europe, April 14, 1999

9.     Moss de Oliveira S., Evolution, Ageing and Speciation: Monte Carlo Simulations of Biological Systems, Brazilian Journal of Physics, September 2004

10.   Dzwinel W., Yuen D.A., Aging in Hostile Environment Modeled by Cellular Automata with Genetic Dynamics, International Journal of Modern Physics C, August 2004

11.   Medawar P. B. Old age and natural death. Mod. Q. 2, 30-49. [Reprinted in The Uniqueness of the Individual (Medawar, P. B., ed.), pp. 17-43. New York: Basic Books, 1958.

12.   Medawar P. B. An Unsolved Problem in Biology. London: H. K. Lewis. [Reprinted in The Uniqueness of the Individual (Medawar, P. B., ed.), pp. 44-70. New York: Basic Books, 1958.

13.   Rose M.R., Evolutionary Biology of Aging, Oxford University Press, New York (1991).

14.   Williams G. C. (1957). Pleiotropy, natural selection and the evolution of senescence. Evolution 11, pp. 398-411.

15.   Williams G. C. (1966). Natural selection, the costs of reproduction, and a refinement of Lack's principle. Am. Nat. 100, pp. 687-690.

16.   Moss de Oliveira S., de Oliveira P. M. C., Stauffer D., Evolution, Money, War and Computers - Non-Traditional Applications of Computational Statistical Physics, Teubner, Stuttgart-Leipzig 1999.

17.   Stauffer D., Computing in Science and Engineering 1, 78 (1999).

18.   Redfield R.J., Nature 369, p. 145 (1994)

19.   Langton C. G. (Ed.) Artificial Life: The Proceedings of an Interdisciplinary Workshop on the Synthesis and Simulation of Living Systems, Redwood City CA: Addison-Wesley, 1989. 655 p.

20.   Langton C. G., Taylor C., Farmer J. D., Rasmussen S. (Eds.) Artificial Life II: Proceedings of the Second Artificial Life Workshop, Redwood City CA: Addison-Wesley. 1992. 854 p.

21.   Hinton G.E., Nowlan S.J. How learning can guide evolution // Complex Systems, 1, pp. 495-502, 1987.

22.   Nowak M.A. May R. M. Evolutionary games and spatial chaos // Nature V.359, p.826-829, 1992.

23.   Riolo R., Cohen M.D., Axelrod R. Evolution of cooperation without reciprocity // Nature V.414, p.441–443, 2001.

24.   Hauert C., Doebeli M. Spatial structure often inhibits the evolution of cooperation in the snowdrift game // Nature V.428, p.643–646, 2004.

25.   Burtsev M.S., Turchin P.V. Evolution of cooperative strategies from first principles // Nature 440, 1041-1044, 2006.

26.   Бурцев М.С., Гусарев Р.В., Редько В.Г. Модель эволюционного возникновения целенаправленного адаптивного поведения 1. Случай двух потребностей // Препринт ИПМ РАН № 43. М., 2000. 24 стр.

27.   Бурцев М.С., Гусарев Р.В., Редько В.Г. Исследование механизмов целенаправленного адаптивного управления // Известия Академии Наук. Теория и системы управления. т. 6. 2002. стр. 55-62.

28.   Бурцев М.С. Эволюция кооперации в многоагентной системе // VII Всероссийская научно-техническая конференция "Нейроинформатика-2005". М., МИФИ. 2005.