|
Отладка
эффективности MPI-программ |
DVM-система - домашняя страница |
- дата последнего обновления 16.02.06 -
Оглавление
1 Анализатор производительности MPI-программ
2.2 Компиляция и запуск на выполнение со сбором трасс
2.3 Запуск анализатора производительности
3 Результат работы анализатора производительности
3.1 Основные характеристики производительности (Main Characteristics)
3.2 Сравнительные характеристики (Comparative characteristics)
3.3 Характеристики выполнения на каждом процессоре (Execution Characteristics)
4 Отладка производительности и рекомендации по анализу характеристик
5 Алгоритмы вычисления характеристик
5.1 Вычисление характеристик выполнения программы на каждом процессоре (Execution Characteristics)
5.2 Вычисление сравнительных характеристик (Сomparative Characteristics)
5.3 Вычисление основных характеристик и их компонент ( Main Characteristics)
Анализатор производительности является инструментом для отладки эффективности MPI-программ. Анализатор обрабатывает трассы, накопленные во время выполнения программы на всех процессорах, вычисляет временные характеристики выполнения программы и записывает их в текстовый файл. Эти характеристики позволяют пользователю оценить эффективность выполнения параллельной программы и резервы для ее повышения. Приступать к отладке эффективности программы рекомендуется после того, как программа отлажена и анализатор корректности MPI-программ не обнаруживает ошибок.
При отладке эффективности программы пользователь не обязательно должен запускать ее с тем большим объемом вычислений, который будет характерен для использования программы при решении реальных задач. Он может ограничить количество регулярно повторяющихся внешних итераций. Но при этом время работы программы на подготовительном и завершающем этапах (до начала первой итерации и после окончания последней итерации) может быть сравнимо со временем работы основного цикла. Для того чтобы получить представление о реальной эффективности распараллеливания при малом числе итераций, необходимо оформить основной цикл в виде отдельного интервала.
Выделение интервала осуществляется при помощи функций:
MPI_Pcontrol (100,< номер интервала>); - для обозначения входа в интервал;
MPI_Pcontrol (101,< номер интервала>); - для обозначения выхода из интервала,
где:
<номер интервала > - целочисленное выражение, значение которого больше 0.
Весь основной цикл должен быть внутри интервала. Номер интервала является именем интервала. Пока интервал может быть только один, и каждый процессор должен один раз войти в него и один раз выйти. В следующих версиях анализатора эти ограничения будут сняты.
Таким образом, если в программе не выделен интервал, то анализатор эффективности вычисляет характеристики для всей программы целиком. Вся программа рассматривается при этом как интервал 0-го уровня. Если в программе выделен интервал – основной цикл, то анализатор эффективности вычисляет характеристики еще и для этого интервала - интервала 1-го уровня. Управление выдачей характеристик осуществляется при помощи параметров командной строки запуска анализатора (см. раздел 2.3).
Для компиляции программы и получения выполняемого файла необходимо использовать команды:
dtcc, dtCC, dtf77, dtf90 вместо
mpicc, mpiCC, mpif77, mpif90.
Эти новые команды обеспечивают линковку программы с трассировщиком, который осуществляет накопление трасс.
Запуск программы на выполнение со сбором трасс осуществляется командой:
mpirun или dtrun.
Команды имеют одинаковые параметры. Рекомендуется при отладке эффективности для запуска программы использовать команду mpirun, поскольку при запуске командой dtrun осуществляется подсчет контрольных сумм принимаемых и передаваемых сообщений, необходимых только анализатору корректности. Этот подсчет контрольных сумм требует заметного процессорного времени и может исказить временные характеристики программы.
Если необходимо запускать программу с параметрами, отличающимися от стандартных, то надо с помощью команды dtpar загрузить в текущую директорию файлы с параметрами отладки (файлы tracer.par, tran.par) и изменить в них нужные параметры.
Для отладки эффективности такими параметрами является:
· параметр UserStackSize. Этот параметр задает максимальный размер стека адресов возврата из процедур, сохраняемого трассировщиком. Стандартное значение параметра равно 4.
· параметр MaxTraceSize. Этот параметр задает максимальный размер файлов трассировки в мегабайтах. Стандартное значение параметра равно 500. Если размер трассировки процесса превысит значение MaxTraceSize / <число процессов>, то трассировка процесса будет остановлена. Если задано нулевое значение параметра MaxTraceSize, то контроль размера трассировки не осуществляется.
Эти параметры находятся в файле tracer.par.
Для знакомства с полной выдачей анализатора эффективности рекомендуется запустить его командой:
dtpa <task>
где:
task - имя выполняемого файла.
Выдача может получиться очень большой. Длина выдачи определяется следующими факторами:
· количеством интервалов;
· числом процессоров (для каждого процессора предусмотрена выдача его характеристик в разделе Execution Characteristics и в разделе SRC Characteristics);
· количеством точек в программе, где вызываются MPI-функции (раздел SRC Characteristics)
Предусмотрены средства для ее сокращения. Сокращение осуществляется за счет отмены выдачи характеристик. Необходимо получить представление о выдаваемых характеристиках прежде, чем отменять их выдачу. При первом знакомстве с анализатором рекомендуется перейти к следующему разделу, а к этому разделу вернуться тогда, когда возникнет необходимость сократить выдачу анализатора.
Запуск анализатора производительности с опциями и параметрами для сокращения выдачи осуществляется командой:
dtpa [-wp] [-src NN] [-srct NN] <task> [level]
где:
task - имя выполняемого файла;
level - уровень вложенности интервалов.
Если уровень вложенности не указан, то анализатор выдает характеристики для всей программы и для основного цикла. Если level=0, то только для всей программы.
Необязательные опции –wp , -src NN и -srct NN предназначены для сокращения длины выдачи.
|
NN |
- |
задает процент времени коммуникаций в точке (Comm) от общего времени коммуникаций в интервале (Communication), начиная с которого характеристики таких точек не выдаются. |
|
-wp |
- |
отмена выдачи характеристик по процессорам (Execution Characteristics) и выдачи характеристик по процессорам в SRC Characteristics; |
|
-src NN |
- |
сокращение выдачи SRC Characteristics, упорядоченных по убыванию времени коммуникаций SRC (Сomm); |
|
-srct NN |
- |
сокращение выдачи SRC Characteristics, упорядоченных по расположению SRC в исходных текстах программы. |
Для получения минимальной выдачи команда запуска анализатора производительности имеет вид:
dtpa –wp -src 100 -srct 100 <task> 0
При выполнении команды без параметров на экран выдается описание параметров команды.
Команда выполняется после окончания задачи в директории, в которой находятся трассы для каждого процессора, накопленные при выполнении задачи (файлы <имя исходной программы>.<номер процессора>.trc). Если трасс нет, то на экран выдается сообщение об ошибке.
На экран могут выдаваться также предупреждения об ошибках в программе, обнаруженных во время сбора трасс. Полную информацию об этих ошибках можно получить, запустив в этой же директории анализатор корректности MPI-программ. Запуск анализатора корректности осуществляется командой:
dtan <task >
Результаты работы анализатора корректности можно посмотреть в файле <task>.tran. Структура файла описана в документе tranUG.doc.
При наличии ошибок в программе анализатор эффективности может неправильно вычислить характеристики. Это значит, что ошибки нужно исправить и только тогда приступать к анализу эффективности программы.
Результаты работы анализатора эффективности записываются в файл с именем <task>.trpa.
Файл, который является результатом работы анализатора, содержит следующую информацию:
· информация об интервале;
· основные характеристики выполнения и их компоненты (Main characteristics);
· минимальные, максимальные и средние значения характеристик выполнения программы на каждом процессоре (Comparative characteristics);
· характеристики выполнения программы на каждом процессоре (Execution characteristics). информация о точках в исходном тексте программы (SRC Characteristics).
Информация об интервале выдается в одной строке и содержит:
- имя файла с исходным текстом программы и номер строки, соответствующей началу интервала в нем (SourceFile, LineNumber);
- идентификационный номер интервала (Number);
- количество входов (и выходов) в интервал (ExeCount);
При выдаче характеристик их компоненты располагаются в той же строке (справа в скобках), либо в следующих строках.
Информация о минимальных, максимальных и средних значениях характеристик оформлена в таблицу. В этой таблице строки – характеристики, а столбцы – минимальные (Tmin), максимальные (Tmax), средние (Tmid) значения характеристик по всем процессорам, номера процессоров (Nproc), на которых получены минимальное и максимальное значение характеристики.
Если уровень вложенности не указан, то анализатор выдает характеристики для всей программы и для основного цикла. Если уровень вложенности равен 0, то - только для всей программы.
· Коэффициент эффективности (Parallelization Efficiency) - равен отношению предполагаемого времени работы на одном процессоре к общему времени использования процессоров.
· Время выполнения (Execution Time) - максимальное значение среди времен выполнения программы на всех используемых ею процессорах.
· Число используемых процессоров (Processors).
· Общее время использования процессоров (Total Time) - произведение времени выполнения (Execution Time) на число используемых процессоров (Processors).
· Предполагаемое время работы на одном процессоре (Productive Time) – разница между общим временем использования процессоров (Total Time) и потерянным временем (Lost Time).
· Потерянное время (Lost Time) – сумма времен коммуникаций (Сommunications), потерь из-за недостаточного параллелизма (Insufficient Parallelism) и простоев (Idle Time).
Компоненты потерянного времени:
- коммуникации (Сommunications) – потери из-за выполнения межпроцессорных обменов (суммарное время выполнения всех MPI-функций).
- недостаточный параллелизм (Insufficient Parallelism) - потери из-за дублирования последовательных вычислений на многих процессорах. Эта характеристика вычисляется только в том случае, когда в программе пользователем отмечены последовательные участки.
*) Версия анализатора 3.0 не вычисляет эту характеристику.
- простои (Idle Time) - потери из-за простоев тех процессоров, на которых выполнение программы продолжалось меньше, чем максимальное время выполнения (Execution Time).
· Коммуникации (Сommunications)
Компоненты коммуникаций:
- время операций точка-точка (SendRecv Time) включая время рассинхронизации (Real Sync) и с указанием количества операций Send, Receive, Wait. Real Sync – потери времени вызванные тем, что операция приема сообщения (MPI_Recv) или операция ожидания завершения асинхронной операции (MPI_Wait, MPI_Waitall, MPI_Waitany, MPI_Waitsome) на одном процессоре выдана раньше соответствующей операции посылки сообщения на другом процессоре;
- время коллективных операций (Collective Time) с указанием количества операций;
- время служебных операций (System Time) (время MPI-функций, не являющихся ни операциями точка-точка, ни коллективными операциями) с указанием количества операций.
· Разбалансировка (Load Imbalance) – потенциальные потери, которые могут возникнуть из-за того, что вычисления распределены между процессорами неравномерно.
· Потенциальные потери на синхронизацию (Potential Sync) - потери, которые могут возникнуть из-за неодновременного запуска коллективных операций на разных процессорах – время, которое было бы потрачено всеми процессорами на синхронизацию, если бы выполнение любой коллективной операции начиналось с синхронизации процессоров;
· Потенциальные потери из-за разброса времен (Time Variation) - потери, которые могут возникнуть из-за различий во временах завершения выполнения на разных процессорах одной и той же коллективной операции, вызванных особенностями ее реализации на конкретной параллельной ЭВМ;
· Время перекрытия обменов (Overlap) – время совмещения межпроцессорных обменов между собой или с вычислениями.
Информация о минимальных, максимальных и средних значениях характеристик оформлена в таблицу. В этой таблице строки – характеристики, а столбцы – минимальные (Tmin), максимальные (Tmax), средние (Tmid) значения характеристик по всем процессорам, номера процессоров (Nproc), на которых получены минимальное и максимальное значение характеристики.
· Время выполнения (Execution Time).
· Предполагаемое время работы на одном процессоре (Productive Time).
· Потерянное время (Lost Time).
· Простои на данном процессоре (Idle Time).
· Общее время коммуникаций (Communications).
· Недостаточный параллелизм (Insufficient Parallelism).
· Реальные потери из-за рассинхронизации (Real Sync).
· Разбалансировка (Load Imbalance).
· Потенциальные потери на синхронизацию (Potential Sync).
· Потенциальные потери из-за разброса времен (Time Variation).
· Время перекрытия (Overlap).
· Время выполнения (Execution Time).
· Предполагаемое время работы на одном процессоре (Productive Time).
· Потерянное время (Lost Time).
· Недостаточный параллелизм (Insufficient Parallelism).
· Простои на данном процессоре (Idle Time).
· Общее время коммуникаций (Communications).
· Реальные потери из-за рассинхронизации (Real Sync).
· Разбалансировка (Load Imbalance).
· Потенциальные потери на синхронизацию (Potential Sync).
· Потенциальные потери из-за разброса времен (Time Variation).
· Время перекрытия (Overlap).
· Количество операций посылки (Send Number).
· Количество операций приема (Receive Number).
· Количество операций ожидания (Wait Number).
· Количество коллективных операций (Collective Number).
Любому обращению к MPI-функции соответствует стек вызовов функций, вершиной которого является данное обращение. Для каждого вызова функции стек содержит ссылку на соответствующую строку исходного текста программы - имя файла с исходным текстом и номер оператора в нем. Этот стек фактически является описанием некоторой точки программы, в которой произошло обращение к функции MPI. Каждой такой точке, которой соответствует свой стек вызовов функций, приписан некоторый номер (SRC).
Для каждой точки выдается следующая информация:
· номер SRC.
· суммарное время выполнения MPI-функции (Comm) и рассинхронизация (Real Sync), если она отлична от 0.
· MPI-функция, вызываемая в данной точке (MPI_function).
· Потенциальные потери на синхронизацию (Potential Sync).
· Потенциальные потери из-за разброса времен (Time Variation).
· Время перекрытия (Overlap).
· Характеристики по процессорам:
- количество (ExeCount) и время (ExeTime) выполнения MPI-функции на каждом процессоре;
- реальные потери из-за рассинхронизации при выполнении обменов точка-точка (Real Sync), если они отличны от 0;
- потенциальные потери на синхронизацию на каждом процессоре (Potential Sync);
- потенциальные потери из-за разброса времен на каждом процессоре (Time Variation);.
- время перекрытия на каждом процессоре (Overlap).
· соответствующий стек вызовов (Stack).
При выдаче информация о точках может быть упорядочена по убыванию времени выполнения MPI-функции (Сomm), ассоциированной с данной точкой программы (SRC) или по расположению SRC в исходных текстах программы.
Анализатор производительности позволяет получить характеристики выполнения параллельной программы. Эти характеристики нужны пользователю в том случае, когда его не удовлетворяет время выполнения параллельной программы или ее ускорение по сравнению с последовательной программой.
Для программ с небольшим объемом вычислений можно просто запустить анализатор производительности и исследовать полученные характеристики для интервала 0-го уровня, который включает всю программу.
Для программ с большим объемом вычислений рекомендуется подготовить программу к отладке прежде, чем приступать к анализу характеристик.
Для этого необходимо:
- сократить объем вычислений, за счет сокращения числа итераций;
- определить основной цикл как интервал - вставить в программу MPI_PControl);
- получить новые характеристики;
- получить характеристики при выполнении программы на одном процессоре (если позволит память).
Теперь можно приступать к анализу характеристик. Эта версия анализатора позволяет получить характеристики для всей задачи (интервал 0-го уровня) и для интервала, в который входит только основной цикл (интервал 1-го уровня), если основной цикл определен как интервал. При наличии интервала 1-го уровня рекомендуется анализ характеристик начать с него.
В первую очередь анализируются основные характеристики (Main Characteristics). Для более глубокого анализа эффективности выполнения параллельной программы могут быть полезны характеристики выполнения на каждом процессоре (Execution Characterictic). Помимо значений этих характеристик выдаются также их средние значения, а также максимальные и минимальные значения с указанием соответствующего номера процессора – cравнительные характеристики (Сomparative Characteristics).
Анализ характеристик можно разбить на этапы.
1. Сравнение характеристик при запуске на одном и нескольких процессорах.
В том случае, если не удалось выполнить программу на одном процессоре, можно сразу перейти к следующему этапу.
Время выполнения программы на одном процессоре может быть больше предполагаемого времени при запуске на нескольких процессорах. Причина может быть в том, что при изменении объема используемых при вычислении данных меняется скорость доступа к ним через кэш-память. В этом случае можно сделать вывод, что эффективность выполнения параллельной программы в значительной степени определяется эффективностью использования кэш-памяти, т.е. зависит от особенностей конкретной параллельной ЭВМ.
Время выполнения программы на одном процессоре может быть меньше предполагаемого времени при запуске на нескольких процессорах. Это может быть вызвано либо зависимостью эффективности использования кэш-памяти от расположения данных в памяти, либо тем, что не учтены некоторые накладные расходы, остающиеся и при выполнении параллельной программы одном процессоре.
Если время выполнения программы на одном процессоре сильно отличается от предполагаемого времени, то значит и коэффициент эффективности плохо отражает эффективность программы. Это нужно иметь в виду приступая к анализу других характеристик.
2. Анализ характеристики потерянное время (Lost Time) и всех ее составляющих.
Наиболее вероятно, что основная доля потерянного времени приходится на коммуникации (Сommunication). Коммуникации имеют три компоненты: SendRecv Time, Collective Time и System Time. Из этих компонент необходимо выбрать ту, на которую приходится максимальное количество потерь или рассмотреть две первые компоненты, если потери для них сравнимы. Если превалирует время служебных операций (System Time) (что очень маловероятно), то рекомендуется проанализировать SRC Characteristics и найти точки программы, в которых время выполнения служебных операций превышает время других коммуникаций. Для этого лучше использовать SRC Characteristics, упорядоченные в порядке убывания времени выполнения MPI-функции (Сomm).
3. Анализ характеристик, указывающих на рассинхронизацию процессов.
Такими характеристиками являются время рассинхронизации (Real Sync) и потенциальные потери из-за синхронизации (Potential Sync).
Если на предыдущем этапе была выбрана характеристика SendRecv Time, то для дальнейшего анализа выбираем время рассинхронизации (Real Sync), если Collective Time – то потенциальные потери из-за синхронизации (Potential Sync) или обе пары характеристик.
Если потери SendRecv Time сравнимы с Real Sync, или потери Сollective Time cравнимы с Potential Sync, то это скорее всего свидетельствует о рассинхронизации процессов. В этом случае необходимо разобраться с причиной рассинхронизации.
Если характеристики, указывающие на рассихронизацию (Real Sync, Potential Sync), малы, то причиной потерь из-за коммуникаций может быть просто большое число операций точка-точка или коллективных операций, либо большой объем участвующих в них данных. В этом случае может помочь реорганизация программы с целью сокращения этих потерь.
4. Поиск причины рассинхронизации.
Основная причина потерь из-за рассинхронизации – разбалансировка загрузки процессоров.
Для оценки возможных потерь из-за разбалансировки необходимо рассмотреть характеристику разбалансировка (Load Imbalance), поскольку именно разбалансировка загрузки процессоров является наиболее вероятной причиной рассинхронизации и больших потерь на коммуникациях.
Если ее значение близко к времени рассинхронизации (Real Sync) или потенциальным потерям из-за синхронизации (Potential Sync), то причина рассинхронизации найдена и можно переходить к поиску причины разбалансировки.
Если величина разбалансировки намного меньше величины времени рассинхронизации (Real Sync) или потенциальных потерь из-за синхронизации (Potential Sync), то необходимо обратить внимание на величину потенциальных потерь из-за разброса времен (Time Variation).
Если ее значение близко к времени рассинхронизации (Real Sync) или потенциальным потерям из-за синхронизации (Potential Sync), то причина рассинхронизации найдена. Конечно, можно попытаться понять причину больших потенциальных потерь из-за разброса времен (Time Variation), но ее ликвидация может оказаться невозможной или потребовать серьезной реорганизации программы.
Если рассинхронизация не является следствием разброса времен завершения коллективных операций или разбалансировки, то ее возможной причиной могут различия во временах выполнения операций точка-точка на разных процессорах). Такая ситуация может возникнуть, если какой-то процессор поздно послал сообщение (или выдал коллективную операцию) из-за того, что был дольше занят выполнением коммуникационных операций точка-точка, чем принимающий его партнер (партнеры). Потом другой процессор “задержался” на коммуникационной операции точка-точка, а к концу интервала все “ задержки” взаимно компенсировались, и разбалансировки (Load Imbalance) нет, а рассинхронизация (Real Sync и/или Potential Sync) есть. После реализации вложенных интервалов можно будет переходить к рассмотрению характеристик разбалансировки на этих интервалах. Сейчас рекомендуется проанализировать SRC Characteristics и найти точки программы, в которых время выполнения коммуникационных операций точка-точка (посылка-прием) сильно отличаются на разных процессорах. Для этого лучше использовать SRC Characteristics, упорядоченные в порядке их расположения в исходном тексте программы.
Если причина рассинхронизации не найдена, то это может означать, что рассинхронизация не является следствием разброса времен завершения коллективных операций, различий во временах коммуникаций точка-точка или разбалансировки на этом интервале. Ее причиной могут быть разбалансировки загрузки процессоров, разброс времен завершения коллективных операций (или различия во временах коммуникаций точка-точка) при выполнении некоторых предшествующих интервалов программы, из-за чего процессоры не одновременно начинали выполнять рассматриваемый интервал. Для того, чтобы понять причину рассинхронизации, рекомендуется вставить барьерную синхронизацию перед входом в интервал, получить и проанализировать новые характеристики.
5. Поиск причины разбалансировки.
Основная характеристика разбалансировка (Load Imbalance) является интегральной. Чтобы понять причину разбалансировки, нужно проанализировать эту характеристику в сравнительных характеристиках (Comparative Characteristics) или в характеристиках выполнения программы на каждом процессоре (Productive Time). Сравнительные характеристики (Comparative Characteristics) позволяют определить процессоры, на которых эта характеристика отличается от средних значений. Сравнительные характеристики особенно удобно использовать при большом количестве процессоров. Если процессоров немного, то можно использовать и характеристики по процессорам.
Теперь необходимо проанализировать загрузку процессоров, у которых характеристика разбалансировка (Load Imbalance) принимает минимальное и максимальное значение и по возможности перераспределить вычислительную нагрузку между процессорами.
6. Анализ характеристики разброс времен (Time Variation).
Причиной больших потенциальных потерь из-за разброса времен (Time Variation) может быть наличие в программе несимметричных операций – в которых, например, корневой процесс выполняет больше работы, чем остальные.
Если несимметричных операций в программе нет, то разброс времен может возникнуть из-за алгоритмов реализации операций в библиотеке MPI. Алгоритм может быть несимметричным. Например, для нахождения максимального значения один процессор собирает всю информацию, находит максимум и рассылает его остальным. В такой ситуации пользователю очень сложно ликвидировать причину больших потенциальных потерь из-за разброса времен.
7. Анализ характеристики время перекрытия обменов вычислениями (Overlap).
Значение этой характеристики отражает время совмещения коммуникаций с другими коммуникациями или вычислениями. Чем больше ее значение, тем больше потенциал для уменьшения времени выполнения. Значение характеристики можно попытаться увеличить, если заменить блокирующие MPI-функции на асинхронно выполняющиеся (неблокирующие) функции. Еще больше можно увеличить эту характеристику, если асинхронный запрос на посылку данных выставить сразу же после их вычисления, а запрос на ожидание завершения асинхронной операции выставить непосредственно перед их использованием. Асинхронный запрос на прием массива лучше тоже выставить не позже, чем соответствующий запрос на посылку данных.
Но при этом надо иметь в виду, что асинхронные операции не всегда поддерживаются аппаратурой и системным окружением. Поэтому ожидаемого эффекта можно и не получить. Кроме того, эффект от совмещения будет зависеть от особенностей коммуникационной системы - позволяет ли аппаратура каждому процессору одновременно обмениваться со многими другими процессорами или, по крайней мере, обеспечивает выполнение нескольких одновременно заказанных обменов быстрее, чем при их выдаче по очереди.
8. Анализ SRC Characteristics.
Характеристики могут быть упорядочены в порядке убывания времени выполнения MPI-функции (Сomm), ассоциированной с данной точкой программы (SRC) или в порядке расположения SRC в исходных текстах программы.
Если характеристики выданы в порядке убывания времени выполнения MPI-функции (Сomm), то можно, не просматривая всю выдачу, выделить точки программы с максимальным временем потерь из-за коммуникаций. Скорее всего будет достаточно проанализировать характеристики нескольких самых первых точек.
Выдача характеристик в порядке расположения SRC в исходных текстах позволяет сравнить коммуникационные расходы на посылку и прием данных, проанализировать реальные потери из-за рассинхронизации при выполнении обменов точка-точка (Real Sync), потенциальные потери на синхронизацию (Potential Sync), потенциальные потери на синхронизацию (Potential Sync), потенциальные потери из-за разброса времен (Time Variation), время перекрытия (Overlap) в точках интервала программы в интегральном виде и с распределением по процессорам.
Эта информация может помочь понять причину неэффективного выполнения программы, локализовать точку в программе с большим временем реальных потерь из-за рассинхронизации и, возможно, найти причину рассинхронизации.
Прежде, чем перейти к описанию алгоритмов, конкретизируем следующие понятия.
Вся программа считается интервалом самого верхнего – 0-го уровня. Если в программе при помощи функций MPI_Pcontrol определен интервал, то он является интервалом 1-го уровня. Всю программу в этом случае можно рассматривать как иерархию интервалов.
Если в программе определен интервал 1-го уровня, то в интервал 0-го уровня входят события от начала программы (MPI_Init) до входа в интервал 1-го уровня и события от выхода из интервала 1-го уровня до конца программы (MPI_Finalize). В интервал 1-го уровня входят события между обращениями к функции MPI_Pcontrol, обозначающими начало и конец интервала.
Любое событие на любом процессоре происходит внутри одного из этих двух интервалов, который является текущим для данного события.
Вычисление характеристик производится поэтапно.
1. Вычисление характеристик текущих интервалов на каждом процессоре.
2. Вычисление (или коррекция) всех характеристик для интервала 0-го уровня. При наличии интервала 1-го уровня большинство характеристик интервала 0-го уровня вычисляется посредством добавления к характеристике одноименной характеристики интервала 1-го уровня. Исключение составляет ряд характеристик, например, число используемых процессоров (Processors).
3. Вычисление сравнительных и основных характеристик для каждого интервала на основе имеющихся характеристик на каждом процессоре.
SRC Characteristics накапливаются в процессе вычисления характеристик и выдаются по интервалам.
Для каждого процессора вычисляются следующие характеристики:
1. Время выполнения (Execution Time).
2. Полезное время (Productive Time).
3. Потерянное время (Lost Time).
4. Простои на данном процессоре (Idle Time).
5. Общее время коммуникаций (Communications).
6. Реальные потери из-за рассинхронизации (Real Sync).
7. Разбалансировка (Load Imbalance).
8. Потенциальные потери на синхронизацию (Potential Sync).
9. Потенциальные потери из-за разброса времен (Time Variation).
10. Время перекрытия (Overlap).
11. Количество операций посылки (Send Number).
12. Количество операций приема (Receive Number).
13. Количество операций ожидания (Wait Number).
14. Количество коллективных операций (Collective Number).
Все характеристики можно разбить на следующие классы:
1. Характеристики, вычисление значений которых осуществляется по времени входа и выхода в MPI-функцию на одном процессоре.
К этому классу относятся компоненты времени коммуникаций (Communications): SendRecv Time, Collective Time, System Time, Send Number, а также счетчики Send Number, Receive Number, Wait Number и Collective Number.
2. Характеристики, вычисление значений которых осуществляется по времени вызова пар MPI-функций на одном процессоре - время входа в первую функцию и время выхода из второй функции.
К этому классу относятся Execution Time (от MPI_Init до MPI_Finalize или от входа в интервал до выхода из него), время выполнения последовательного участка Tseq (от начала последовательного участка до его конца или до завершения интервала, либо от начала интервала до конца последовательного участка).
3. Характеристики, вычисление значений которых осуществляется по времени входа и выхода в несколько функций MPI на нескольких процессорах.
К этому классу относятся Real Sync и Overlap.
4. Характеристики, вычисление значений которых осуществляется по времени вызова одной коллективной операции MPI на группе процессоров.
К этому классу относятся Potential Sync, Time Variation.
Значение каждой вычисленной характеристики (кроме Execution Time и Tseq) добавляется к накапливаемому для текущего интервала значению на каждом процессоре.
Подсчет характеристик для соответствующих событий производится следующим образом.
· Время операций точка-точка (SendRecv Time)
Это время выполнения всех операций типа "точка-точка".
· Время коллективных операций (Collective Time)
Это время выполнения коллективной операции.
· Время служебных операций (System Time)
Это время выполнения MPI-функции, не являющейся ни операцией точка-точка, ни коллективной операцией.
· Время рассинхронизации (Real Sync)
Для каждой блокирующей операции приема (MPI_Recv) определяется время Tsend (время выдачи соответствующей операции посылки).
Если прием выдан раньше посылки, т.е. Trecv<Tsend , то
Real Sync= Tsend-Trecv.
При использовании синхронных операций приема/посылки для каждой операции ожидания MPI_Wait* (MPI_Wait, MPI_Waitany, MPI_Waitsome, или MPI_Waitall) определяется время выдачи самой поздней посылки Tmaxsend. При этом рассматриваются только те операции посылки, которые завершились по данной операции ожидания.
Если операция ожидания выдана раньше, чем операция посылки, т.е. Tmaxsend > Twait, то Real Synh = Tmaxsend-Twait.
· Потенциальные потери на синхронизацию (Potential Sync)
Для каждой коллективной операции вычисляется разница между максимальным по процессорам временем выдачи данной коллективной операции и временем ее выдачи на данном процессоре.
· Потенциальные потери из-за разброса времен (Time Variation)
Для каждой коллективной операции вычисляется разница между максимальным по процессорам временем завершения данной коллективной операции и временем ее завершения на данном процессоре.
· Время перекрытия (Overlap)
Для каждой асинхронной операции посылки вычисляется разница между временем выдачи операции ожидания MPI_Wait* (MPI_Wait, MPI_Waitany, MPI_Waitsome, или MPI_Waitall) и временем запуска этой асинхронной операции на данном процессоре. Если проверка завершенности асинхронных операций осуществляется при помощи операции MPI_Test*(MPI_Testall, MPI_Testany, MPI_Testsome), то вместо времени выдачи операции ожидания берется время выдачи той функции MPI_Test*, которая завершает эту асинхронную операцию.
Для асинхронной операции приема вычисление отличается тем, что берется максимум между временем ее запуска и временем запуска соответствующей операции посылки на другом процессоре (обмен же не может начаться, пока не запущена операция посылки). В случае функций ожидания нескольких операций (например, MPI_Testsome) суммируются времена совмещения для всех завершившихся операций обмена.
На основе этих характеристик вычисляются следующие характеристики:
· Общее время коммуникаций (Communications)
Эта характеристика вычисляется как сумма трех характеристик- SendRecvTime , Collective Time и System Time .
Communications = SendRecvTime + Collective Time + System Time
· Простои (Idle Time)
Для вычисления этой характеристики сначала вычисляется максимальное по процессорам время выполнения, а затем из него вычитается время выполнения на данном процессоре.
Idle Time = (максимум по процессорам среди Execution Time) - Execution Time
· Недостаточный параллелизм (Insufficient Parallelism)
Время выполнения последовательного участка Tsec делится на две части – полезное время ( Tsec/K) и потери из-за недостаточного параллелизма (Tsec-Tsec/K= Tsec*(K-1)/K), где К - число процессоров, выполнявших данный последовательный участок.
Эта характеристика вычисляется как сумма потерь из-за недостаточного параллелизма для всех последовательных участков.
· Потерянное время (Lost Time)
Значение этой характеристики равно сумме Communications, Idle Time и Insufficient Parallelism.
Lost Time = Communications + Idle Time + Insufficient Parallelism
· Предполагаемое время работы на одном процессоре (Productive Time)
Значение этой характеристики равно разнице между временем выполнения интервала и потерянным временем.
Productive Time = Execution Time - Lost Time
· Разбалансировка (Load Imbalance)
Для вычисления этой характеристики сначала вычисляется максимальное по процессорам предполагаемое время выполнения на одном процессоре, а затем из него вычитается предполагаемое время выполнения на данном процессоре.
Load Imbalance = (максимум по процессорам среди Productive Time) - Productive Time.
Вычисление сравнительных характеристик для каждого интервала производится после вычисления всех характеристик выполнения программы на каждом процессоре. Сравнительные характеристики - время выполнения (Execution Time), предполагаемое время работы на одном процессоре (Productive Time), потерянное время (Lost Time), простои (Idle Time), общее время коммуникаций (Communications), реальные потери из-за рассинхронизации (Real Sync), разбалансировка (Load Imbalance), потенциальные потери на синхронизацию (Potential Sync), потенциальные потери из-за разброса времен (Time Variation), время перекрытия (Overlap) вычисляются одинаково. Значение каждой характеристики представляет собой среднее арифметическое значений соответствующих характеристик для всех процессоров.
Вычисление основных характеристик и их компонент для каждого интервала производится после вычисления всех характеристик выполнения программы на каждом процессоре. Почти все основные характеристики получаются путем суммирования соответствующих характеристик по процессорам. Исключением являются следующие характеристики:
· Время выполнения (Execution Time) - максимальное значение среди времен выполнения интервала на тех процессорах, на которых он выполнялся.
· Число используемых процессоров (Processors) – количество процессоров, выполнявших данный интервал.
· Общее время использования процессоров (Total Time) - произведение времени выполнения (Execution Time) на число используемых процессоров (Processors).
· Коэффициент эффективности (Parallelization Efficiency) равен отношению предполагаемого времени работы на одном процессоре (Productive Time) к общему времени использования процессоров (Total Time).
· Количество коллективных операций (Collective Number) равно сумме числа коллективных операций, в которых каждый процессор был лидером (имел нулевой номер в группе участников коллективной операции). При таком вычислении число коллективных операций не зависит от количества участвующих в них процессов.