Автоматический мониторинг стыковки космического корабля с орбитальной станцией по видеоинформации

( Automatic vision-based monitoring of a spacecraft docking to the orbital station
Preprint, Inst. Appl. Math., the Russian Academy of Science)

1. Введение

Одной из наиболее трудных и важных стадий управления полетом космических кораблей «Союз» и «Прогресс» является их стыковка с орбитальной станцией. Радиотехнические средства управления стыковкой, используемые в течение многих лет в отечественной космической практике, очень дороги и не позволяют стыковаться с некооперируемой станцией. Применяются также ручные методы, в которых в качестве одного из оптических вспомогательных средств используется телекамера. В частности, при стыковках беспилотных кораблей «Прогресс» с орбитальной станцией «Мир» применялся так называемый телеоператорный режим управления в котором космонавт на станции управляет стыкующимся с ней кораблем руководствуясь телевизионным изображением станции, получаемым от телекамеры, установленной на корабле.

В Центре управления полетами имеются средства контроля параметров относительного движения объектов при стыковке (дальность, скорость, угловые отклонения). Применяются полуавтоматические средства, использующие телевизионные системы 60-х годов и не удовлетворяющие современным требованиям. В настоящее время имеются и технические средства получения видеоинформации и способы ее обработки, позволяющие проводить мониторинг стыковки на более высоком уровне. Ниже описывается программный комплекс автоматизированного визуального мониторинга процесса стыковки космических кораблей с Международной космической станцией (далее для краткости – комплекс), позволяющий в автоматическом режиме и реальном времени определять движение корабля относительно станции.

Комплекс реализован на ЭВМ типа IBM PC. Исходной информацией для комплекса служит передаваемое на Землю телевизионное изображение станции в ТВ-камере на борту корабля. ТВ-сигнал вводится в ЭВМ с помощью устройства ввода зрительных данных. Кроме того, предусмотрена возможность обработки уже оцифрованных последовательностей изображений формата AVI. Весь комплекс реализован в среде ОС Windows 98-XP.

Конечная цель разработки комплекса состоит в полной автоматизации визуального слежения за процессом сближения корабля и станции, начиная с момента видимости станции в поле зрения ТВ-камеры (около 500 м) до окончания стыковки. Однако возможности используемой в настоящее время видеосистемы более скромные. На расстоянии менее 15 м от станции параметры положения корабля относительно нее, а именно, координаты фокуса камеры и ориентация связанной с камерой системы координат, полностью определяется по параметрам изображения специальной мишени. Мишень представляет собой окружность с внешним радиусом 0.4 м, образованную белыми метками в виде квадратов и прямоугольников. Окружность расположена рядом со стыковочным узлом на торце Служебного модуля. Плоскость мишени совпадает с плоскостью этого торца. В центре мишени перпендикулярно ее плоскости расположен стержень длиной 0.6 м. На конце стержня установлен прямой крест. Плоскость креста параллельна плоскости мишени, размах каждой его перекладины – 0.2 м. Видеоизображение мишени и креста показано на приводимом ниже рис. 2.

При идеальной стыковке центр креста на видеоизображении должен совпадать с центром мишени, а концы перекладин креста – находиться против выделенных меток в форме прямоугольников. В реальном процессе (ср. рис. 2) эта конфигурация нарушена. Оказывается, по размеру мишени, по горизонтальному и вертикальному смещениям ее центра относительно центра креста на видеоизображении можно найти положение фокуса камеры относительно станции. По смещениям центра мишени относительно центра кадра и по углу поворота креста относительно границ кадра можно найти три угла, задающие ориентацию связанной с камерой системы координат относительно системы координат станции. Таким образом, вблизи станции видеоизображение мишени и креста дает исчерпывающую информацию о положении корабля. Имея последовательность кадров с измерениями указанных смещений и углов, можно восстановить и движение корабля относительно станции.

На расстоянии более 15 м по видеоизображению достаточно надежно определяется только расстояние между кораблем и станцией. Такое определение выполняется по размеру окружности, являющейся изображением торца Служебного модуля, при дополнительном предположении, что этот торец расположен примерно перпендикулярно оптической оси камеры. Иными словами, продольные оси Служебного модуля и корабля параллельны. Раз уж такое предположение принято, то естественно принять, что соответствующие оси систем координат мишени и камеры параллельны. Анализ большого числа стыковок показывает, что такое предположение допустимо. В его рамках удается восстановить движение центра масс корабля относительно станции.

Опишем работу комплекса. Основные этапы сбора и обработки зрительных данных в комплексе реализованы подобно действиям оператора-человека.

В предъявленном поле зрения:

Ø     выделяется объект интереса (в зависимости от дальности наблюдения им может быть либо вся станция целиком, либо стыковочный узел, либо специальная мишень для прицеливания);

Ø     определяются его характерные элементы, образы которых хорошо различимы на изображении (измерительная часть);

на основе полученных данных:

Ø     определяется положение этих элементов относительно системы координат, связанной с изображением; для оператора это перекрестие визира (измерительная часть);

Ø     вычисляются параметры, характеризующие относительное расположение корабля и станции (расчетная часть).

Ø     Дополнительно к действиям оператора-человека комплекс вычисляет и отображает в принятом для анализа виде параметры, характеризующие процесс стыковки.

2. Измерительная часть

Целью этой части комплекса является определение координат точек и характерных размеров объектов интереса на изображении. Достижение этой цели разбивается на четыре задачи:

1.     выделение области интереса[1] в очередном цифровом изображении;

2.     предобработка зрительных данных в области интереса;

3.     выделение объектов интереса;

4.     определение координат заданных точек на объектах интереса.

Решение перечисленных задач должно выполняться в реальном времени, задаваемом частотой смены кадров в ТВ-сигнале и потребностью получения результаты расчетов движения корабля не реже одного раза в секунду.

Обеспечение надежности. Для надежного выделения образов объектов-ориентиров на изображении используются следующие приемы:

Ø     настройка яркости и контрастности анализируемого изображения – оптимальных с точки зрения выделения интересующих объектов.

Ø     резервное дублирование и троирование ориентиров, выделение которых необходимо для  надежной работы комплекса.

Ø     самоконтроль системы на основе априорной информации.

Система координат изображения. Положение образов объектов интереса и их частей задаются в системе координат, связанной с изображением (рис. 1). В качестве единицы измерения длины берется расстояние между двумя соседними элементами цифрового изображения – пикселами.

Последовательность действий в процессе проведения определений координат и размеров. Первая из задач, указанных в начале данного раздела, решается двумя основными способами:

Ø     заданием области интереса (Рис. 2) извне (на основе информации, полученной на предыдущих этапах решения задачи слежения или указанной оператором);

Ø     вычислением координат и размеров области интереса на основе информации, полученной в ходе измерений на предыдущих кадрах видеоданных.

Вторая задача решается на основе анализа гистограммы, характеризующей распределение точек области интереса по уровням яркости. Ее вид должен допускать надежный переход к бинарному изображению. В рассматриваемой задаче это бимодальность. Управление видом гистограммы достигается с помощью регулировок яркости и контраста устройства ввода видеосигнала в ЭВМ. (Рис. 2, пример гистограммы области интереса).

Третья задача. В качестве объектов интереса в процессе сближения корабля и станции выбраны внешний обвод станции, диск стыковочного узла, крест на стержне перед мишенью для прицеливания и сам мишень.

Характерными элементами – ориентирами, определяемыми на образах этих объектов на изображении, являются край станции, крест и деления мишени.

Четвертая задача – определение координат заданных точек на объектах интереса – представляет собой чисто техническую операцию выбора требуемых координат.

3. Расчетная часть

Измерительная информация, полученная в результате обработки одного телевизионного полукадра кадра, имеет вид:

 – время привязки полукадра (в секундах от начала видеоклипа);

 – координаты центра креста (действительные числа);

 – количество точек на верхней/нижней горизонтальной стороне креста (целое число);

  – координаты точек на верхней горизонтальной стороне креста (целые числа  – координаты точек на нижней горизонтальной стороне креста (целые числа);

 – координаты точек);

на левой/правой вертикальной стороне креста (целые числа);

  – координаты точек на левой вертикальной стороне креста и их координаты (целые числа);

  – координаты точек на правой вертикальной стороне креста (целые числа);

 – координаты центра окружности мишени и ее радиус (действительные числа);

 – количество точек на окружности мишени и их координаты (целые числа);

 – координаты центра внешнего обода станции (окружности) и ее радиус (действительные числа).

Здесь все координаты выражены в пикселах. Некоторые из чисел ,  и  могут быть нулевыми. Например, равенство  означает отсутствие данных , . Несмотря на то, что результаты обработки кадра – величины  и  – в указанных данных имеются, в процедуре определения движения эти величины, если имеется возможность (при положительных соответствующих ), находятся независимо по исходной информации. Описываемые ниже вычисления параметров креста и мишени относятся к случаю, когда в исходных данных соответствующие  и . Последние соотношения служат ключами к анализу входной информации.

Определение координат центра креста. После преобразования данных

,        ()

точки  лежат на средней линии горизонтальной полосы креста, точки  – на средней линии вертикальной полосы креста. Уравнения этих линий запишем в виде:  (горизонтальная),  (вертикальная). Здесь ,  и  – коэффициенты. На самом деле угол между средними линиями полос креста отличен от прямого, но это отличие – эффект второго порядка, который при имеющемся качестве изображения незаметен. Значения коэффициентов ,  и  находятся методом наименьших квадратов из условия

 по .

Для определения этих коэффициентов получаем линейную систему. Центр креста – точка пересечения указанных средних линий – имеет координаты

,    .

Как правило, рассогласования  и  не превышают 1.5 пикселов. При определении движения используются величины ,  и .

Определение координат центра окружности мишени и ее радиуса. Рассматривается множество  точек мишени. Находится пара точек  и , на которой реализуется диаметр этого множества. Находится вторая пара точек  и , на которой реализуется диаметр множества, являющегося проекцией множества  на прямую, перпендикулярную отрезку . Отрезки  и  рассматриваются как хорды одной и той же окружности. Через центр каждой хорды проводится перпендикуляр, и находится точка пересечения этих перпендикуляров – первое приближение центра окружности мишени. Координаты последней точки обозначим . Первое приближение радиуса окружности мишени находится по формуле

.

Окончательные значения координат центра окружности и ее радиуса находятся методом наименьших квадратов из условия

 по .

Сформулированная задача решается по схеме Гаусса-Ньютона [1]. Ее решение обозначим ,  и . Как правило, рассогласования ,  и  не превышают 1.5 пикселов. При определении движения используются величины ,  и . Ниже для простоты записи звездочки у перевычисленных параметров изображения не указываются.

Основные геометрические соотношения. С мишенью свяжем правую декартову систему координат . Точка  – центр мишени, ось  направлена перпендикулярно плоскости мишени в сторону от станции, т. е. параллельна продольной оси Служебного модуля, ось  пересекает ось стыковочного узла Служебного модуля.

С камерой корабля свяжем правую декартову систему координат . Плоскость  совпадает с картинной плоскостью камеры, ось  совпадает с оптической осью камеры и направлена по движению корабля, ось  пересекает ось стыковочного узла корабля. Матрицу перехода от системы  к системе  обозначим , где  – косинус угла между осями  и . Формулы перехода между этими системами координат имеют вид

   ,          .

Здесь  – координаты точки  в системе .

Идеальная стыковка характеризуется матрицей . При реальной стыковке матрица перехода представляется следующим образом

.

Здесь  – компоненты вектора бесконечно малого поворота системы  относительно ее положения при идеальной стыковке. Полагаем, что отклонения от идеальной стыковки малы.

         Если некоторая точка имеет в системе  координаты , то координаты изображения этой точки в картинной плоскости камеры будут

,      .

Здесь  – фокусное расстояние камеры. Именно координаты  и , выраженные в пикселах, имелись в виду при описании обработки отдельного кадра видеоизображения (см. выше). Пусть координаты той же точки в системе  будут . Тогда

     .

Координаты центра мишени – точки  – в системе  составляют , поэтому

,

.

При стыковке , , и можно использовать упрощенные выражения

,    .

Центр креста в системе  имеет координаты . В этом случае, делая аналогичное упрощение, получаем

,    .

Отсюда

,    .

Радиус  окружности мишени и радиус  ее изображения в картинной плоскости связаны соотношением

.

Последние три соотношения позволяют выразить ,  и  через ,  и . Затем можно найти  и , разрешив относительно этих углов выражения для  или . Что же касается угла , то можно показать, что для него в рамках рассматриваемого приближения имеет место соотношение .

Обработка кадра считается успешной, если удалось найти все перечисленные выше параметры изображений креста и мишени. В результате успешной обработки одного кадра можно определить положение корабля относительно станции. Обработав последовательность кадров, можно определить движение корабля относительно станции. Для определения движения используются только успешно обработанные кадры.

Определение движения корабля. Это движение определяется в реальном времени в результате пошаговой обработки последовательности кадров ТВ-изображения креста и мишени. Данные обрабатываются отдельными порциями. Порции либо имеют фиксированный объем, либо составляются из данных, полученных на отрезках времени фиксированной длины. При обработке второй и последующих порций учитываются результаты обработки предыдущих порций.

Каждая порция обрабатывается в два этапа. На первом этапе определяется движение центра масс корабля, на втором этапе – его движение относительно центра масс. Математическая модель движения корабля принимается в виде

,    ,    ,

,    ,    .

Здесь  – время, отсчитываемое от начала обработки видеоклипа,  и  – постоянные коэффициенты. Выписанные соотношения имеют прозрачный кинематический смысл. Значения коэффициентов модели, полученные после обработки порции данных с номером , обозначим , . Отвечающие таким коэффициентам функции  и  будем обозначать  и .

         Определение движения выполняется следующим образом. Пусть имеется последовательность успешно обработанных кадров, отвечающих моментам времени  Моменту  соответствует кадр с номером . Значения величин , , , , , , найденные в результате обработки -го кадра, обозначим , ,  и т. д. Эти величины с индексами  составляют первую порцию данных, с индексами  – вторую порцию, с индексами  – -ую порцию.

         Первая порция данных обрабатывается обычным методом наименьших квадратов. На первом этапе рассматривается функционал

.

Здесь  – вектор коэффициентов, задающих функции ,  – положительные постоянные (веса). Минимизация этого функционала выполняется методом Гаусса-Ньютона [1]. Оценка  вектора  и ковариационная матрица  этой оценки рассчитываются по формулам

,    ,    ,

где  – вычисленная в точке  матрица системы нормальных уравнений, возникающих в процессе минимизации .

         На втором этапе вычисляются величины

,   

и решаются три однотипные задачи линейной регрессии

,    ,        .

Решение находится методом наименьших квадратов [1, 2]. Ограничимся описанием оценивания пары параметров  – оценивание пар  и  выполняется аналогично. Для удобства записи параметры  объединим в вектор .

         Оценки  и  доставляют минимум квадратичной форме

.

Матрицу этой квадратичной формы обозначим . Ковариационная матрица вектора  имеет вид , где .

         Обработка второй порции выполняется так. На первом этапе рассматривается функционал

.

Здесь ,  – параметр, . Оценка  и ковариационная матрица  этой оценки рассчитываются по формулам

,    ,    ,

где  – вычисленная в точке  матрица системы нормальных уравнений, возникающих в процессе минимизации .

         На втором этапе вычисляются величины

,    ,

и решаются линейные регрессионные задачи дляопределения оценок . Оценка  доставляет минимум квадратичной форме

.

Здесь  – параметр, . Матрицу этой квадратичной формы обозначим . Ковариационная матрица вектора  имеет вид , где .

         Обработка третий и последующих порций данных выполняется по той же схеме, что и обработка второй порции. Формулы обработки порции с номером  получаются из формул для обработки второй порции заменой индексов, выражающих номера порций: , .

         Описанный алгоритм обработки весьма похож на нелинейный калмановский фильтр [3]. В нелинейном фильтре Калмана матрица  рассчитывается по формуле , где  – ковариационная матрица той части разности , которая обусловлена ошибками математической модели при переходе от отрезка времени  к отрезку . Такой выбор  и вид функционала  подразумевают, что ковариационная матрица ошибок в измерениях величин ,  и  равна

.

Как нетрудно видеть, , т.е. матрица  положительно определена. Введение матрицы  обеспечивает уменьшения вклада оценки  в обновленную оценку . К сожалению, матрица  неизвестна. В такой ситуации естественно принять . При  имеем . Описанный способ выбора  означает, что при обработке -ой порции данных учитываются данные предыдущих порций, причем -ой порции приписывается вес 1, -ой порции – вес , -ой порции – вес  и т. д.

         Результаты обработки -ой порции данных представляются числами ,  . Для более удобного представления движения вычисляются также величины

,    ,    ,    .

Угол  называется пассивным углом тангажа, угол  – пассивным углом рысканья. Если стыковка близка к идеальной (рассматриваемый случай), то ,  и

,    .

Угол  – это активный угол тангажа,  – активный угол рысканья, угол  – активный угол крена. Напомним, что эти углы также малы по абсолютной величине.

         Характеристки точности определяемого движения рассчитываются в рамках обычных допущений метода наименьших квадратов. Например, выше была введена ковариационная матрица  вектора . С помощью этой матрицы ковариационная матрица  вектора

рассчитывается по формулам

    ,    .

Эти формулы относятся к движению, найденному в результате обработки -ой порции данных.

Зная , можно рассчитать стандартные отклонения , ,  и  величин , ,  и . Стандартное отклонение  имеет вид

,   

аналогичными формулами определяются остальные стандартные отклонения. На экран выводятся значения , , ,  и т. п. величины, относящиеся к последним моментам времени обрабатываемых порций данных.

4. Пример работы комплекса

Пример работы описанного алгоритма оценивания движения корабля приведен на рис. 6, 7. Рис. 6 содержит графики функций , ,  и  и  , на рис. 7 изображены фазовый портрет движения в плоскости  и графики стандартных отклонений , ,  и . Значения всех указанных функций вычислены в последние моменты времени обрабатываемых порций данных и отмечены маркерами. Порции содержали по 10 моментов времени с измерениями: . Для наглядности маркеры соединены отрезками прямых, поэтому представленные графики суть ломаные. Смысл имеют только вершины ломаных, а их звенья – (не всегда точная) интерполяция, служащая для удобства визуализации. Как видно из рис. 7, на заключительном этапе сближения движение корабля определялось достаточно точно.

В приведенном примере описанный алгоритм в полной мере был исползован, начиная примерно с 68 с, когда появились отличные от нуля значения угла . До этого момента, пока расстояние до мишени было более 12.5 м, работал упрощенный алгоритм (см. предыдущий раздел), не определявший поворота креста мишени относительно сторон кадра. В этом случае принималось . Во входной информации в этом случае было , , и уточнение выданных характеристик креста и мишени не выполнялось.

На расстояниях до мишени более 25 м мишень и ее размеры не удается определить надежно. Это случай распознается по признаку, что  отличны от нуля. В таком случае принимается  и

,    ,    .

Здесь  – радиус обода станции. Выписанные соотношения позволяют определить только движение центра масс корабля. Это определение выполняется по описанной выше схеме. Фактически три последних соотношения умножаются на ненулевые множители, чтобы без изменения можно было использовать процедуры, используемые алгоритмом, рассмотренным выше.

Пример определения движения на расстоянии от станции, превышающем 25 м, приведен на рис. 8 – 11. Рис. 8, 9 построены по порциям данных с 10 моментами времени, рис. 10, 11 – по порциям с 40 моментами. Как видим, результаты оказались близкими.

5. Заключение

Описанная система в настоящее время используется как средство, позволяющее наземным операторам получать информацию о параметрах движения стыкующегося корабля в реальном времени. Наиболее существенная часть этой информации передается на Землю (и всегда передавалась) по телеметрическому каналу. Она также высвечивается на дисплее. Однако эта так называемая штатная информация относится к текущему моменту времени и без дополнительной обработки не может дать целостной картины процесса стыковки. Такая дополнительная обработка организационно гораздо сложнее и дороже обработки видеоизображения. Следует отметить, что определение параметров движущихся объектов по видеоизображению в настоящее время становится наиболее доступным и универсальным средством решения задач такого рода в ситуациях, когда цена отказа сравнительно невелика. Оно находит широкое применение в быту и технике, в частности, в автоматическом мониторинге скоростей автомобилей, автоматическом управлении роботами и т. п. В ближайшем будущем можно ожидать вовлечения в сферу применения этого подхода задач, решение которых требует определенной надежности.

         Данная работа выполнена при поддержке РФФИ (проекты 04-01-00475, 02-01-00671, 02-07-90425).

Литература

1.     Бард Й. Нелинейное оценивание параметров. М., «Статистика», 1979.

2.     Себер Дж. Линейный регрессионный анализ. М., «Мир», 1980.

3.     Эльясберг П.В. Определение движения по результатам измерений. М., «Наука», 1976.