Калибровка изображений в приложении управления камерой MAPIR

На этой странице объясняется, как и почему мы калибруем изображения, используемые для измерения коэффициента отражения таких материалов, как растительность на сельскохозяйственных полях.

Зачем нужна калибровка?

Наше Солнце излучает большое количество светового спектра, который отражается объектами на поверхности Земли. Этот отраженный свет можно зафиксировать с помощью камеры на длинах волн, к которым чувствителен датчик камеры. Мы предлагаем датчики на основе кремния, чувствительные к видимому и ближнему инфракрасному спектру около 400-1100 нм. Используя полосовой фильтр, который пропускает только узкий спектр света к датчику, мы можем определить, насколько объект отражает этот конкретный диапазон света.

Например, если фильтр камеры выбирает широкополосный диапазон 25 нм с пиковой длиной волны 650 нм, он будет захватывать только отраженный «красный» солнечный свет с длиной волны 650 нм. Таким образом, каждый пиксель изображения представляет собой процент отраженного света, который может пройти через «красный» фильтр.

В зависимости от битрейта изображения значение пикселя варьируется от минимального значения до максимального значения. Чем выше битрейт, тем больше информации может храниться в изображении. Датчик захватывает каждое изображение в формате RAW и либо сохраняет RAW, либо преобразует его в более распространенный формат (обычно путем сжатия). Камера Survey3 захватывает 12-битные фотографии в формате RAW на канал RGB, а затем преобразует их в 16-битные, что означает диапазон значений пикселей от 0 до 65 535. Когда камера сохраняет 8-битный JPG, она сжимает (удаляет) пиксели, оставляя только диапазон от 0 до 255. Поскольку мы фиксируем отражательную способность света, а не пытаемся сделать «красивую картинку», мы хотим всегда использовать формат RAW, если это возможно. Если вам нужен JPG, вы можете легко преобразовать RAW в TIFF в JPG с помощью MAPIR Camera Control (MCC) (см. ниже).

Также важно убедиться, что вы отрегулировали настройки камеры (выдержку, ISO, EV), чтобы ни один из пикселей не достиг своего максимального значения. Если пиксели обычно выше максимального значения, информация будет потеряна. Вы можете заметить, что изображения с камеры Survey3 выглядят темными. Это нормально, потому что мы установили значение по умолчанию, чтобы предотвратить максимальное количество пикселей. Помните, что вы фиксируете процент отражения, а не создаете «красивую картинку».

Это подводит нас к калибровке. Только потому, что мы фиксируем определенный процент отражения в каждом пикселе, как мы узнаем, что это правильно? Затем нам нужно что-то для калибровки каждого пикселя с известным значением коэффициента отражения. Для этого перед каждой съемкой мы делаем снимки набора наземных целей для калибровки отражательной способности камеры MAPIR, который содержит 4 цели, которые были измерены в возрастающих длинах волн с помощью спектрометра (откалиброванного лабораторного прибора). Затем значения пикселей захваченного изображения цели сравниваются с известным значением отражательной способности цели. Используя эту информацию в MAPIR Camera Control (MCC) и MAPIR Cloud, мы затем конвертируем значения пикселей в значения альбедо.

Нормализованный разностный индекс вегетации (NDVI), наиболее распространенный анализ, сравнивает отраженный красный/оранжевый и ближний инфракрасный (NIR) свет, чтобы определить, где растения наиболее «здоровы». Мы предполагаем, что на выборочной площади одной культуры растения, отражающие больше света NIR, будут больше фотосинтеза и, следовательно, будут более здоровыми (и наоборот). Если участок с растениями имеет более высокое значение NDVI, растения там, скорее всего, будут более здоровыми. Независимо от того, какой индексный анализ вы выполняете, вы также должны выполнить физическую проверку предметной области, чтобы проверить свои результаты, процесс, который часто называют «наземной проверкой».

如何校准图像

Перед калибровкой вам нужно будет переместить изображения, которые не являются частью основного опроса, в отдельную папку. Если у вас есть лишние изображения перед первой контрольной точкой съемки или после последней контрольной точки, вам необходимо переместить их в эту отдельную папку. Если у вас есть какие-либо изображения, сделанные на земле, в том числе изображения с калибровочными мишенями, вам также потребуется поместить их в отдельную папку. Изображения в основной папке должны содержать только изображения вашего предмета/области опроса. Это помогает улучшить контрастность полученного калибровочного изображения.

Чтобы начать калибровку, откройте MAPIR Camera Control (MCC) и щелкните вкладку «Калибровка»:

Чтобы пиксельные данные масштабировались одинаково, нужно загрузить все камеры в окно калибровки для калибровки. Например, если вы хотите откалибровать Survey3W_RGN с камерой Survey3W_NGB, вы можете выбрать модель камеры, объектив и фильтр для обеих камер следующим образом:

Если вы сделали снимок наземной цели для калибровки отражения камеры MAPIR до съемки (рекомендуется), нажмите первую кнопку обзора и выберите изображение цели QR. Затем нажмите кнопку «Создать калибровочные значения» рядом с кнопкой обзора. Когда программное обеспечение обнаружит цель QR, диалоговое окно справа подскажет вам, было ли оно успешным или нет. Сделайте это для каждой камеры, которую вы калибруете.

Если никакое изображение не может быть использовано для обнаружения QR-кода, программа автоматически использует предоставленные нами жестко запрограммированные значения, которые были получены в ясный солнечный день. При использовании жестко закодированных значений могут быть небольшие неточности, поэтому незадолго до начала съемки обязательно сделайте несколько хороших изображений цели, чтобы получить наилучшие результаты.

После того, как программное обеспечение получит необходимые значения калибровки для каждой камеры, нажмите кнопку обзора для каждой камеры под кнопкой «Создать значения калибровки», чтобы выбрать каталог входного изображения для этой камеры. Вы просматриваете папку, а не отдельные изображения, поэтому вы не увидите изображения в браузере входной папки. Калибровка откалибрует все изображения во всех входных папках, поэтому убедитесь, что там нет нежелательных изображений. Обычно лучше очистить входную папку, удалив все ненужные фотографии или переместив все фотографии в другую папку, например, фотографии, сделанные камерой до и после основного опроса. Затем нажмите кнопку калибровки в нижней части окна, чтобы выполнить калибровку. Программа может зависнуть и перестать отвечать во время калибровки, это нормально.

Папка Calibrated_1 будет автоматически создана во входной папке калиброванных изображений. Если вы хотите преобразовать калиброванный TIFF в JPG, установите флажок «Преобразовать калиброванный TIFF в JPG», прежде чем нажимать кнопку калибровки.

Дальнейшая обработка калибровочных изображений

Каждый пиксель изображения теперь представляет процент отражения захваченной области. Они могут быть довольно темными, но не волнуйтесь, это нормально. Помните, что вы фиксируете информацию об альбедо, а не красивые картинки.

После того, как вы откалибровали каждую фотографию, вам нужно загрузить изображения в выбранное вами программное обеспечение для создания ортофотоплана.

Если ваше программное обеспечение для создания ортомозаики не имеет встроенного калькулятора растра/индекса, вы можете следовать приведенному ниже руководству, чтобы рассчитать требуемый индекс и применить цветовой градиент (LUT):

Откройте MAPIR Camera Control (MCC) и щелкните вкладку «Просмотр» вверху. Средство просмотра позволяет просматривать изображения, которые обычно слишком темные для просмотра в других средствах просмотра фотографий. Вы можете просматривать и преобразовывать отдельные изображения прямо с камеры или из сшитой орто-мозаики. При нажатии кнопки «Обзор» открывается изображение TIFF, ранее преобразованное из RAW, на вкладке «Обработка» MCC (вы также можете открыть JPG в средстве просмотра).

Вот некалиброванное изображение в формате TIFF, снятое камерой Survey3W RGN над винодельней (виноград):

В этой модели камеры RGN отраженный красный свет улавливается в красном канале изображения, а отраженный свет ближнего инфракрасного (NIR) — преимущественно в синем канале изображения.

Если вы хотите разделить изображение на каналы RGB, вот красный канал (левый/верхний) и синий канал (правый/нижний):

(Изображение обрезано.)

Бело-серые ряды — это лианы, которые кажутся серыми в красном канале и белыми в синем канале. Значения пикселей варьируются от черного (без отражения) до белого (полное отражение). Растения отражают много света NIR во время фотосинтеза, поэтому синий канал NIR показывает растения белыми, а землю — черными. Мы еще не откалибровали изображение, поэтому давайте сделаем это сейчас:

На вкладке «Калибровка» в MCC загрузите фотографии из нашего набора пластин для калибровки камеры, также выбрав папку с изображениями TIFF на винограде. Нажмите кнопку «Создать значения», затем нажмите «Калибровать» внизу:

Вернувшись на вкладку «Просмотр», просмотрите калибровочное фото:

Обратите внимание, что в целом изображение гораздо менее зеленое, что является следствием калибровки. Другой заключается в том, что значения индекса теперь правильно откалиброваны, давайте посмотрим, что дальше.

Нажмите кнопку Вычислить индекс, чтобы отобразить растровый калькулятор. Давайте выберем индекс NDVI для этого урока. NIR-свет в основном хранится в синем канале изображения, поэтому измените раскрывающийся список Y на @Band3 (синий канал). Раскрывающийся список X должен быть @Band1(Red Channel) для представления красного канала изображения:

Нажмите кнопку «Применить», и изображение в окне просмотра станет черно-белым. Это индексное изображение NDVI, где черные пиксели представляют низкие значения индекса, а белые пиксели — высокие значения. Вы можете увидеть диапазон значений пикселей справа от области легенды. Для индекса NDVI низкое (черное) значение пикселя означает, что пиксель отражает больше красного света, чем NIR, и, следовательно, не является фотосинтетически здоровой растительностью. Высокое (белое) значение пикселя, наоборот, имеет больше NIR-света, чем красного света, и обычно представляет собой здоровую растительность.

Как видите, пиксели изображения варьируются от -0,36 до 0,44. При использовании формулы NDVI растительность обычно имеет значение NDVI от 0,2 до 0,9. Теперь давайте добавим немного цвета, чтобы мы могли лучше видеть контраст между землей и растениями, а также сами растения.

Нажмите кнопку Configure LUT, чтобы отобразить окно Color Mapping (LUT). Выберем Lut: RrYyGg, Classes: 7 Colors и Clip: Background Grayscale. Нажмите кнопку «Применить»:

Оглядываясь назад на главный экран просмотра, вы можете видеть, что индексное изображение теперь окрашено в соответствии с вашим lut:

Во все еще открытом окне Color Mapping (LUT) вы заметите, что есть редактируемые значения для значений Min и Max пикселей. Эти значения представляют собой диапазон значений пикселей, к которым применяется цвет на основе выбранного клипа. Вот варианты обрезки:

• Сплошной цвет: этот параметр берет цвет в конечной цветовой гамме и устанавливает для всех пикселей за пределами минимального/максимального диапазона пикселей минимальный и максимальный цвета цветовой гаммы.

• Прозрачный: этот параметр делает все пиксели за пределами минимального/максимального диапазона прозрачными (прозрачными). Это полезно при наложении изображений друг на друга, например, составное изображение с базовым слоем изображения RGB и только растительностью, окрашенной в соответствии с lut.

• Оттенки серого фона: этот параметр устанавливает пиксели в пределах минимального/максимального диапазона с цветовой шкалой и пиксели за его пределами в ту же шкалу серого, что и индексированное изображение.

• Исходный фон: этот параметр устанавливает мин./макс. внутренние пиксели для тех, у кого есть цвет, и устанавливает эти пиксели за пределами исходного изображения.

Возвращаясь к нашему примеру, давайте изменим min на 0, а кадрирование на «Background Original», чтобы мы могли видеть цвет только индексированных пикселей NDVI от 0 до 0,44, а затем отображать исходное изображение среди других:

Затем вы можете нажать кнопку «Сохранить», чтобы сохранить это изображение.