Шумы и оптимальные режимы съемки Canon 350D

[Павел Бахтинов]

Массовое внедрение в практику любительской астрофотографии цифровых фотоаппаратов вызывает у многих любителей вопросы о выборе оптимальных параметров съемки. В частности, привычная по пленочной фотографии величина светочувствительности (ISO) приобретает, применительно к цифровым камерам, несколько другой смысл. Если для пленки изменение ISO достигается либо заменой самой пленки, либо особой ее обработкой (т.е. изменением физико-химических свойств фотоэмульсии), то в случае ПЗС накопление света происходит в той же самой матрице, а регулируемая в настройках фотоаппарата величина ISO характеризует лишь усиление дальнейшего электронного тракта. В идеале, можно было бы вообще не регулировать усиление во время съемки, заменив его перемножением на соответствующий коэффициент при последующей цифровой обработке изображения, однако в реальном устройстве такая замена может оказаться не всегда адекватна (в зависимости от распределения источников шума по электронному тракту и разрядности используемого АЦП).

Рассуждая подобным образом, вскоре после приобретения весной этого года фотоаппарата Canon-350D я сделал несколько пробных снимков слабосветящихся искусственных тест-объектов с одинаковой 10-минутной выдержкой при разных ISO. Результат оказался довольно неожиданным: с увеличением ISO среднеквадратическая величина шума росла быстрее, чем само число ISO (и, соответственно, уровень сигнала от тест-объекта), иными словами, повышение ISO не только не приводило к увеличению отношения сигнал/шум (чего можно было ожидать, исходя из приведенных выше рассуждений), а наоборот, заметно ухудшало это отношение!

Правда, здесь следует отметить, что в Canon-350D используется не ПЗС, а КМОП матрица, внутренняя структура которой с достаточной детальностью нам неизвестна, а условия эксперимента были довольно далеки от реальной дип-скай астрофотографии - использовались одиночные кадры вместо серии субэкспозиций, никакой их калибровки не производилось, кроме того, те первые опыты были сделаны при комнатной температуре, а ясной ночью даже летом у нас обычно бывает существенно холоднее...

Поэтому был задуман новый эксперимент в условиях, более приближенных к "боевым", результаты которого я предлагаю вашему вниманию.

[Павел Бахтинов]

Опыты проводились в лабораторных (т.е. домашних ) условиях.

Было сделано по 10 темновых кадров с тремя разными выдержками (24, 120, 600 сек) плюс 10 кадров смещения (bias frame), все это при пяти значениях ISO (100, 200, 400, 800, 1600) и при двух различных температурах (в комнате при 26^оС и в холодильнике при 8^оС). Всего было получено 400 кадров, на что потрачено более 20-и часов суммарной "экспозиции". Однако экспозиция в прямом смысле слова (засветка матрицы) с целью упрощения эксперимента не производилась, все снимки сделаны в полной темноте. Таким образом, из опыта мог быть определен лишь уровень шума темновых кадров, уровень же сигнала (необходимый для сравнительной оценки результатов по величине отношения сигнал/шум) предполагалось определить расчетным путем. Поскольку для сравнения разных режимов одного и того же фотоаппарата достаточно знать искомую величину лишь в относительных единицах, такой подход представляется вполне корректным.
Действительно, есть все основания полагать (как теоретические, так и проверенные экспериментально в других опытах), что при не слишком больших освещенностях уровень сигнала пропорционален выдержке и числу ISO с достаточно высокой точностью (так, из снятой отдельно серии плоских полей в моем фотоаппарате выявлены отклонения ISO от номинала не более чем на 5%). Если уровень сигнала достаточно мал, можно надеяться также на то, что шум такого слабо засвеченного кадра почти не будет отличаться от шума темнового кадра.
Таким образом, можно сказать, что условия проведенного эксперимента близки к реальной съемке слабых дип-скай объектов на темном загородном небе.

Обработка полученных кадров велась в IRIS (ввиду большого объема материала широко применялась пакетная обработка с использованием командных файлов *.pgm).
Первым делом из каждого кадра вычиталось смещение (усредненный по 10-и снимкам bias frame). Затем девять из десяти кадров каждой серии использовались для изготовления master dark frame (метод сложения - сигма-клиппинг с коэффициентом 2.7). Оставшийся десятый кадр выполнял роль рабочего снимка объекта и калибровался полученным master dark с использованием имеющейся в IRIS функции оптимизации темнового тока (dark optimization). После калибровки снимок преобразовывался из CFA в цветной.
Чтобы имитировать обработку серии субэкспозиций, из полученного калиброванного снимка (объемом 8Mп) вырезались квадратные фрагменты 1000х1000, каждый раз с различным смещением по горизонтали и вертикали (использовался генератор случайных чисел), которые затем складывались между собой методом сигма-клиппинг (коэффициент 2.3). Расчет был на то, что на достаточно удаленных участках исходного снимка шум не коррелирован (выяснилось, что это верно лишь при определенных условиях - см. ниже), а значит, шумовые характеристики результата сложения сдвинутых фрагментов не должны отличаться от реального случая сложения отдельно снятых субэкспозиций.

Среднеквадратическое значение шума полученного сложенного фрагмента (определенное с помощью команды "stat" IRIS) использовалось для вычисления расчетного отношения сигнал/шум, с учетом суммарного времени экспозиции и числа ISO. Полученные в результате зависимости отношения сигнал/шум (С/Ш) от ISO и выдержки для девяти сложенных субэкспозиций представлены на графиках. Масштаб по осям - логарифмический, С/Ш выражено в относительных единицах (за единицу принято значение С/Ш при 8^оС, ISO100, экспозиции 9х24сек).

[Павел Бахтинов]

На показанных выше графиках фиксировано число субэкспозиций, суммарная же выдержка варьируется от 3.6 минут до 1.5 часов. Представляет интерес также сравнение шумовых характеристик при равной суммарной экспозиции (т.е., условно говоря, при одинаковых затратах времени на съемку). Результаты обработки экспериментального материала по этому варианту показаны на представленных ниже графиках: число сложенных субэкспозиций различно, но суммарная выдержка везде составляет по 1.5 часа. Масштаб и начало отсчета вертикальной оси те же, что и на предыдущем рисунке.

[Павел Бахтинов]

Полученные экспериментальные зависимости позволяют, на мой взгляд, сделать следующие выводы.
1)  Установка более высокого ISO не эквивалентно соответствующему увеличению экспозиции: поставив вдвое большую чувствительность и вдвое меньшую выдержку, не следует рассчитывать на аналогичный результат (впрочем, это было для меня очевидно и без каких бы то ни было экспериментов).
2) При высокой температуре (26^оС) и 10-мин выдержке установка высокого ISO ничего не дает. Более того, такого же или несколько лучшего результата при равной суммарной экспозиции можно добиться, снимая с короткими выдержками (2мин при ISO>400 и даже 24сек при ISO1600).
3) Снижение температуры до 8^оС существенно меняет картину. Наиболее эффективными оказываются 10-минутные выдержки при ISO400-1600. Но и здесь равная по суммарной длительности серия 2-мин субэкспозиций при ISO1600 догоняет их по эффективности (хотя на практике, с учетом потерь времени на  межкадровые паузы, я бы выбрал все же 10-минутные выдержки).
Экстраполируя выявившуюся тенденцию, можно ожидать, что при дальнейшем снижении температуры эффективность высоких ISO и длительных выдержек еще более повысится.

Кроме того, в процессе работы выявились еще некоторые особенности Canon-350D, которые полезно учитывать астрофотографам-практикам.
1) Из-за довольно большой потребляемой мощности с открытым затвором в режиме длительной выдержки, фотоаппарат заметно прогревается в процессе съемки серии субэкспозиций (и остывает между сериями - при наведении на новый объект, фокусировке и т.п., когда затвор преимущественно закрыт). Поэтому темновой ток первых и последних кадров серии немного разный, и при их калибровке темновыми кадрами (даже снятыми при строго одинаковой внешней температуре), необходимо обязательно использовать функцию оптимизации темнового тока ("dark optimization" в IRIS). Если этого не сделать, остаточный шум калиброванных кадров может увеличиться в разы. Эффект особенно заметен при больших шумах одиночного некалиброванного кадра; чем больше ISO и выдержка, тем аккуратнее должна быть выполнена калибровка.
2) Шум темнового кадра все же оказался коррелирован при его сдвиге строго по горизонтали (вдоль длинной стороны матрицы). Сложение со смещением большого количества таких кадров приводит к выявлению помехи в виде горизонтальных полос. Поэтому в случае использования методики съемки со сдвигом объекта между субэкспозициями (применяемой для минимизации вклада собственных шумов калибровочных кадров), нужно делать сдвиг вдоль короткой стороны кадра, а лучше - одновременно по двум координатам.

[АндрейЦ]

Поражает обьём проделанной работы.Спасибо за "лабораторку"!

[wladimir]

Блестящая работа. Но меня как практика интересовал вопрос, что лучше, меньше чувствительность, и больше выдержка, или больше чувствительность и меньше выдержка. На мой взгляд работа страдает одним недостатком - шаг выдержек выбран 5. Надо бы шаг сделать 4. Для корректного сравнения ситуации с ISO 400  и 1600.

[Pilgrim]

Спасибо! Очень качественная пища для размышлений. Потрясает объем проделанной работы и научный уровень анализа, супер!
Особенно ценен вывод о _качественном_ изменении соотношений в зависимости от температуры окружающей среды.
Теперь ясно, что при выборе стратегии съемки на ночь, ожидаемая температура должна играть чуть ли не главную роль!.

Для себя, после некоторого "переваривания" сделал первые выводы:

1) ISO 1600 показал себя очень даже хорошо, и бытующее мнение, что оптимальным является 400-800 не имеет под собой достаточных оснований и в большинстве случаев не верно. (для той же общей экспозиции)

2) Тактика 30-секундных экспозиций (Используемая мной сейчас, ввиду отсутствия тросика к компу и плохой периодики монтировки), вполне оправдана в июле, но совершенно не выдерживает критики в остальное время года!   Особенно если учесть объем материала для обработки.

3) Для летне-осеннего периода лучший выбор - экспозиции по 2 минуты на iso1600. Приимущества 10-минутных приходят вместе с заморозками (но их недостаток - железобетонные требования к монтировке и гидированию - остается)

[VD]

Для летне-осеннего периода лучший выбор - экспозиции по 2 минуты на iso1600. Приимущества 10-минутных приходят вместе с заморозками (но их недостаток - железобетонные требования к монтировке и гидированию - остается)

Короче говоря,  самое лучшее (если брать и монтировку)  это колбасить 30-ти сек  экспозициями на 1600.  Это так приятно,  не заморачиваться суперведением! 

[Александр Ростов]

Павел, потрясающий и исчерпывающий отчет!

Кстати насчет нагрева во время экспонирования (350мА - не шутки) - проводилось ли исследование локализации этой проблемы? Потому что если например будет выяснено, что греется преимущественно аккумулятор, то его вынос за пределы камеры существенно улучшит положение (извиняюсь, всё ни как руки не доходят это исследовать - столько бы проблем отпало)...

[Ivan Mhitarov]

При питании от внешнего блока камера греется примерно так же, то есть аккумулятор тут не при чем. Скорее всего греется электромагнит подъема зеркала.

[Lentz]

Большое спасибо, Павел!
Информации для размышления масса, причём, что самое главное - объективной информации.

Однако мне кажется что в стороне остался один важный вопрос о длине выдержек:
А будут ли вообще регистироваться при коротких выдержках очень слабые объекты, пусть и под шумом? Разве не может быть что очень слабый объект не будет виден, сколько коротких выдержек не снимай? Возможно я что-то фундаментально не понимаю и потому говорю ерунду, поэтому с удовольствием выслушаю комментарии.

[Mihail Sedyh]

Однако мне кажется что в стороне остался один важный вопрос о длине выдержек:
А будут ли вообще регистироваться при коротких выдержках очень слабые объекты, пусть и под шумом? Разве не может быть что очень слабый объект не будет виден, сколько коротких выдержек не снимай? Возможно я что-то фундаментально не понимаю и потому говорю ерунду, поэтому с удовольствием выслушаю комментарии.

У-у-у, вопрос о зависимости проницания от режима съемки (при фиксированной суммарной экспозиции) - совершенно недетский. Там - сям периодически спонтанно возникают обсуждени, но обобщенной структурированной информации я не нашел. Насколько я понимаю для начала все упирается в удовлетворительную модель шумов приемника. Могу точно сказать, что если сигнал от объекта и максимальный уровень шума  в сумме не превышают одной дискреты АЦП, то объект точно зарегистрировать нельзя (впрочем шум тоже). Во всех остальных случаях все неочевидно.
На самом деле вопрос заслуживает отдельной темы. Давно собирался завести, да все времени нет....   

[Александр Ростов]

Согласен - вопрос сожнейший, но некоторые наработки на эту тему есть. Когда купил Рубинар, снимал с неподвижного штатива M45 сериями в RAW по 3-5 секунд на ISO1600, т.к. без ведения. Кадров ~200 ушло, соответственно суммарная - 600-1000 секунд. Туманности не проработались! При аналогичной одиночной экспозиции (да еще и на ISO1600) туманность отчетливо прорабатывается. Так что есть основания полагать, что так и есть - предельно слабые объекты не регистрируются при оцифровке сигнала, сколько выдержек не снимай.

p.s.: аналогичную картину наблюдал с M78 - результат нулевой, как уровни не задирай. Условия примерно те же.

[Lentz]

Lentz, у Вас абсолютно правильный, хороший вопрос - как говорят преподаватели...

Спасибо, ясно. Правда это всё порождает более мелкие вопросы вроде "а какова на самом деле емкость ячейки у 350D" или "а точно ли именно ISO 100 - это без усиления?" Но это уже частности.

У-у-у, вопрос о зависимости проницания от режима съемки (при фиксированной суммарной экспозиции) - совершенно недетский.

Упаси боже. Я про график зависимости и не спрашивал. Понятно что здесь факторов очень много. Меня интересовал в основном фундаментальный вопрос о возможности достижения большого проницания короткими выдержкими.

[Lentz]

Когда купил Рубинар, снимал с неподвижного штатива M45 сериями в RAW по 3-5 секунд на ISO1600, т.к. без ведения. Кадров ~200 ушло, соответственно суммарная - 600-1000 секунд. Туманности не проработались! При аналогичной одиночной экспозиции (да еще и на ISO1600) туманность отчетливо прорабатывается. Так что есть основания полагать, что так и есть - предельно слабые объекты не регистрируются при оцифровке сигнала, сколько выдержек не снимай.

Ну это точно не эквивалентное сравнение. Согласно матстатистике в идеальном случае соотношение сигнал/шум должно расти пропорционально квадратному корню от количества сложенных кадров. То есть сигнал на 200 сложенных кадров по 5 секунд будет эквивалентен 14*5 = 70 секундному одиночному кадру. Разумеется при линейном накоплении сигнала в кадре с длинной выдержкой. На практике длинные выдержки копят сигнал наверняка нелинейно, поэтому сумма коротких выдержек может даже догнать длинные, что мы и наблюдаем. Но для таких мизерных как 3-5 секундные закономерность должна в основном выполняться.
Вопрос - где грань снизу?.. Не знаю.

[Александр Ростов]

Согласно матстатистике в идеальном случае соотношение сигнал/шум должно расти пропорционально квадратному корню от количества сложенных кадров. То есть сигнал на 200 сложенных кадров по 5 секунд будет эквивалентен 14*5 = 70 секундному одиночному кадру.

Lentz, спасибо - подправил в консерватории.

Но для таких мизерных как 3-5 секундные закономерность должна в основном выполняться. Вопрос - где грань снизу?.. Не знаю.

Да, но факт остался фактом - туманность проработать не удалось. Даже на 200 сек при ISO1600 туманность прорабатывается, а здесь - увы...

[Павел Бахтинов]

меня как практика интересовал вопрос, что лучше, меньше чувствительность, и больше выдержка, или больше чувствительность и меньше выдержка. На мой взгляд работа страдает одним недостатком - шаг выдержек выбран 5. Надо бы шаг сделать 4. Для корректного сравнения ситуации с ISO 400  и 1600.

Ну, так ведь интерполировать же можно. Собственно, в определенной степени это уже сделано: результаты приведены в виде графиков, а не таблицы, например...

1) ISO 1600 показал себя очень даже хорошо, и бытующее мнение, что оптимальным является 400-800 не имеет под собой достаточных оснований и в большинстве случаев не верно. (для той же общей экспозиции)

Да, действительно, сам я ожидал получить выраженный максимум в области средних ISO, а оказалось, что они лишь не хуже ISO1600 при некоторых условиях. Но хотелось бы еще раз подчеркнуть - это лишь при идеальной калибровке. Шум некалиброванных кадров с высоким ISO очень велик, и любые неточности в калибровке сильно влияют на результат.

Короче говоря,  самое лучшее (если брать и монтировку)  это колбасить 30-ти сек  экспозициями на 1600.  Это так приятно,  не заморачиваться суперведением!  

Непонятно, откуда такой вывод, вроде бы, из моей работы это не следует (оценка влияния качества монтировок не входила в мою задачу   ).

При питании от внешнего блока камера греется примерно так же, то есть аккумулятор тут не при чем. Скорее всего греется электромагнит подъема зеркала.

Именно так. В режиме с предварительным подъемом ток резко возрастает именно в момент подъема зеркала, последующее срабатывание затвора уже совсем немного добавляет к потреблению. Кстати, все опыты проводились при питании аппарата от внешнего источника.

[Mihail Sedyh]

Вообще, если принять идеально случайную модель шума (при усреднении бесконечного числа темновых кадров получаем однотонный серый фон), то теоретически можно зафиксировать полезный сигнал равный или превышающий одну дискрету безотносительно уровня шума при условии сложения бесконечного числа субэкспозиций (например сигнал=1, среднеквадр. шум = 10000). Образно - "принцеса на горошине".
Но в реальности разумеется все не так.
В общем даешь отдельную тему.

[Lentz]

Кстати, для тех кто снимает в условиях сильной засветки (вроде меня), из графиков Павла следует важнейший вывод:
При эквивалентной суммарной экспозиции так же и лучше можно снимать более короткими выдержками, поставив большее ISO. Ибо, с одной стороны, максимальная длительность отдельных выдержек, ограничиваемых засветкой, практически точно пропорциональна ISO, а по графикам видно что при пропорционально уменьшенной выдержке отдельных кадров при бОльшем ISO соотношение сигнал/шум выше! Снимать более длинными выдержками на ISO 100 не имеет ни малейшего смысла.

[LifeIsGood]

Кроме "количества" полезной информации есть еще и динамический диапазон. На ISO 1600 у меня большинство звезд моментом "выгорают" и становятся бесцветными. На ISO 400 с этим получше будет.