DSS2 на SKY-MAP.ORG.

[kostya30]

Дорогие друзья!
Пить много вредно! Вот, например, отныне на SKY-MAP.ORG можно наслаждаться видами DSS2. И новый интерфейс, где мышкой можно зууминг крутить! Вот ссылка.
А если бы не пиво (и мало), а водка (и нормально)? Что тогда можно было бы крутить, как вы думаете, а? Это работает пока в тестовом режиме и не вполне отлажено. В частности, возникают иногда проблемы с MSIE при просмотре. Но можно DSS смотреть и в старом интерфейсе. Вот сюда надо кликнуть.
Конечно, обзор процесснут неидеально, можно лучше (и вскоре будет лучше), но, как нам кажется, даже эта версия получше, чем у гуугла.

DSS2 - это огромный по объему и сложности массив данных. Базой DSS2 является набор из 6000 photographic plates  супервысокого качества (~6.5 x 6.5 degrees), сделанных в The Palomar Observatory (San Diego County, California) и The UK Schmidt Telescope (Siding Spring Mountain in north-western New South Wales, Australia). В цифровой форме объем DSS2 превышает 7 TB и для его хранения потребовалось бы примерно 10,000 CD или 1,600 DVD или 5,000,000 1.4-дюймовых дискет (вагон примерно) или где-то 7,000,000 км перфоленты, которою можно было бы раз 10 протянуть от Земли до Луны и обратно. SKY-MAP team скомбинировала эти данные в один all-sky survey, который состоит из 50,000 цветных изображений по 16 MPixels каждое (итого для всего survey'а - более 800 GPixels). Разработка программного обеспечения и подбор параметров для изображений занял несколько месяцев. Общее время обработки изображений на powerful quad-core workstation превысило 900 часов.

С пионерским приветом,
С. Гошко,
К. Лысенко
(авторы SKY-MAP.ORG).

[1212Lupus]

Мужики, отлично получилось! А зум скроллом -- вообще супер!

[VMatveev]

Хорошо обработали! Молодцы! Даете достойный ответ халтурщикам из Гугла!

[VMatveev]

Конечно, обзор процесснут неидеально, можно лучше (и вскоре будет лучше)

Вы имеете в виду слегка заваленную в темноту гистограмму и грубую интерполяцию-ресайзы слоев? Очень хотелось бы гладенькую картинку с бикубической интерполяцией и чуть более яркий фон. При ресайзе по соседним точкам (как сейчас) DSS кажется плоским, невзрачным.

И кстати: при РАВНОМ качестве, bicubic-ресайз гораздо лучше сжимается, поскольку нет "лишних" деталей.

Вот примеры: 5-ти процентные ресайзы. 75% jpeg
Почувствуйте разницу! Бикубическая картинка мало того что красива, так еще различия яркости и цвета звезд не убиты.

Bicubic



По соседним точкам

[keeperlink]

Действительно, разница огромная.
Я уже думал попробовать более гладкую интерполяцию, но не ожидал такого значительного эффекта. Проблема в том, что большинство операций с изображениями на сервере выполнется в реальном времени, тяжелая интерполяция может существенно загрузить сервер. В общем я поиграюсь с этим в ближайшее время.

С фоном пока что тоже далеко не идеально получилось, проблема тут с существенными вариациями в яркости и случайными градиентами в исходных изображениях. Мы как раз и бились над выравниванием градиентов большую часть времени (и продолжаем биться - идей много, времени не хватает)

Еще одна проблема - существенные вариации в цветах - в M51 например существенно не хватает красного, в то время как некоторые туманности перенасыщены красным.

[VMatveev]

Проблема в том, что большинство операций с изображениями на сервере выполнется в реальном времени, тяжелая интерполяция может существенно
загрузить сервер.

Ничего себе! А зачем же сервер мучить, да еще в реальном времени?!
Если делать "слоёный пирог" из тайлов (по типу Google Maps), можно раз отресайзить растры по слоям сколь угодно изощренной интерполяцией, разрезать их на тайлы и уже эти тайлы выдавать как-есть без какой-либо обработки "на лету", что должно разгрузить сервер. Я конечно понимаю что это все непросто, а Вы и так уже потрудились на славу, но Вы же сами стремитесь сделать обзор DSS2 лучше. И у Вас это неплохо получается... Чего не скажешь про Гугл.

С Наилучшими Пожеланиями

Vmatveev

[keeperlink]

Гугл натянул небо на цилиндрическую проекцию, поэтому там большие проблемы в районе полюсов - Google Earth, например, показывает кривые черные дыры в полюсах, а online Google sky вообще впадает в кому по поиску "Polaris" и не подает признаков жизни пока не перегрузишь всю страничку. У нас настоящая азимуатальная проекция, но за это приходится платить тем что один и тот же участок неба показывается в сотнях геометрических вариациях в зависимости от текщего центра проекции. У нас есть два обзора нарезанные во всех вариантах - IRAS и H-Alpha, но по объему данных они на несколько порядков уступают DSS2. И то нарезали несколько дней, в результате получили массивы в сотни тысяч картинок.

[keeperlink]

Я попробовал поставить бикубическую интерполяцию на одном из трех уровней, где мы делаем подготовку данных и где происходит самый значительный ресайзинг. Эффект огромный, единственное что меня смущает, что процесс поубивал почти все звезды на самом верхнем уровне. Но в общем картина получилась значительно ближе к реальной.
В общем посмотрите сами.
Где-то на 4 и 5 уровнях проявляется простой ресайзинг, это второй уровень пре-процессинга, обработка которого займет несколько дней.
Да, и проблема с калибровкой цветов стала еще заметнее...

[VMatveev]

Я вот тоже поигравшись со своей картинкой выяснил что на первых двух уровнях зума (50% и 25% от оригинала) бикубическая интерполяция почти бесполезна и не дает должного эффекта, (хоть и смягчает картинку), а вычислительных ресурсов ест много. Но при дальнейшем ресайзинге (12.5%, 6.25%, и т.д.) бикубическая уже очень здорово улучшает качество картинок, а ресурсов, в сумме, требуется уже намного меньше.

Да, и проблема с калибровкой цветов стала еще заметнее...

ИМХО, не так страшны кривые цвета, и завал фона в темноту, как страшный JPEG верхних уровней зума.
Слабее нельзя ужимать? Хотя-бы первые два-три уровня? Если будете применять бикубический ресайз, то сможете меньше ужимать. Сравните обьемы двух картинок с Барнардом 143, которые я выложил выше на странице, (они ужаты с одинаковым качетвом),  и  станет ясно что ужимать можно слабее. Гораздо слабее.

[keeperlink]

Вот что получилось с бикубической интерполяцией и для пробы я поставил jpeg quality=0.95 :

http://server3.sky-map.org/index2.jsp?img_source=DSS2&ra=19.68&de=11&zoom=5

Слишком контрастно?

[VMatveev]

Слишком контрастно?

Уже сильно получше. По крайней мере звезды уже звезды, а не безликие крупинки. Но все же картинка, ИМХО, кажется жестковатой. Почему она у Вас не смягчилась как моя, я понять не могу. Возможно, действительно контраст великоват. Вы как-то чередуете способы интерполяции по слоям?

P. S.
А вот уровень zoom=6 у Вас очень даже "вкусный" получился! Звезды как искорки! Классно! Это Вы JPEG послабее сделали? Если так, то правильно! А вот вышележащие слои - zoom=5 zoom=4 получились жестковатыми. Ну ничего, справитесь. Молодцы ребята! Уважаю!

[keeperlink]

Вчера я поигрался с интерполяцией, во многих случаях где высокая плотность звезд средняя интерполяция выглядит лучше, чем бикубическая, но убивает много мелких звезд, там где их и так немного...

[kostya30]

Блин. Тяжела и неказиста жизнь канадского интерполиста...

[keeperlink]

Какой метод интерполяции дает лучший результат?

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=Lace-work+Nebula&zoom=7
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=Lace-work+Nebula&zoom=7

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=M45&zoom=7
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=M45&zoom=7

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=M81&zoom=6
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=M81&zoom=6

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=SMC&zoom=6
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=SMC&zoom=6

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=Antares&zoom=6
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=Antares&zoom=6

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=M31&zoom=6
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=M31&zoom=6

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=California+Nebula&zoom=6
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=California+Nebula&zoom=6

http://server3.sky-map.org/index2.jsp?img_source=DSS2&object=IC1396&zoom=6
http://server5.sky-map.org/index2.jsp?img_source=DSS2&object=IC1396&zoom=6


server3 - scaling using bicubic interpolation
server5 - scaling using average interpolation

(Не пытайтесь сравнить изображения выше 6 зума, так как там данные толком не обработаны)

[VMatveev]

Картинка на server3 кажется очень чёткой, "звонкой", "искристой"  и в целом просто замечательна на средних и больших увеличениях.

Обработка на server5 кажется чуток более размытой, "мягкой", "грязной". В богатых звёздами областях Млечного Пути при маленьком увеличении эта обработка дает очень хороший результат, "отфильтровывая" вуалируя отдельные звезды и подчеркивая звёздные облака и темные пылевые туманности.

Красивее все-таки scaling using bicubic interpolation.

[ctac]

Гугл натянул небо на цилиндрическую проекцию, поэтому там большие проблемы в районе полюсов - Google Earth, например, показывает кривые черные дыры в полюсах, а online Google sky вообще впадает в кому по поиску "Polaris" и не подает признаков жизни пока не перегрузишь всю страничку. У нас настоящая азимуатальная проекция, но за это приходится платить тем что один и тот же участок неба показывается в сотнях геометрических вариациях в зависимости от текщего центра проекции. У нас есть два обзора нарезанные во всех вариантах - IRAS и H-Alpha, но по объему данных они на несколько порядков уступают DSS2. И то нарезали несколько дней, в результате получили массивы в сотни тысяч картинок.

 Доброе время суток!

 У меня появилась проблема, которая проявляется не на всех ПК. Я сделал ссылку через Ваш проект на изображение прородителя вспышки Новой Лебедя 2008 II в своей заметке про нее: http://astroalert.ka-dar.ru/2008/04/11/novaya-lebedya-2008-ii/ , вот ссылка на изображение Прородителя.
 В чем суть: при нажатии на ссылку открывается новое окно с полем смещенным примерно на 1 часовую минуту по Пр.Всх. на запад. При нажатии в том же окне кнопки перезагрузки "F5" все выводит как надо. Проверял координаты по ссылке - они нормальные, т.е. совпадают с нужными.
 Данную проблему обнаружил в браузере IE7.
 
 Хочу поблагодарить за отличный проект!

[keeperlink]

Доброе время суток!
 У меня появилась проблема, которая проявляется не на всех ПК. Я сделал ссылку через Ваш проект на изображение прородителя вспышки Новой Лебедя 2008 II в своей заметке про нее: http://astroalert.ka-dar.ru/2008/04/11/novaya-lebedya-2008-ii/ , вот ссылка на изображение Прородителя.
 В чем суть: при нажатии на ссылку открывается новое окно с полем смещенным примерно на 1 часовую минуту по Пр.Всх. на запад. При нажатии в том же окне кнопки перезагрузки "F5" все выводит как надо. Проверял координаты по ссылке - они нормальные, т.е. совпадают с нужными.
 Данную проблему обнаружил в браузере IE7.
 
 Хочу поблагодарить за отличный проект!

Попробовал в разных браузерах, не смог воспоизвести проблему. Не исключено что-то с кешированием и скоростью подгрузки скриптов. Кстати если ссылаться на конкретный объект, может быль есть смысл выделять объект в рамку (params: show_box=1, box_ra, box_de, box_color, box_width, box_height..). Чтобы получить URL с рамкой - найди нужный объект на SKY-MAP с помощью Поиска, затем нажми на "Ссылка на эту страницу".

[ctac]

Доброе время суток!
 У меня появилась проблема, которая проявляется не на всех ПК. Я сделал ссылку через Ваш проект на изображение прородителя вспышки Новой Лебедя 2008 II в своей заметке про нее: http://astroalert.ka-dar.ru/2008/04/11/novaya-lebedya-2008-ii/ , вот ссылка на изображение Прородителя.
 В чем суть: при нажатии на ссылку открывается новое окно с полем смещенным примерно на 1 часовую минуту по Пр.Всх. на запад. При нажатии в том же окне кнопки перезагрузки "F5" все выводит как надо. Проверял координаты по ссылке - они нормальные, т.е. совпадают с нужными.
 Данную проблему обнаружил в браузере IE7.
 
 Хочу поблагодарить за отличный проект!

Попробовал в разных браузерах, не смог воспоизвести проблему. Не исключено что-то с кешированием и скоростью подгрузки скриптов. Кстати если ссылаться на конкретный объект, может быль есть смысл выделять объект в рамку (params: show_box=1, box_ra, box_de, box_color, box_width, box_height..). Чтобы получить URL с рамкой - найди нужный объект на SKY-MAP с помощью Поиска, затем нажми на "Ссылка на эту страницу".

 Все перепробовал: проблема сохранилась.
 Только я понял, что не очень правильно ее описал.
 При выведении объекта в центр поля зрения нажимаю кнопку "Создание ссылки на это изображение" (там на английском написана эта фраза, при поднисении курсора). Нажимаю на эту кнопку и вся страница перезагружается заново и уже в другои месте, хоть и не далеко, но в другом (в радиусе десятка угловых минут!).
 Пробовал и с поиском объекта. Вот например X Leo = USNOA2 0975-06349536 . Ввел ее в поле поиска объекта. Ее вывело в центр экрана и обвело рамкой, НО(!) при создании ссылки на это изображение СНОВА меня перекинуло на 9 угл. минут южнее!
 Вот ссылка, что производится: http://www.sky-map.org/?ra=9.850436&de=11.875492&zoom=15&show_grid=1&show_constellation_lines=1&show_constellation_boundaries=1&show_const_names=0&show_galaxies=1&show_box=1&box_ra=9.850436&box_de=11.875492&box_width=50&box_height=50&img_source=DSS2

 Для сравнения
 эта ссылка мне показывает звезду практически в центре(ее я получил методом тыка, учитывая ошибку, которую постоянно вносил сам сайт при генерации ссылки): http://www.sky-map.org/?ra=9.850374690170452&de=12.006960070320806&zoom=8&show_grid=1&show_constellation_lines=1&show_constellation_boundaries=1&show_const_names=0&show_galaxies=1&show_box=1&box_ra=9.850436&box_de=11.875491999999997&box_width=50&box_height=50&img_source=DSS2
 а эта ссылка создана автоматом на эту же звезду после указания в поиске ее ( USNOA2 0975-06349536 ) (я уменьшаю зум, что бы было видно ее вообще в поле зрения): http://www.sky-map.org/?ra=9.850436&de=11.875492&zoom=15&show_grid=1&show_constellation_lines=1&show_constellation_boundaries=1&show_const_names=0&show_galaxies=1&show_box=1&box_ra=9.850436&box_de=11.875492&box_width=50&box_height=50&img_source=DSS2

 Прошу войти в ситуацию и дать рекомендации как это исправить или исправить данную ошибку на сайте. Я не могу использовать у себя на сайте такой замечательный ресурс, если не уверен, что везде отображается то, что необходимо (использовал IE6)

[ctac]

Только что снова встретился с этой же проблемой при создании Новости.

 Описываю проблему. Так же как и ранее вывел объект с координатами R.A.=18h05m58.88s, Decl.=-27o13′56.0″ в центр поля зрения, создал ссылку и вложил ее в виде : "виден слабый объект на снимках DSS".
 Что получил:
 У меня IE6 при первом нажитии выходит поле смещенное на 9 угл. минут на юг: R.A.=18h05m58.8s, Decl.=-27o23′18.1″ . Если нажать F5, то уже не помогает - остаюсь там же 
 Попросил знакомых проверить вот их результаты:
 IE 7.0.6001.18000 дал координаты центра поля: RA=18ч 05м 16,70с, Dec=-27гр 13' 56.0"
  maxthon 1.5.9 (build 30) дал  R.A.=18h05m16s, Decl.=-27o13' 56"
 

 Т.е. в разных браузерах разная ошибка!!!

 Давайте вместе решать эту проблему!

[ctac]

Сейчас попробовал создавать ссылки на объекты, которые находил через "Поиск" на сайте. Они обводятся "box" и вроде, работает нормально.