Временный архив журнала "Земля и Вселенная"

[Самодуров Владимир]

качество моих сканов - 600дпи, пдф с текстовым слоем (без вычитки).

Понял.
А подложку из под текстового слоя, кстати, насколько сложно убрать?..
Да, и насчет рисунков и 300 dpi я тоже понял (вероятно, рисунки у Олега можно будет заменить на рисунки с Ваших сканов). Хотя - конкретно насчет подписей на рисунках - можно и немного поспорить - имхо, не всегда гуд, когда часть рисунка распознается в текст (иногда это мешает).
 
Ваш торрент-архив и Alex_6619 - разумеется, с согласия, пойдет в общую копилку. 
Чуть позже скомпилирую в общий список и начну смотреть по качеству все материалы. ... Валера освободится от текучки во вторник, тогда и выложим имеющиеся сканы Злобина и приступим к сортировке Ваших и Alex_6619  сканов - пока будем брать только самые продвинутые по качеству (OCR все ж сегодня уже обязательно, имхо). 
 
Никак не отвечу Iskandar. Александр, конечно же, я помню, что именно - Вы первопроходец сканирования материалов ЗиВ. Если не ошибаюсь, вот это Вы еще году так в 2003 или 05 примерно сделали?

[malshin]

А подложку из под текстового слоя, кстати, насколько сложно убрать?..

Я не специалист в обработке изображений, распознавание производил исключительно для возможности поиска в отсканированных номерах, что вы имеете в виду под подложкой? Отсканированный фон (желтизна)? Если да, то изначально я сканирую без него (с удалением фона, настройки сканера позволяют), сканы получаются чистые. Также возможно удалять фон впоследствии в фотошопе. Если будет необходимость, могу поделиться своей методикой сканирования.
 
PS: В моем торренте включены были по усиленной просьбе модераторов сканы подшивки за 1984 год в дежавю неизвестного автора (качество сканов вроде как 600дпи), я их в списке забыл привести.

[ДимСаныч]

Так всётаки в каком качестве сканировать? Я для меньшего объёма уже один журнал прогнал на 150 dpi. Теперь мне кажется что всё нужно будет прогонять по новой на более высоком качестве. Вопрос - каком? Другой вопрос - делать распознавание кто будет? Или мне этим то-же нужно затяться? У меня есть Файнридер, но пользовался я им по стольку, по скольку. Я, честно говоря, думал что простого сканирования будет достаточно.

[Alex_6619]

Так всётаки в каком качестве сканировать? Я для меньшего объёма уже один журнал прогнал на 150 dpi. Теперь мне кажется что всё нужно будет прогонять по новой на более высоком качестве. Вопрос - каком? Другой вопрос - делать распознавание кто будет? Или мне этим то-же нужно затяться? У меня есть Файнридер, но пользовался я им по стольку, по скольку. Я, честно говоря, думал что простого сканирования будет достаточно.

Спецы рекомендуют сканировать с разрешением 300 дпи в градациях серого (greyscale).Для обработки рекомендую программу Scan Tailor.

[Самодуров Владимир]

А подложку из под текстового слоя, кстати, насколько сложно убрать?..

Я не специалист в обработке изображений, распознавание производил исключительно для возможности поиска в отсканированных номерах, что вы имеете в виду под подложкой? Отсканированный фон (желтизна)? Если да, то изначально я сканирую без него (с удалением фона, настройки сканера позволяют), сканы получаются чистые. Также возможно удалять фон впоследствии в фотошопе.

Понял, спасибо! А то как-то встречался со сканами (pdf-формат) - OSR-текст на ужасном сером фоне, ближе к сгибам - аж темно сером. Как бороться - непонятно...
 
 

Если будет необходимость, могу поделиться своей методикой сканирования.

Да, это было бы очень полезно для всех , в порядке обмена и сохранения опыта.    А то вот Олега так и не удосужились спросить, как он делает, и его наработки пропали...
 
 
 
 

Так всётаки в каком качестве сканировать? Я для меньшего объёма уже один журнал прогнал на 150 dpi. Теперь мне кажется что всё нужно будет прогонять по новой на более высоком качестве. Вопрос - каком? Другой вопрос - делать распознавание кто будет? Или мне этим то-же нужно затяться? У меня есть Файнридер, но пользовался я им по стольку, по скольку. Я, честно говоря, думал что простого сканирования будет достаточно.

Спецы рекомендуют сканировать с разрешением 300 дпи в градациях серого (greyscale).

Я так понимаю, это текст? Рисунки, имхо, можно и немного побольше dpi взять, и, главное - там надо, конечно, уже и цвета брать (там, где они цветные, разумеется).
Мой личный опыт - имхо, 400 dpi - все же самое оптимальное для подавляющего большинства случаев. Больше - врдя ли нужно (на рисунках уже лезет сетка, и шрифты труднее распознаются).

[ДимСаныч]

ОК. Буду пытаться.

[Iskandar]

Никак не отвечу Iskandar. Александр, конечно же, я помню, что именно - Вы первопроходец сканирования материалов ЗиВ. Если не ошибаюсь, вот это Вы еще году так в 2003 или 05 примерно сделали?

Владимир, было дело...

Кстати, я проверял на разных книгах и журналах с фотографиями - действительно, для черно-белых фотографий оптимальными параметрами будут 300 dpi в градации серого (Greyscale), правда, фотографии в этом случае надо сканировать отдельно от текста, а сам текст - в черно-белом варианте, иначе получается слишком большой объём.

Я столкнулся с этим при сканировании руководства по AIP4WIN, где фотографии несут не просто иллюстративную, а значимую информацию - если бы пришлось и текст сканировать в градации серого, то конечный файл разбух бы до неимоверных размеров.

[malshin]

Понял, спасибо! А то как-то встречался со сканами (pdf-формат) - OSR-текст на ужасном сером фоне, ближе к сгибам - аж темно сером. Как бороться - непонятно...

Ну это засветка от неплотно прижатого корешка, с ней достаточно легко бороться как на уровне настроек сканеров, так и впоследствии (в фотошопе, например). А серый фон и загрязнения также можно убирать сразу в настройках сканера как при сканировании в полутонах (регулируя яркость и контрастность), так и в монохромном режиме (подбирая порог черно-белого). Если не помогает (что-то остается), то дочищать потом следы в фотошопе.
В моих сканах ни серого фона, ни следов засветки, практически нет (думаю, что и в сканах Алекса тоже).

Да, это было бы очень полезно для всех , в порядке обмена и сохранения опыта.    А то вот Олега так и не удосужились спросить, как он делает, и его наработки пропали...

Не пропали, там все просто, Олег сканировал с разрешением 300дпи, потом распознавал текст, вычитывал и корректировал его, исправляя ошибки и опечатки (думаю, что отсканированный материал он редактировал в Ворде после Файнридера) и подгоняя рисунки и компоновку страниц как можно ближе к оригиналу (это занимает просто гигантскую кучу времени, у меня, к сожалению, на это нет времени), а потом создавал посредством виртуального пдф-принтера векторный пдф (именно потому что текст стал уже не сканом, а векторными компьютерными шрифтами, и получался пдф малого размера. Получить растровый пдф из скана малого размера соизмеримого с размерами дежавю пока невозможно).

Спецы рекомендуют сканировать с разрешением 300 дпи в градациях серого (greyscale).

По моему мнению - это уже устарело. И если не стараться получить результат как можно ближе к оригинальным журналам, а нацеливаться на минимальный размер. Качество старых оригиналов не всегда может быть достаточным, чтобы отсканированный материал получится без искажений (проблема "инь-янь", помните? Плюс к этому еще Сканкромсатор и Скантейлор без ведома пользователя автоматически ужирняют шрифты, вроде с целью улучшения читабельности, но частенько это портит визуальное восприятие сканов).

Я так понимаю, это текст? Рисунки, имхо, можно и немного побольше dpi взять, и, главное - там надо, конечно, уже и цвета брать (там, где они цветные, разумеется). Мой личный опыт - имхо, 400 dpi - все же самое оптимальное для подавляющего большинства случаев. Больше - вряд ли нужно (на рисунках уже лезет сетка, и шрифты труднее распознаются).

Для современных (малобюджетных и дешевых в том числе) сканеров уже совершенно безразлично (по затратам времени) сканировать ли на 400дпи или на 600дпи в серых полутонах или в монохроме (я молчу про потоковые двухсторонние сканеры, тем вообще по барабану даже полноцветные на 600дпи), но по моему мнению лучше все-таки сканировать на 600дпи (особенно научные книги и журналы, там часто многоэтажные формулы есть, надстрочные и подстрочные мелкие знаки и сноски, тоже самое касается и всяких цветных диаграмм и графиков). Насчет сетки - это у вас просто не подавлен растр в сканах (это можно сделать в настройках сканера или впоследствии в фотошопе гауссовым размытием). И чем выше разрешение, тем лучше и распознавание, а не наоборот (как вы указали).

действительно, для черно-белых фотографий оптимальными параметрами будут 300 dpi в градации серого (Greyscale), правда, фотографии в этом случае надо сканировать отдельно от текста, а сам текст - в черно-белом варианте, иначе получается слишком большой объём.

Да, для журналов советского периода характерно невысокое качество печати иллюстративного и фотоматериала, поэтому для них достаточно качества сканирования и в 300дпи, но я все делаю в 600дпи, во избежание лишних прогонов, да и время сканирования на современных сканерах в режиме серых полутонов то же самое, что и в монохромном (для чисто текстовых страниц).

если бы пришлось и текст сканировать в градации серого, то конечный файл разбух бы до неимоверных размеров.

Конечно объем пдф получается приличный, но его можно неплохо (часто в два-три и более раза) уменьшить, используя OCR, удаление фона, очистку отсканированного в серых полутонах текста режимом Clearscan ...

[Самодуров Владимир]

Понял, спасибо! А то как-то встречался со сканами (pdf-формат) - OSR-текст на ужасном сером фоне, ближе к сгибам - аж темно сером. Как бороться - непонятно...

Ну это засветка от неплотно прижатого корешка, с ней достаточно легко бороться как на уровне настроек сканеров, так и впоследствии (в фотошопе, например). А серый фон и загрязнения также можно убирать сразу в настройках сканера как при сканировании в полутонах (регулируя яркость и контрастность), так и в монохромном режиме (подбирая порог черно-белого). Если не помогает (что-то остается), то дочищать потом следы в фотошопе.

Ой-ой. Опять же - нужна куча времени... Вопрос в том у меня и заключается - как выдернуть и убрать вообще серую положку из под текста, не тронув только рисунке. Т.е. - там где рисунки - оставляем как есть, а там, где сканированный начальный текст ПЛЮС слой OSR-текста - как оставить ТОЛЬКО слой OSR-текста, совсем, т.е. абсолютно уничтожив подложку?
 
 

Для современных (малобюджетных и дешевых в том числе) сканеров уже совершенно безразлично (по затратам времени) сканировать ли на 400дпи или на 600дпи в серых полутонах или в монохроме (я молчу про потоковые двухсторонние сканеры, тем вообще по барабану даже полноцветные на 600дпи), но по моему мнению лучше все-таки сканировать на 600дпи (особенно научные книги и журналы, там часто многоэтажные формулы есть, надстрочные и подстрочные мелкие знаки и сноски, тоже самое касается и всяких цветных диаграмм и графиков). Насчет сетки - это у вас просто не подавлен растр в сканах (это можно сделать в настройках сканера или впоследствии в фотошопе гауссовым размытием). И чем выше разрешение, тем лучше и распознавание, а не наоборот (как вы указали).

Насчет сетки - принял, соглашусь. Насчет распознавания-разрешения - может, мой опыт устарел (последний раз работал с превращение скана в текст года два назад), но - вроде как существовала некая золотая середина - на слишком высоком разрешении текст тоже уже не во всех ситуациях распознавался (крупные подписи). Насчет плохого распознавания низкого разрешения - конечно, да.
 
 

Конечно объем пдф получается приличный, но его можно неплохо (часто в два-три и более раза) уменьшить, используя OCR, удаление фона, очистку отсканированного в серых полутонах текста режимом Clearscan ...

Так вот я и спрашиваю - как его удалить? Идея такая - есть масса готовых ранних сканов всяко-разных книг - вот взять их, распознать в них внутри текст, добавить OSR-слой с текстом, и уничтожить после этого подложку.

[Alex_6619]

Ой-ой. Опять же - нужна куча времени... Вопрос в том у меня и заключается - как выдернуть и убрать вообще серую положку из под текста, не тронув только рисунке. Т.е. - там где рисунки - оставляем как есть, а там, где сканированный начальный текст ПЛЮС слой OSR-текста - как оставить ТОЛЬКО слой OSR-текста, совсем, т.е. абсолютно уничтожив подложку?

Фон уберётся когда распознаете текст,а в finereadere в опции "формат сохранения" выберете "только текст и картинки".
И ещё очень хорошо фон-подложка убирается в Scan Tailor.

[malshin]

Ой-ой. Опять же - нужна куча времени... Вопрос в том у меня и заключается - как выдернуть и убрать вообще серую положку из под текста, не тронув только рисунке. Т.е. - там где рисунки - оставляем как есть, а там, где сканированный начальный текст ПЛЮС слой OSR-текста - как оставить ТОЛЬКО слой OSR-текста, совсем, т.е. абсолютно уничтожив подложку?

Так вот я и спрашиваю - как его удалить? Идея такая - есть масса готовых ранних сканов всяко-разных книг - вот взять их, распознать в них внутри текст, добавить OSR-слой с текстом, и уничтожить после этого подложку.

Два из возможных вариантов для как уже существующих книг, так и для сканируемых, уже привел Alex_6619 (исключением могут быть случаи, когда фон несет смысловую нагрузку), другой - я (для уже отсканированных книг - используя фотошоповские макросы пакетной обработки, для будущих сканов оптимальнее будет заранее создать и потом лишь подбирать шаблоны настроек в сканере). У вас книги с таким фоном в каком формате?

Насчет распознавания-разрешения - может, мой опыт устарел (последний раз работал с превращение скана в текст года два назад), но - вроде как существовала некая золотая середина - на слишком высоком разрешении текст тоже уже не во всех ситуациях распознавался (крупные подписи). Насчет плохого распознавания низкого разрешения - конечно, да.

За три года сканеры заметно усовершенствовались в скорости сканирования, сам года три назад отсканировал на старом медленном сканере многостраничный норматив с кучей многоэтажных формул, графиков и таблиц на 400дпи, вроде тоже тогда посчитал эту величину как "золотую середину", но вот теперь сильно жалею, такой документ уже не найти и не достать, надо было бы сканировать тогда на 600 (но на старом сканере это было жутко медленно) ...
Да и программы распознавания тоже не на месте стояли, вон по отзывам Файнридер 11 мало того, что сразу отсканированный материал в дежавю сохраняет, так еще эти дежавю выходят весьма хорошие по качеству (но поскольку я дежавю недолюбливаю и Файнридером с год как не пользуюсь, то лично этот факт не проверял) ...

[doomster1]

насколько я понял, номера Олега, царства ему небесного, для сообщества утрачены?

[Самодуров Владимир]

насколько я понял, номера Олега, царства ему небесного, для сообщества утрачены?

В смысле? Я же перечислил - 1965, 1966, часть 1967 , 1988 и часть 1989 - он сделал и передал уже нам. Другое дело, что у него в работе находился еще ряд номеров - вот они - да, можно считатьт, что утрачены. Как и подробная методика того , что и как он делал. В принципе понятно, как - malshin выше описал в общих чертах. Но тонкостей (которые всегда важны) и подробной пошаговой инструкции - не осталось.

[malshin]

Другое дело, что у него в работе находился еще ряд номеров - вот они - да, можно считать, что утрачены.

Т.е. утрачены не только недоделанные им номера, но и сам бумажный архив тоже? Было бы жаль, он ведь писал, что у него полный архив (т.е. и все номера после 1999 года).

[Самодуров Владимир]

Другое дело, что у него в работе находился еще ряд номеров - вот они - да, можно считать, что утрачены.

Т.е. утрачены не только недоделанные им номера, но и сам бумажный архив тоже? Было бы жаль, он ведь писал, что у него полный архив (т.е. и все номера после 1999 года).

Ну, по этому поводу я особого беспокойства не испытываю - у нас в библиотеке обсерватории вроде как все номера за последние годы есть...

[malshin]

Ну, по этому поводу я особого беспокойства не испытываю - у нас в библиотеке обсерватории вроде как все номера за последние годы есть...

Но доступ к ним только у сотрудников обсерватории однако, а не у возможных сканировщиков ...
Лично по моему мнению задачу создания эл. архива журнала надо делить на две - задачу-минимум (отсканировать все номера за все планируемые года, желательно в максимальном качестве и даже возможно без обработки, т.е. "сырье") и задачу-максимум (создание из отсканированного сырого или обработанного материала полностью электронных версий журнальных номеров). Задача-максимум - это проект на много лет. Поясню, почему я так вижу решение этого: создать полностью электронную версию журнала (а-ля Олег) в одиночку очень проблематично, поскольку требует очень много времени не только на сканирование и обработку (больше всего времени может уйти на вычитку и корректировку), именно поэтому я не делаю этого, у меня кроме "ЗиВ" еще много проектов по оцифровке и обработке других журналов. А так я легко могу отсканировать (даже с минимальной обработкой) за выходные пару годовых подшивок журнала.
Как я вижу из сообщений на форуме, почти нет не только возможных сканировщиков, но и тех, кто готов взяться за обработку отсканированного другими, это удручает, я мог бы ускоренно сканировать, но не обрабатывая, передавать сырые сканы на обработку другим, или наоборот взяться за обработку чужих сканов (как я умею, образцы можете смотреть на рутрекере, в пдф, не дежавю), не сканируя сам (но если сырье будет на 600 дпи, возиться с обработкой отсканированного на 300дпи нет никакого желания, уже поимел такой опыт).

[Самодуров Владимир]

malshin  - вы все верно сказали, добавить могу только пару деталей:
а) журналы могу взять из библиотеки и дать любому человеку на время для сканировки
б) число сканировщиков хоть и медленно, но все же растет
в) объем сканируемого материала хоть и огромен, но все же ограничен. За все время книгоиздательства в России, по осторожным оценкам, которые я где-то видел, издано не более 4 тыс. книг по астрономии. Ну. пусть даже слегка больше. Это - НЕ бесконечная величина. Уже сейчас в Сети гуляет что-то типа 800-1000 отсканированных книг по астрономии. Осталось не так уж и много! 
г) отсканированные книги, разумеется, нужно будет в итоге перевести в текст+рисунки. Но это - тоже конечный объем работы (ибо сканировать новые книги , после 2000, максимум - 2005 года - лично я не вижу особого смысла - все поздние темы новых текстов в том или ином виде уже есть в интернете (кроме совсем уж уникальных вещей), и потому это будет уже чистейшей воды пиратством и обижание авторов). Так что, имхо - работы край все одно виден, пусть и через несколько лет.
 
 

[ДимСаныч]

Дабы не получалось накладок и в целях исключения бесполезной работы и в отношении качества то-же, у меня есть предложение, хотя уже это предлагали, но попробую среферировать:
1)Все сканы делать в разрешении 600dpi.
2)Закрепить номера журналов и работу с ними (сканирование, сканирование+обработка) за участниками.
3)Закрепить участников и выполняемую ими работу в шапке темы.
4)Редактировать шапку по мере необходимости.

[Alex_6619]

Дабы не получалось накладок и в целях исключения бесполезной работы и в отношении качества то-же, у меня есть предложение, хотя уже это предлагали, но попробую среферировать:
1)Все сканы делать в разрешении 600dpi.
2)Закрепить номера журналов и работу с ними (сканирование, сканирование+обработка) за участниками.
3)Закрепить участников и выполняемую ими работу в шапке темы.
4)Редактировать шапку по мере необходимости.

По поводу 600 dpi. Сравнил скорость сканирования одной страницы журнала в 300 и 600 dpi в ч/б режиме 16 bit -,вышло 19 и 46 с-долговато.Может лучше в 300 dpi,а потом интерполяцией увеличивать до 600dpi.Многие программы позволяют это.Думаю информация при таком подходе не потеряется. Вот пример  http://webfiles.ru/27856940

[ДимСаныч]

Дабы не получалось накладок и в целях исключения бесполезной работы и в отношении качества то-же, у меня есть предложение, хотя уже это предлагали, но попробую среферировать:
1)Все сканы делать в разрешении 600dpi.
2)Закрепить номера журналов и работу с ними (сканирование, сканирование+обработка) за участниками.
3)Закрепить участников и выполняемую ими работу в шапке темы.
4)Редактировать шапку по мере необходимости.

По поводу 600 dpi. Сравнил скорость сканирования одной страницы журнала в 300 и 600 dpi в ч/б режиме 16 bit -,вышло 19 и 46 с-долговато.Может лучше в 300 dpi,а потом интерполяцией увеличивать до 600dpi.Многие программы позволяют это.Думаю информация при таком подходе не потеряется. Вот пример  http://webfiles.ru/27856940

Я за. Время сканирования не казённое. Думаю что 300 хватит, но утверждать не берусь, сталкивался мало. Главное наверно распознать текст, а фото, особенно в старых журналах, не высокого качества.