От Venik
К All
Дата 22.03.2002 02:52:45
Рубрики Древняя история; Современность;

К разговору о долговечности архивов...

Мое почтение!

Мое почтение!

Год назад для шэфа делал исследование по срокам хранения носителей цифровой информации. Подня множество исследований на данную тему. Вывод большинства исследователей - бумага долговечней любого носителя цифровой информации (магнитного или оптического).

Одна организация даже предлогает свое издлие - программный пакет для перевода информации в особую знаковую форму оптимизированную для машинного оптического распознавания и распечатку ее на бумаге. А хранить именно бумагу!

А вообще, при правильном хранении срок годности современных магнитных пленок (например DLT, или IBM К и J типы) составляет до 25 лет. Реально, восстановить информацию можно при максимум пятипроцентвон потере данных на пленке. Подобная потеря возможна после 5-ти лет хранения пленки в хороших условиях (исскуственный климат) и гарантированна после 15-ти лет.

Пример: несколько лет назад НАСА потерпело неудачу при попытке восстановить архивы данных первого полета на Луну. Потеря данных на пленках составило около 20%, что в четыре раза выше максимально-допустимого уровня.

Теоретический срок хранения оптических дисков в идеальных условиях - 50 лет. Реально, согласно нескольким исследованиям проведенным разными американскими организациями, в том числе архивом Пентагона, срок хранения составляет не более 15-ти лет. Это в идеальных условиях.

Хард драйвы и прочие магнитно-механические носители еще менее долговечны.

На настоящий момент надежда на голографические носители информации. Прототипы уже испытанны IBM и некоторыми др. организациями. Объем информации на кристалле примерно 2.5 куб. см. эквивалентен 50 полнометражным фильмам с surround sound звуком. Срок хранения не имеет теоретического огранчения при идеальных условиях хранения.

Но на настоящий момент - бумага и камень. Т.ч. зубила в руки и в архивы, товарищи.

С уважением, Venik
От Василий Т.
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 22:44:50

А нужна ли вообще в будущем ВСЯ собранная теперь информация? (-)
От Serguei
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 21:18:02

Re: К разговору

Это все понятно. Только в бумажном виде хранить - это ж никаких хранилищ не хватит. Я думаю легче хранить на оптических носителях и скажем каждые 5 лет их полностью переписывать с одного носителя на другой
От b-graf
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 15:38:50

В РФ этим занимается

Здравствуйте !

>Год назад для шэфа делал исследование по срокам хранения носителей цифровой информации.

В Российской федерации этими вопросами занимается РНИЦ КД - научно-исследовательский центр космической документации (бывший - "технической документации"). Ну - также немного ВНИИДАД (т.е. НИИ делопроизводства и архивного дела), РГАЗвукозаписей, РГАКФД. В Историко-архивном (который в составе РГГУ) есть "Факультет технотронных архивов (фактически - одна кафедра + лаборатория).

>Одна организация даже предлогает свое издлие - программный пакет для перевода информации в особую знаковую форму оптимизированную для машинного оптического распознавания и распечатку ее на бумаге. А хранить именно бумагу!
Это в США? Интересно, какая?

>Пример: несколько лет назад НАСА потерпело неудачу при попытке восстановить архивы данных первого полета на Луну. Потеря данных на пленках составило около 20%, что в четыре раза выше максимально-допустимого уровня.
Очень тоже интересно!

Павел
От Dainis
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 10:42:47

Re: К разговору

Добрый день
Мое почтение!

От себя могу добавит что вся система дититальных технологий немного зависит от электричества и технологий - она сама по себе не может обеспечивать сохранносит информации - нужна попутная технология которая производит хард и софт.
Для использования и доступа удобно но дорого а для постоянного хранения - рискованно.

С уважением - Dainis
От Eugene
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 06:37:16

Золотое правило: выигрыш в одном - проигрыш в другом.

Хотим много в малом обьёме - флоппи, хард-драйвы и DVD.
Хотим мало, но навсегда(сравнительно) - клинопись или зубилом по камню.
И то и то - пока не получается.

А не для компьютерного ли форума ета ветка? :)


С уважением, Евгений.
От NetReader
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 03:43:44

Re: К разговору

>Но на настоящий момент - бумага и камень. Т.ч. зубила в руки и в архивы, товарищи.

Это верно, если носитель существует в _единственном_ экземпляре (так, например, на Вояджерах летят специальные цифровые грампластинки с проигрывателем). Но на Земле самое надежное место хранения - Инет, как ни странно. Случайно уничтожить или потерять информацию в распределенном хранилище мирового масштаба практически невозможно. Сила "цифры" - в неограниченной повторимости.
От Robert
К Venik (22.03.2002 02:52:45)
Дата 22.03.2002 03:19:47

Ре: К разговору

Цифровой инфы можно иметь много копий (они все идентичны) и записывать новые копии заново используя уцелевшие, если какая-то из ниx пропала. И самое главное, этот процесс может быть легко и практически полностью автоматизирован (от выяснения по контрольной сумме что данная копия пострадала и до создания новой).

На бумаге же очень много ручного труда при идентификации ошибок и тем более при создании и складировании копий (сколько там томов книг влезает на один ДиВиДи?). Посему создание бумажного автоматизированного арxива копирующего умирающую бумагу на новую в несчитанное число раз дороже.

Т.е. если есть необxодимость xранить нечто в цифровой форме вечно, то это в принципе решаемо даже сейчас, на сегодняшнем уровне теxники. Дополнительный бонус - вся эта инфа легко может быть сделана доступной в реальном времени (окупая затраты на ее xранение за счет платы за доступ к ней). Hа бумаге - во много больше трудностей раз, и никакого онлайна два. Порядки величин - сотни гигабат с ежедневной арxивацией с верификацией и резервной копией (одной) может позволить себе иметь частное лицо у себя в квартире (это затраты в несколько тысяч долларов), государство же или корпорация - ограничено только бюджетом, 100 гигабайт при гарантии того что инфа не пропадет будут стоить около тысячи долларов (два зазеркаленыx диска и пять ленточек для бэкапа плюс привод ). И это все дешевеет с каждым годом. А двуxтысячедолларовый компьютер к которому это все воткнуто может держать десятки дисков (у меня на одном однажды было восемнадцать).
От Venik
К Robert (22.03.2002 03:19:47)
Дата 22.03.2002 03:39:00

реальные проблемы

Мое почтение!

То о чем вы говорите это не хранение, это производственный процесс. Все что вы описали теоретически вполне возможно, но практически ограниченно не столько бюджетом сколько объемом информации и возможностями современных компьютеров.

Я работаю на системе которая архивирует примерно 10тб информации еженедельно. Это сравнительно весьма немного. И тем не менее, процесс требует постоянного участия квалифицированных админстраторов, техников и программистов.

Диски, компьютеры, пленочные драйвы требуют ремонта, обновления. Софт требует обновления, устранения бесконечного к-ва багов, и .т.д. Это весьма значительные расходы.

У меня дома четыре компа * 2 внутренних диска в каждом * 40Гб на диске + 6 внешних дисков (3 * 60Гб + 2 80Гб +1 * 120Гб). Это около 800 Гб "активной" информации. Ну и добавить к этому 350гб архивов на лазерных дисках. Итого более 1тб.

Сделать даже элементарный бэкап всего этого добра я не в состоянии. Деньги есть - нет места в квартире, нет времени. Кто-нить пытался дефрагментировать 80гб диск под Виндами? Лучше сразу удавиться. Независимо от железа, поддерживать большие объемы информации это много работы, времени и денег.

А вот если-бы можно было записать информацию и просто положить ее на хранение - это другое дело.

С уважением, Venik
От Robert
К Venik (22.03.2002 03:39:00)
Дата 22.03.2002 04:08:07

Ре: реальные проблемы

>Независимо от железа, поддерживать большие объемы информации это много работы, времени и денег.

>А вот если-бы можно было записать информацию и просто положить ее на хранение - это другое дело.

А доступ - платный (прямо или косвенно), и xранение как производственный процесс само себя окупает за счет
этой платы.

Опять же, даже поиск нужного в тетрабайтаx - "это много работы, времени и денег", а зачем тогда xранить если нельзя найти? Т.е. деньги все равно тратятся при такиx обьемаx, и немалые. Тратьте больше, если надо чтобы она гарантировано соxранилась, вы что - за бесплатно xотели гарантий?
От Artur Zinatullin
К Robert (22.03.2002 04:08:07)
Дата 22.03.2002 17:20:53

Re: Ре: реальные проблемы

Robert wrote Fri, 22 Mar 2002 04:08:07 +0300:

>>Независимо от железа, поддерживать большие объемы информации это много работы, времени и денег.

>>А вот если-бы можно было записать информацию и просто положить ее на хранение - это другое дело.

R> А доступ - платный (прямо или косвенно), и xранение как производственный процесс само себя окупает за счет
R> этой платы.

R> Опять же, даже поиск нужного в тетрабайтаx - "это много работы, времени и денег", а зачем тогда xранить если
R> нельзя найти? Т.е. деньги все равно тратятся при такиx обьемаx, и немалые. Тратьте больше, если надо чтобы она
R> гарантировано соxранилась, вы что - за бесплатно xотели гарантий?

artur@merit.ee :: Artur Zinatullin :: GSM +37 251 11859
guitar, blues, love, friends, summer, !violence, !rush
От Venik
К Robert (22.03.2002 04:08:07)
Дата 22.03.2002 04:19:13

Ре: реальные проблемы

Мое почтение!

>А доступ - платный (прямо или косвенно), и xранение как производственный процесс само себя окупает за счет
>этой платы.

Вы сегодня можете прочитать надписи на стенах египетских пирамид. Заметте, вы не платили за несколько тысяч лет хранения этого архива.

При всех достижениях современной науки и техники, в плане хранения информации мы недалеко ушли от древних египтян.

Правда сегодня можно купить электронную гравировочную машину котороя может писать микро текст на гранитные пластинки. На настоящий момент это самая надежная система архивирования :)

С уважением, Venik
От Artur Zinatullin
К Venik (22.03.2002 04:19:13)
Дата 22.03.2002 17:24:22

Re: Ре: реальные проблемы

> Вы сегодня можете прочитать надписи на стенах египетских пирамид.
> Заметте, вы не платили за несколько тысяч лет хранения этого архива.
Во первых, сравните объёмы информации.
Пирамиды, или вавилонские глиняные таблички -
- мизерный объём по современным меркам.
Во вторых, за сохранение этого архива было
заплачено трудом рабов и материалами, вложенными
в него. И тогда это было чрезвычайно дорогое удовольствие.
В третьих, мне нужно заплатить немалую сумму, чтобы
получить доступ к тому архиву.

> При всех достижениях современной науки и техники,
> в плане хранения информации мы недалеко ушли от древних
> египтян.
Я бы так не сказал. Особенно учитывая коллосальные
объёмы информации, которые были утрачены за эти несколько
тысячелетий.

artur@merit.ee :: Artur Zinatullin :: GSM +37 251 11859
guitar, blues, love, friends, summer, !violence, !rush
От Robert
К Venik (22.03.2002 04:19:13)
Дата 22.03.2002 04:42:18

Лучше скажите

Где недорогой моргидж найти. Предлагают 7 процентов на 30 лет, но мне что-то подсказывает что есть сильно дешевле. Но куда не сунусь - везде дешевые с таким количеством оговорок (от низкого доxода до невероятного количества документов его подтверждающего), что руки опускаются.
От KGBMan
К Robert (22.03.2002 04:42:18)
Дата 22.03.2002 18:34:16

Re: Лучше скажите

>Где недорогой моргидж найти. Предлагают 7 процентов на 30 лет, но мне что-то подсказывает что есть сильно дешевле. Но куда не сунусь - везде дешевые с таким количеством оговорок (от низкого доxода до невероятного количества документов его подтверждающего), что руки опускаются.

Берите, пока 7. Rates растут. Скоро будет 8...

Денис Коновалов
От Robert
К Venik (22.03.2002 04:19:13)
Дата 22.03.2002 04:36:29

Ре: реальные проблемы

>Вы сегодня можете прочитать надписи на стенах египетских пирамид. Заметте, вы не платили за несколько тысяч лет хранения этого архива.

>При всех достижениях современной науки и техники, в плане хранения информации мы недалеко ушли от древних египтян

Посчитайте сколько байт записали египтяне. Посчитайте стоимость байта.

За такие деньги я вам лично организую xранение на 4000 лет вперед иx бессмертныx строчек записав иx на 100 флоппи-дисков, и наняв людей на весь этот срок чтобы сверяли файлы раз в неделю, выкидывали испорченные дискеты, и записывали новые копии. И мне еще останется достаточно денег чтобы не работать остаток жизни самому. Открою фирму "Египетская надежность" и вперед.

Байты у ниx были, БАИТЫ. Максимум - несколько десятков килобайт. Это как в иx пирамидаx - 98% обьема камень и 2% внутренние помещения, давайте так сейчас все дома строить начнем, чтобы 4000 лет простояли.
От Dainis
К Robert (22.03.2002 04:36:29)
Дата 22.03.2002 10:32:07

Реальные проблемы 2

Добрый день

>За такие деньги я вам лично организую xранение на 4000 лет вперед иx бессмертныx строчек записав иx на 100 флоппи-дисков, и наняв людей на весь этот срок чтобы сверяли файлы раз в неделю, выкидывали испорченные дискеты, и записывали новые копии. И мне еще останется достаточно денег чтобы не работать остаток жизни самому. Открою фирму "Египетская надежность" и вперед.

Будет не легко - забастовки, болезни, смена кадров, молоко придется давать за вредные условия, создавать систему надежного энерго и материало снабжения, аренда помещений итд. Работнички ещо создадут просоюз. Много будет разных проблем.
Не выдержыте 4000.
:)

С уважением - Dainis
От Venik
К Robert (22.03.2002 04:36:29)
Дата 22.03.2002 04:55:12

Ре: реальные проблемы

Мое почтение!

>Байты у ниx были, БАИТЫ. Максимум - несколько десятков килобайт. Это как в иx пирамидаx - 98% обьема камень и 2% внутренние помещения, давайте так сейчас все дома строить начнем, чтобы 4000 лет простояли.

Но факт остается, что их информацию мы прочитали а наша информация сгниет лет через 20 если мы не найдем ничего надежней дискет и ничего остроумней трудоемких процессов бесконечного переписывания.

Да, египтяне затратили значительные усилия и объемы информации были маленькими (хотя они и не ставили седбе задачей составление библиотеки). Но эта информация сохранилась на протяжении тысячелетий без всяких затрат денег и труда. Уже давно нет фараонов но мы все можем прочитать эту информацию.

Пытаться создать процесс хранения информации в таких масштабах времени это афера чистейшей воды.

С уважением, Venik
От NetReader
К Venik (22.03.2002 03:39:00)
Дата 22.03.2002 03:50:46

Re: реальные проблемы

>Я работаю на системе которая архивирует примерно 10тб информации еженедельно. Это сравнительно весьма немного. И тем не менее, процесс требует постоянного участия квалифицированных админстраторов, техников и программистов.

Я извиняюсь, а про МО библиотеки терабайт на 20 вы не слышали? Да, дорого, но если данные того стоят...

>А вот если-бы можно было записать информацию и просто положить ее на хранение - это другое дело.

Так "просто хранение" и "производственный процесс" - принципиально разные вещи, и решаются разными средствами. Вообще, сохранить можно ВСЕ - были б деньги :)
От Venik
К NetReader (22.03.2002 03:50:46)
Дата 22.03.2002 04:12:00

Re: реальные проблемы

Мое почтение!

>Так "просто хранение" и "производственный процесс" - принципиально разные вещи, и решаются разными средствами. Вообще, сохранить можно ВСЕ - были б деньги :)

Следовательно, сохранить всего нельзя :) Хранение типа "положил и забыл" гарантированно безопасностью самого хранилища и долговечностью носителя информации. В данном случае я могу положить оптические диски в сейф и надеятся, что они сохранятся в течении 10-15-ти лет.

С другой стороны, я могу построить систему которая будет регулярно проверять архивную информацию и переписывать ее на свежие носители. В данном случае срок хранения теоретически не ограничен. Практически-же, я не могу дать гарантию, что через пару лет у меня будет время и возможности поддерживать эту систему.

Такой гарантии не может дать ни компания ни даже правительство. Ну, на пару лет может и могут, но лет на 20 и более... Как говорил Ходжа Насреддин, через двадцать лет либо ишак сдохнет либо эмир умрет.

А потом вопрос с воспроизведением этой информации. Не так давно начальник моего начальника захотел архивные данные десятилетней давности. Записаны они были на крупноформатной пленке. Устройства для чтения этих пленок выкинули лет пять назад. Что делать? К счастью, носитель информации не такой древний и после значительных усилий разыскали и купили такую-же махину.

Но у нас речь идет об архивных данных хранящихся 50, 100 и более лет (горазно более). Чем вы будете читать лазерный диск через 20 лет даже если он сохранится? Бумагу можно взять и прочитать, а носителями цифровой инфы все гораздо сложнее. Следовательно, процесс долгосрочного хранения информации требует именно производственного процесса с копированием и обновлением и постоянного вливания денег.

Подобный процесс по определению не может быть долгосрочным, следовательно архивировать информацию в цифровом виде - наиболее вероятный способ ее потерять в кратчайшие сроки.

С уважением, Venik
От Artur Zinatullin
К Venik (22.03.2002 04:12:00)
Дата 22.03.2002 17:20:05

Re: реальные проблемы

> Следовательно, процесс долгосрочного хранения информации
> требует именно производственного процесса с копированием
> и обновлением и постоянного вливания денег.
> Подобный процесс по определению не может быть долгосрочным,
> следовательно архивировать информацию в цифровом виде
> - наиболее вероятный способ ее потерять в кратчайшие сроки.
Вообще-то, хранение бумажных архивов -- тоже производственный
процесс. К тому же, просто хранить информацию нет никакого
смысла -- хранилище информации должно обладать способностью
эту информацию по требованию находить и выдавать.
У цифровых методо хранения информации, как уже говорили,
гораздо меньше накладные расходы на нахождение и выдачу
необходимой информации.
То, что несколько выше расходы на сохранение, при интенсивном
использовании покроется этой самой дешевизной поиска/выдачи.
Проблема с постоянным переносом информации с носителя на
носитель обусловлена в немалой степени тем, что мы живём
во время информационной революции. Вот увидите, всё устаканится,
и новые носители перестанут появляться по три раза в год.
Что же касается долговечности, то если отключить от питания
деньгами обычный бумажный архив, он придёт в негодность точно
так же, как и электронный. А с учётом удорожания людских ресурсов,
расходы на его содержание немаленькие.

artur@merit.ee :: Artur Zinatullin :: GSM +37 251 11859
guitar, blues, love, friends, summer, !violence, !rush
От Бермедич
К Venik (22.03.2002 04:12:00)
Дата 22.03.2002 04:33:03

фантастические проблемы

Мое почтение

>А потом вопрос с воспроизведением этой информации. Не так давно начальник моего начальника захотел архивные данные десятилетней давности. Записаны они были на крупноформатной пленке. Устройства для чтения этих пленок выкинули лет пять назад. Что делать? К счастью, носитель информации не такой древний и после значительных усилий разыскали и купили такую-же махину.

>Но у нас речь идет об архивных данных хранящихся 50, 100 и более лет (горазно более). Чем вы будете читать лазерный диск через 20 лет даже если он сохранится?

Напомнило мои безумные скачки по Питеру с выпучеными глазами в поисках пятидюймового дисковода. Три дня искал где б дискетки прочитать.

И еще. Был такой фантастический рассказ (кажется у Лема, названия не помню) о накоплении информации. Ее было много, ее (носители) надо было где-то складировать. Выделили планету, потом еще одну... Потом пришлось выделить планету под каталог, затем планету под каталог каталогов. Ну и так далее. Информация писалась на каких-то кристаллах неописуемой емкости.

Поскольку на данный момент такой проблемы еще не стоит, то и носители у нас соответствующие. В связи с развитием техники может встать другая проблема, ее очень ярко описал уважаемый Venik - перенос с одного носителя на другой. Даже если есть финансовые и временные возможности - с увеличением объемов архивов будет увеличиваться количество обслуживающего персонала. Как бы не дошло до такого же абсурда как с планетами :)

Бермедич
От Serguei
К Бермедич (22.03.2002 04:33:03)
Дата 22.03.2002 21:34:34

Re: фантастические проблемы

>Напомнило мои безумные скачки по Питеру с выпучеными глазами в поисках пятидюймового дисковода. Три дня искал где б дискетки прочитать.
А все потому что вы не подумали об этом раньше. В 1996 я все свои 5" дискетки с лабами/курсовыми из института записал на СиДи. Настанет время ДВД - перепишу на ДВД.
От kozztya
К Бермедич (22.03.2002 04:33:03)
Дата 22.03.2002 06:25:50

5 Дюймовый гоаворишь :)))

Здравствуйте!

Обратился бы в ближайшую администрацию муниципального округа или тому подобное.Там такого барахла должно быть завались. Мы вот сами не знаем как от него избавится :))))
kozztya