От badger
К Siberiаn
Дата 09.04.2008 19:28:59
Рубрики Современность; Политек;

Всё писать - винты не резиновые, а звук даже в мп3 занимает дофига :)

Писать в режиме пишу текущие разговоры - стираю то что записано час назад тоже не выход по понятным причинам :)

На слово "терракт" вам фильтр престарелых тёть Маш, для которых основное развлечение в жизни - обсудить последние новости с подругой нафильтрует за день на год работы, а люди, которые террактами занимаются их по телефону я думаю называют "пойдем с женой в театр", или "пойду в гараж", если уж хватает идиотизма что-то обсуждать по телефону, люди реально занимающиеся противоправной деятельностью разного рода по телефону нифига и не трындят серъезного, ни по настольному, ни по мобильному, иначе все давно сидели бы уже.
От Ktulu
К badger (09.04.2008 19:28:59)
Дата 09.04.2008 20:36:59

Звук занимает 9600 бит в секунду

Это качество цифрового канала GSM.
9600 bps == 1.2 KBps
100 МБ / день
36 ГБ / год
Это непрерывных разговоров.
Если в среднем по часу в день - то 1.5 ГБ в год на человека.
на один винчестер в 750 ГБ влезают годовые разговоры 500 человек.

>Писать в режиме пишу текущие разговоры - стираю то что записано час назад тоже не выход по понятным причинам :)

>На слово "терракт" вам фильтр престарелых тёть Маш, для которых основное развлечение в жизни - обсудить последние новости с подругой нафильтрует за день на год работы, а люди, которые террактами занимаются их по телефону я думаю называют "пойдем с женой в театр", или "пойду в гараж", если уж хватает идиотизма что-то обсуждать по телефону, люди реально занимающиеся противоправной деятельностью разного рода по телефону нифига и не трындят серъезного, ни по настольному, ни по мобильному, иначе все давно сидели бы уже.

--
Алексей
От Zevs
К Ktulu (09.04.2008 20:36:59)
Дата 09.04.2008 21:31:35

Re: Звук занимает...

Ave!
>Это качество цифрового канала GSM.
>9600 bps == 1.2 KBps

В GSM такой низкоскоростной кодек не используется. Слишком низкое качество.

Vale!
От Ktulu
К Zevs (09.04.2008 21:31:35)
Дата 09.04.2008 21:53:54

Re: Звук занимает...

>Ave!
>>Это качество цифрового канала GSM.
>>9600 bps == 1.2 KBps
>В GSM такой низкоскоростной кодек не используется. Слишком низкое качество.

Используется, а повышенное качество GSM - это 14-19 Kbps.

>Vale!

--
Алексей
От Student
К Ktulu (09.04.2008 21:53:54)
Дата 09.04.2008 22:16:06

Re: Звук занимает...

>Используется, а повышенное качество GSM - это 14-19 Kbps.

Примеры приведите, пожалуйста. Вообще-то теоия говорит, что на скорости 1,2 кбит/с качество связи приемлемо только в самых крайних случаях. Как услуга связи - такое бы просто не продавалось en masse.

С уважением,
Student
От Ktulu
К Student (09.04.2008 22:16:06)
Дата 09.04.2008 22:41:02

Re: Звук занимает...

>>Используется, а повышенное качество GSM - это 14-19 Kbps.
>
>Примеры приведите, пожалуйста. Вообще-то теоия говорит, что на скорости 1,2 кбит/с качество связи приемлемо только в самых крайних случаях. Как услуга связи - такое бы просто не продавалось en masse.

Вообще-то теория говорит, что цифровые телефонные станции используют кодирование звука
с 256 уровнями (8 бит) и частотой дискретизации 8192 Гц, что даёт для несжатого сигнала
телефонного качества 64 Kbps. Сжатие, применяемое системой GSM, позволяет уменьшить эту
величину без существенной потери качества (на слух, разумееется) до 9.6 Kbps (есть и другие
битрейты). Существуют кодеки вплоть до 2 Kbps (не в GSM).

Kbps = Килобит/c

>С уважением,
>Student

--
Алексей
От Student
К Ktulu (09.04.2008 22:41:02)
Дата 09.04.2008 23:41:36

Re: Звук занимает...

>Вообще-то теория говорит, что цифровые телефонные станции используют кодирование звука
>с 256 уровнями (8 бит) и частотой дискретизации 8192 Гц, что даёт для несжатого сигнала
>телефонного качества 64 Kbps. Сжатие, применяемое системой GSM, позволяет уменьшить эту
>величину без существенной потери качества (на слух, разумееется) до 9.6 Kbps (есть и другие
>битрейты). Существуют кодеки вплоть до 2 Kbps (не в GSM).

Именно! Чистый поток - 8 (G.729 - G.726 при приемлемом качестве 6,3, при худшем - 5,4, но там свои проблмы). Но никак не 1,2...

С уважением,
Student
От Ktulu
К Student (09.04.2008 23:41:36)
Дата 09.04.2008 23:48:17

Re: Звук занимает...

>>Вообще-то теория говорит, что цифровые телефонные станции используют кодирование звука
>>с 256 уровнями (8 бит) и частотой дискретизации 8192 Гц, что даёт для несжатого сигнала
>>телефонного качества 64 Kbps. Сжатие, применяемое системой GSM, позволяет уменьшить эту
>>величину без существенной потери качества (на слух, разумееется) до 9.6 Kbps (есть и другие
>>битрейты). Существуют кодеки вплоть до 2 Kbps (не в GSM).
>
>Именно! Чистый поток - 8 (G.729 - G.726 при приемлемом качестве 6,3, при худшем - 5,4, но там свои проблмы). Но никак не 1,2...

1 KBps == 1 kilobyte per second == килоБАЙТ в секунду
1 Kbps == 1 kilobit per second == килоБИТ в секунду

--
Алексей
От Student
К Ktulu (09.04.2008 23:48:17)
Дата 09.04.2008 23:51:46

Re: Звук занимает...

>1 KBps == 1 kilobyte per second == килоБАЙТ в секунду
>1 Kbps == 1 kilobit per second == килоБИТ в секунду

Э-э... Размер буковок проглядел, извините. Ж;-) Тогда не возражаю.

С уважением,
Student
От Денис Лобко
К Ktulu (09.04.2008 20:36:59)
Дата 09.04.2008 20:49:44

я вам ещё жизнь малость подпорчу

Гамарджобат, генацвале!
>Это качество цифрового канала GSM.
>9600 bps == 1.2 KBps
>100 МБ / день
>36 ГБ / год
>Это непрерывных разговоров.
>Если в среднем по часу в день - то 1.5 ГБ в год на человека.
>на один винчестер в 750 ГБ влезают годовые разговоры 500 человек.

Сегодня в курилке эта тема обсуждалась, причём в этом участвовали специалисты своего дела. Система хранения хотя бы на каких-нибудь 20 терабайт приемлимой надёжности и скорости чтения-записи - это уже далеко не 15 винчестеров по 750 гигабайт. Это уже миллион долларов, ориентировочно (я такую систему хранения как раз обслуживаю). А это всего лишь 13000 человек по вашим подсчётам.

Если же считать по вашей методике, то 10 миллионов разговоров в день по минуте - это уже 700 гигабайт информации. Системы хранения на несколько десятков и сотен терабайт стоят ещё больше. В общем, это всё принципиально возможно, но очень дорого и очень геморройно.

С уважением, Денис Лобко.
От thodin
К Денис Лобко (09.04.2008 20:49:44)
Дата 10.04.2008 00:42:54

вот людям делать нечего!

сразу понятно, что темы обсуждают люди, далекие от телекоммуникаций настолько, насколько далеко человечество от межзвездных перелетов!!
От Ktulu
К Денис Лобко (09.04.2008 20:49:44)
Дата 09.04.2008 21:52:33

Это как?

Ваше отношение ко мне мне глубоко безразлично, подпортить не удастся.

>>Если в среднем по часу в день - то 1.5 ГБ в год на человека.
>>на один винчестер в 750 ГБ влезают годовые разговоры 500 человек.
>
>Сегодня в курилке эта тема обсуждалась, причём в этом участвовали специалисты своего дела. Система хранения хотя бы на каких-нибудь 20 терабайт приемлимой надёжности и скорости чтения-записи - это уже далеко не 15 винчестеров по 750 гигабайт. Это уже миллион долларов, ориентировочно (я такую систему хранения как раз обслуживаю). А это всего лишь 13000 человек по вашим подсчётам.

>Если же считать по вашей методике, то 10 миллионов разговоров в день по минуте - это уже 700 гигабайт информации. Системы хранения на несколько десятков и сотен терабайт стоят ещё больше. В общем, это всё принципиально возможно, но очень дорого и очень геморройно.

Когда к делу подходит лошьё (либо специалисты -- но по обуванию клиента), то, действительно,
система будет очень дорогой и очень геморройной. А в общем случае будет отлично работать
система, построенная по образу и подобию GoogleFS. Надеюсь, не надо перечислять, какие
объёмы данная система содержит в себе? А между тем, эта система полностью состоит
из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный
доступ к информации вне зависимости от её объёма и физического расположения. Учитывая, что
в деле хранения звуковой информации требования по производительности на запись крайне невелики
относительно объёма информации, то GoogleFS _отлично_ справится с задачей, обеспечив при этом
за весьма небольшие деньги степень надёжности, не сильно уступающую монструозным многоуровневым
системам хранения данных традиционного типа.

--
Алексей
От Денис Лобко
К Ktulu (09.04.2008 21:52:33)
Дата 09.04.2008 22:13:28

Re: Это как?

Гамарджобат, генацвале!

>Когда к делу подходит лошьё (либо специалисты -- но по обуванию клиента), то, действительно, система будет очень дорогой и очень геморройной. А в общем случае будет отлично работать система, построенная по образу и подобию GoogleFS.

Не надо зазря рвать тельник. "Лошьё" - это крупнейшая в России частная телекоммуникационная компания.

> Надеюсь, не надо перечислять, какие объёмы данная система содержит в себе? А между тем, эта система полностью состоит из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный доступ к информации вне зависимости от её объёма и физического расположения. Учитывая, что в деле хранения звуковой информации требования по производительности на запись крайне невелики относительно объёма информации, то GoogleFS _отлично_ справится с задачей, обеспечив при этом за весьма небольшие деньги степень надёжности, не сильно уступающую монструозным многоуровневым системам хранения данных традиционного типа.

У вас так всё просто - прямо как у Антонова.

С уважением, Денис Лобко.
От Ktulu
К Денис Лобко (09.04.2008 22:13:28)
Дата 09.04.2008 22:54:26

Re: Это как?

>Не надо зазря рвать тельник. "Лошьё" - это крупнейшая в России частная телекоммуникационная компания.

Я не называл крупнейшую частную компанию лошьём. Они специалисты по рубке капусты, сложно
от них ожидать стремления уменьшить свою прибыль на 2 десятичных порядка (для петабайтной
системы, для систем большего объёма этот показатель может быть ещё выше).
Лошьё - это те, кто верит, что традиционным системам нет альтернативы.

>У вас так всё просто - прямо как у Антонова.

С таким подходом у компании Google нет никаких прав на существование.

--
Алексей
От Student
К Ktulu (09.04.2008 21:52:33)
Дата 09.04.2008 22:13:13

Re: Это как?

>Когда к делу подходит лошьё (либо специалисты -- но по обуванию клиента), то, действительно,
>система будет очень дорогой и очень геморройной.

Гмм... Во-первых, про "лошьё" - это вы распалились.

>А в общем случае будет отлично работать
>система, построенная по образу и подобию GoogleFS. Надеюсь, не надо перечислять, какие
>объёмы данная система содержит в себе? А между тем, эта система полностью состоит
>из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
>обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный
>доступ к информации вне зависимости от её объёма и физического расположения.

А вот тут выясняется, что Вы плоховато считаете. "обычными SATA винчестерами безо всяких RAID" и "обеспечивает минимум трёхкратное дублирование на географически разделённых узлах" противоречат друг другу. На одном узле-то, может, и без RAID - но на трёх по дискахм это дороже самого дорогого по этому параметру "зеркала". Плюс сами узлы. Плюс затраты на размещение. Плюс затраты на высокоскоростные каналы связи. В общем - всё совсем не так, как вы говорите.

С уважением,
Student
От Ktulu
К Student (09.04.2008 22:13:13)
Дата 09.04.2008 22:32:03

Re: Это как?

>>А в общем случае будет отлично работать
>>система, построенная по образу и подобию GoogleFS. Надеюсь, не надо перечислять, какие
>>объёмы данная система содержит в себе? А между тем, эта система полностью состоит
>>из недорогих узлов под Linux с обычными SATA винчестерами безо всяких RAID, при этом система
>>обеспечивает минимум трёхкратное дублирование на географически разделённых узлах + унифицированный
>>доступ к информации вне зависимости от её объёма и физического расположения.
>
>А вот тут выясняется, что Вы плоховато считаете. "обычными SATA винчестерами безо всяких RAID" и "обеспечивает минимум трёхкратное дублирование на географически разделённых узлах" противоречат друг другу. На одном узле-то, может, и без RAID - но на трёх по дискахм это дороже самого дорогого по этому параметру "зеркала".

Нормально считаю. RAID подразумевает контроллер (софтверные RAID не берём). И подключается
к одному компьютеру (сетевой сервер с RAID - это уже не RAID). Ничего не дороже.

> Плюс сами узлы. Плюс затраты на размещение. Плюс затраты на высокоскоростные каналы связи. В общем - всё совсем не так, как вы говорите.

Всё именно так, как я говорю. Именно поэтому данная технология позволила добиться таких
успехов компании Google.

Приведу простой расчёт. Узел - 2 ядра + 2-4 GB памяти + 4 x 1TB HDD. Грузится по сети.
Цена $1000. Эффективная ёмкость 1 ТБ на узел (с учётом четырёхкратного дублирования).
+ $1000 на каждый узел на инфраструктуру (сеть, системные узлы, кондиционеры, ИБП).
Итого $2000 на ТБ. Или $2 млн. на петабайт. Сравните с >$1 млн. за 20ТБ у оппонента.
Затраты на высокоскоростные каналы связи минимальны (это локальная сеть по зданию или в соседнее
здание). При необходимости задействуем dark fiber (неиспользуемые мощности РосТелекома). 300 Вт
потребления на узел (с учётом кондиционирования и отопления) - 300 Вт на ТБ, 300 КВт на ПБ.

--
Алексей
От Hokum
К Ktulu (09.04.2008 22:32:03)
Дата 09.04.2008 23:01:38

Re: Это как?

Джентльмены, вы делаете одну характерную ошибку. К сожалению, крайне типичную.
Затраты на железо - мизер в общей структуре расходов. Потому как одноразовые. Расходы на аренду помещений в датацентре, содержание каналов, онлайновый бэкап и т.п. перекрывают затраты на железо уже в первые год-два.
Про оплату персонала я вообще молчу. Квалифицированный специалист обходится компании (с учетом всех налогов и отчислений) в $100..200K в год.
Посчитайте совокупную стоимость обладания данной системой... ну, скажем, в течении 5 лет. Будете крайне удивлены :)
От Student
К Hokum (09.04.2008 23:01:38)
Дата 09.04.2008 23:37:51

Re: Это как?

>Джентльмены, вы делаете одну характерную ошибку. К сожалению, крайне типичную.

Я как раз об этом же... Ж;-)

С уважением,
Student
От Ktulu
К Hokum (09.04.2008 23:01:38)
Дата 09.04.2008 23:16:58

Re: Это как?

>Джентльмены, вы делаете одну характерную ошибку. К сожалению, крайне типичную.

Я такой ошибки не делаю. Именно поэтому указал в структуре расходов кондиционеры, ИБП
и потребляемую мощность.

>Затраты на железо - мизер в общей структуре расходов. Потому как одноразовые. Расходы на аренду помещений в датацентре, содержание каналов, онлайновый бэкап и т.п. перекрывают затраты на железо уже в первые год-два.

Да, верно, но технология Google требует стоит меньше традиционных систем и в обслуживании тоже.

>Про оплату персонала я вообще молчу. Квалифицированный специалист обходится компании (с учетом всех налогов и отчислений) в $100..200K в год.

В США - именно так, но даже в США технология, подобная Google оказывается дешевле традиционных.
5 человек на 1000 узлов. Хотя изначально у нас речь шла о России, здесь максимум будет $50K/y.

>Посчитайте совокупную стоимость обладания данной системой... ну, скажем, в течении 5 лет. Будете крайне удивлены :)

Я не буду, с эксплуатацией сталкивался.

--
Алексей
От Student
К Ktulu (09.04.2008 23:16:58)
Дата 09.04.2008 23:49:30

Re: Это как?

>Я такой ошибки не делаю. Именно поэтому указал в структуре расходов кондиционеры, ИБП
>и потребляемую мощность.

Вы делаете и эту, и другие. Если начать считать, то выяснится много интересного - и что GoogleFS в чистом виде не подойдёт, и что доработка будет стоить денег, и проч., и проч.... Ж;-)

>Да, верно, но технология Google требует стоит меньше традиционных систем и в обслуживании тоже.

Не сровсем верно. Равные объемы данных при любой технологии хранения (на одинаковых носителях, естественно) требуют как минимум равных затрат по энергии, инфраструктуре и персоналу. В случае больших специализированных систем хранения они, кстати, могут быть (и, скорее всего, будут) ниже.

>В США - именно так, но даже в США технология, подобная Google оказывается дешевле традиционных.
>5 человек на 1000 узлов. Хотя изначально у нас речь шла о России, здесь максимум будет $50K/y.

Спорно. Специализированная система хранения не требует больше персонала.

>Я не буду, с эксплуатацией сталкивался.

Это, конечно, хорошо - но давайте думать о граничных условиях в данном конкретном примере. А они нам скажут много интересного в рассматриваемом случае. Можно много страниц текста написать.

С уважением,
Student
От Ktulu
К Student (09.04.2008 23:49:30)
Дата 09.04.2008 23:57:52

Re: Это как?

>>Я такой ошибки не делаю. Именно поэтому указал в структуре расходов кондиционеры, ИБП
>>и потребляемую мощность.
>Вы делаете и эту, и другие. Если начать считать, то выяснится много интересного - и что GoogleFS в чистом виде не подойдёт, и что доработка будет стоить денег, и проч., и проч.... Ж;-)

Подойдёт, для системы с минимальными требованиями по производительности чтения и записи
подойдёт идеально.

>>Да, верно, но технология Google требует стоит меньше традиционных систем и в обслуживании тоже.
>
>Не сровсем верно. Равные объемы данных при любой технологии хранения (на одинаковых носителях, естественно) требуют как минимум равных затрат по энергии, инфраструктуре и персоналу. В случае больших специализированных систем хранения они, кстати, могут быть (и, скорее всего, будут) ниже.

Не будут они ниже. Там количество винчестеров будет не ниже, добавится, скорее всего,
ленточная система с автоподатчиком, недешёвая поддержка от производителя, короче всё будет
очень печально.

>>В США - именно так, но даже в США технология, подобная Google оказывается дешевле традиционных.
>>5 человек на 1000 узлов. Хотя изначально у нас речь шла о России, здесь максимум будет $50K/y.
>Спорно. Специализированная система хранения не требует больше персонала.

GoogleFS - это и есть специализированная система. Соотношение цены будет приблизительно такое,
как у традиционного суперкомпьютера и вычислительного кластера при решении хорошо
распараллеливаемых задач.

>>Я не буду, с эксплуатацией сталкивался.
>Это, конечно, хорошо - но давайте думать о граничных условиях в данном конкретном примере. А они нам скажут много интересного в рассматриваемом случае. Можно много страниц текста написать.

А что писать, я прав, Д.Лобко неправ. Всё просто.

--
Алексей
От Ktulu
К Ktulu (09.04.2008 21:52:33)
Дата 09.04.2008 21:56:14

При этом GoogleFS почти линейно масштабируется (-)
От Дмитрий Алферьев
К Денис Лобко (09.04.2008 20:49:44)
Дата 09.04.2008 21:06:56

Re: я вам...

>Сегодня в курилке эта тема обсуждалась, причём в этом участвовали специалисты своего дела. Система хранения хотя бы на каких-нибудь 20 терабайт приемлимой надёжности и скорости чтения-записи - это уже далеко не 15 винчестеров по 750 гигабайт. Это уже миллион долларов, ориентировочно (я такую систему хранения как раз обслуживаю). А это всего лишь 13000 человек по вашим подсчётам.

Ну можно конечно и за миллион, и где-то это наверняка оправдано. Но в целом RAID контроллер на 20+ портов SATA нынче стоит порядко 2-х штук со всеми приблудами типа доп памяти и батарейки. Ну понятно что обвеса нужно много, корпуса, БП, сам ком собственно и винты. Но в 10-20 штук вполне можно уложиться я думаю. Так что не все так ужасно.
От doctor64
К Ktulu (09.04.2008 20:36:59)
Дата 09.04.2008 20:47:18

Звуки бывают разные

>Это качество цифрового канала GSM.
В GSM кодеках битрейты от 4.75 до 12.2 kbit/s. а бывает еще и G.711 с битрейтов в 64 kbit/s. ;)
От Ktulu
К doctor64 (09.04.2008 20:47:18)
Дата 09.04.2008 21:41:33

Re: Звуки бывают...

>>Это качество цифрового канала GSM.
>В GSM кодеках битрейты от 4.75 до 12.2 kbit/s. а бывает еще и G.711 с битрейтов в 64 kbit/s. ;)

Бывают разные, но 9600 Bps более-менее нормальная средняя величина для оценки требований по
хранению. Тут скорее стоило добавить, что канал-то дуплексный, так что надо умножать
на 2.

--
Алексей
От doctor64
К Ktulu (09.04.2008 21:41:33)
Дата 10.04.2008 01:24:32

Re: Звуки бывают...

>>>Это качество цифрового канала GSM.
>>В GSM кодеках битрейты от 4.75 до 12.2 kbit/s. а бывает еще и G.711 с битрейтов в 64 kbit/s. ;)
>
>Бывают разные, но 9600 Bps более-менее нормальная средняя величина для оценки требований по
>хранению. Тут скорее стоило добавить, что канал-то дуплексный, так что надо умножать
>на 2.
естественно, все битрейты - для одного голосового канала. Но если мы пишем _всех_ - то совсем незачем каждый разговор записывать два раза. ж)
От Zevs
К doctor64 (09.04.2008 20:47:18)
Дата 09.04.2008 21:30:44

Re: Звуки бывают...

Ave!
>>Это качество цифрового канала GSM.
>В GSM кодеках битрейты от 4.75 до 12.2 kbit/s.

6,5 и 13 кбит/с

> а бывает еще и G.711 с битрейтов в 64 kbit/s. ;)

и 8 кбит/с бывает, и звучит приемлимо.
Vale!
От doctor64
К Zevs (09.04.2008 21:30:44)
Дата 10.04.2008 01:21:33

Re: Звуки бывают...

>Ave!
>>>Это качество цифрового канала GSM.
>>В GSM кодеках битрейты от 4.75 до 12.2 kbit/s.
>
>6,5 и 13 кбит/с
простите, я как бы с этими кодеками каждый день на работе общаюсь.
GSM FR - 13 kbit/s
GSM HR - 6.5 kbit/s
GSM EFR - 12.2 kbit/s
GSM AMR - 12.2, 10.2, 7.95, 7.40, 6.70, 5.90, 5.15, 4.75 kbit/s

>> а бывает еще и G.711 с битрейтов в 64 kbit/s. ;)
>
>и 8 кбит/с бывает, и звучит приемлимо.
G711? Не бывает. 8 бит, 8 килогерц. :)