От Денис Лобко
К Александр Стукалин
Дата 11.03.2011 22:59:26
Рубрики Прочее; Современность;

Кластерным способом

Здоровенькi були!

Много одинаковых узлов с обычным железом, связь между ними спец. сетью (с микросекундными задержками), хитрое ПО для управления всем этим кагалом и распараллеливания задач между узлами.

С уважением, Денис Лобко.
От Anvar
К Денис Лобко (11.03.2011 22:59:26)
Дата 14.03.2011 11:17:19

Re: Кластерным способом

>Много одинаковых узлов с обычным железом, связь между ними спец. сетью (с микросекундными задержками), хитрое ПО для управления всем этим кагалом и распараллеливания задач между узлами.

ИМХО с пикосекундными задержками (шина InfiniBand 40 ГГц).
От Иван Уфимцев
К Anvar (14.03.2011 11:17:19)
Дата 14.03.2011 12:14:59

Не_в_очко,_а_в_преферанс

On 14.03.2011 10:17, Anvar wrote:
>> Много одинаковых узлов с обычным железом,

Ну не совсем обычным, скажем так. На обычном слишком низкая плотность получается и низковата скорость одиночного узла.

>> связь между ними спец. сетью (с микросекундными задержками), хитрое ПО для управления всем этим кагалом и распараллеливания задач между узлами.
> ИМХО с пикосекундными задержками (шина InfiniBand 40 ГГц).

40 гигабит. Опорная ЕМНИП 2,5 ГГц. Многолинейная (обычно более четырёх линий с "клиентского" узла не выводят, 40 гигабит -- это как
раз 4x QDR) последовательная асинхронная, сейчас обычно QDR (увосьмерять уже пробуют, но до серии пока не дошло, все эти FDR/EDR
пока толдько в планах) с пакетной передачей. Да, лучше чем Ethernet или EoFC, и даже лучшем чем RDMA поверх FC, но не на шесть+
порядков. Тут для памяти задержки в наносекундах меряют, а тут оно ещё через PCI-E повешено. В лучшем случае LDT/HT, но в серии мне
таких не известно. Плюс дальше коммутация пакетов.

В общем, на практике единицы микросекунд. Хотя при прямом соединении быстрых HCA уже можно получить менее микросекунды. Шо будет с
FC и инфинибэндом при распространении LP -- большой вопрос.

--
CU, IVan.
От nonr
К Денис Лобко (11.03.2011 22:59:26)
Дата 13.03.2011 01:22:33

Re: Кластерным способом

>Здоровенькi були!

>Много одинаковых узлов с обычным железом, связь между ними спец. сетью (с микросекундными задержками), хитрое ПО для управления всем этим кагалом и распараллеливания задач между узлами.

>С уважением, Денис Лобко.

там еще схема интерконнекта инфинибандовских
свитчей должна быть занятной.

А вообще, петафлопс как петафлопс на одну конкретную задачу лесом не нужен. Сейчас самые прожорливые задачи, которые я видел -- 10 ТФлопс. Т.е. петафлоппер можно
после теста на 10 секторов разделить без потери функционала.