Система CRAY T3D (США)
- Краткий обзор
- Interconnect Network
- Processing Element Nodes
- I/O Gateways
Cray Research выполняет разработку MPP системы в три фазы. Цель состоит в достижении поддержанной эффективности на реальном коде заказчика одного триллиона с плавающей запятой операции в секунду. Этот материал описывает базисную архитектуру первой фазы, а именно CRAY T3D систему.
CRAY T3D система содержит сотню или тысячи микропроцессоров с подключенной к ней локальной памятью. Система разработана для поддержания различных стилей программирования MPP системы, такие как параллельные данные (data parallel), совместная работа (work-sharing) и передача сообщений (message passing.
CRAY T3D система соединяется с главной компьютерной системой. Главная система обеспечивает поддержку прикладных программ, управляющих CRAY T3D системой. Все прикладные программы, написанные для CRAY T3D, компилируются на главной системе, а выполняются на CRAY T3D системе.
Главной системой может быть любой Cray, который имеет модель подсистемы ввода/вывода E (IOS-E). Главными могут быть системы CRAY Y-MP E-серии, CRAY Y-MP M90 серии, и CRAY Y-MP C90. Главная система может находиться в том же самом шкафе как CRAY T3D система. Эта конфигурация называется конфигурацией с одиночным шкафом. Главная система может также располагаться в отдельном шкафе, который подсоединен к CRAY T3D шкаф системы. Эта конфигурация называется конфигурацией с многократным шкафом.
CRAY T3D система состоит из компонентов четырех типов: обрабатывающий элемент узла (processing element nodes), связывающей сети (interconnect network), шлюз ввода/вывода (I/O gateways) и часов (clock). На рис.1.1 показана упрощенная модель компонентов CRAY T3D.
Рис.1. Комроненты CRAY T3D
Обрабатывающий элемент узла (Processing Element Nodes)
MPP система содержит сотни или тысячи микропроцессоров, к каждому из которых подключена локальная память. Каждый микропроцессор и локальный компонент памяти называется элементом обработки (PE -processing element ). В CRAY T3D системе каждый PE содержит микропроцессор, локальную память и схему поддержки (см. рис.1.2). Имеется два PЕs (per processing) на обрабатывающем элементt узла.
Рис. 1.2. Компоненты элемента обработки (РЕ)
Микропроцессором является разработанный фирмой Digital Equipment Corporation (DEC) 64-разрядный RISC Alpha 21164 микропроцессор. Он выполняет арифметические и логические операции над 64 битовым целым и 64 битовым с плавающей запятой регистрами [согласно спецификации IEEE для арифметики с плавающей запятой]. Микропроцессор содержит внутреннюю кэш-память команд и кэш-память данных, каждая хранит 256 строк, в строке четыре 64 битовые слова.
Локальная память состоит из динамической памяти произвольного доступа (dynamic random access memory - DRAM), которая хранит данные системы. Размер локальной памяти 2 Mwords при использовании 4Mbit DRAM схем или 8 Mwords при использовании 16-Mbit DRAM.
Физически распределенная память Cray T3D логически общедоступна каздому PE. Память системы физически распределена поcкольку каждый PE содержит локальную память. Память системы логически разделена, потому что микропроцессор в одном PE может обращаться к памяти другого PE без использования микропроцессор в этом PE.
Схема поддержки расширяет управление и адресующиеся функции микропроцессора и выполняет передачу данных в или из локальной памяти.
CRAY T3D система содержит 32, 64, 128, 256, 512, 1.024, или 2.048 PE, в зависимости от конфигурации системы (исключение PE в I/O Gateways). PE находятся в узлах (node) системы CRAY T3D.
В каждом узеле (см. рис.1.3) находятся: два PE, сетевой интерфейс (network interface), средство поблочной пересылки (block transfer engine - BLT).
Рис 1.3. Обрабатывающий элемент узла (Processing Element Node)
Два PE в узле идентичны, но функционально независимы. Доступ к средству поблочной пересылки (BLT) и сетевому интерфейсу (Network Interface) разделяется (shared) между двумя PE
Сетевой интерфейс форматирует информацию прежде, чем посылает ее через связывающую сеть к другому узлу или I/O gateway. Сетевой интерфейс также получает приходящую информацию из другого узла элемента обработки или I/O gateway и направляет информацию к PE 0 или PE 1 в узле элемента обработки.
Средство поблочной пересылки (BLT) представляет собой асинхронный контроллер прямого доступа к памяти, который перераспределяет системные данные. BLT перераспределяет данные системы между локальной памятью в PE0 или PE1 и глобально адресуемой памяти системы. BLT может перераспределять до 65536 64-битных слов данных (или 65536 4-словных линий данных) без прерывания из PE.
Связывающая сеть (Interconnect Network)
Связывающая сеть обеспечивает пути связи среди узлов и I/O gateways в CRAY T3D системе. Связывающаяся сеть формирует трехмерную матрицу путей, которые соединяют узлы в X, Y, и Z направлениях (см. рис.1.1).
Связывающая сеть составлена из коммуникационных линков (communication links) и сетевых маршрутизаторов (network routers). На рис. 1.4 показано, как компоненты связывающей сети соединяются с узлом.
Рис. 1.4. Компоненты связывающей сети
Шлюз ввода/вывода (I/O Gateways)
I/O gateways передает данные и информацию управления между главной системой (например, CRAY M90) и CRAY T3D или между CRAY T3D и кластером ввода-вывода (IOC). I/O gateways соединяется со связывающей сетью через сетевые маршрутизаторы (Network Router), которые имеют средства связи только в X и Z размерах. [I/O gateways не имеют соединений в Y координатах, потому что соединители y-размерности на плате схемы входа ввода - вывода были заменены на медленный (low-speed "LOSP") и быстродействующие (high-speed "HISP") соединители канала.]
I/O gateways может передать информацию к любому PE в связывающейся сети. I/O gateways содержит входной узел, узел вывода и LOSP схему. Рис.5 показывает компоненты I/O gateways.
Рис. 1.5. Шлюз ввода/ вывода (I/O Gateway)
Входной узел содержит: один PE, сетевой интерфейс, BLT и схему ввода HISP. BLT и сетевой интерфейс во входном узле идентичен BLT и сетевому интерфейсу, используемому в узле элемента обработки.
PE во входном узле разработан так, чтобы организовать с помощью интерфейса связь со схемой ввода HISP. По этой причине PE узла I/O gateways не содержит схем выполнения операций, присущих PE в узлах элемента обработки. Схемы в I/O gateways связывает его PE с помощью интерфейса со схемой ввода HISP. Кроме того, половина локальной памяти в PE содержит буфера HISP каналов.
Схема ввода HISP получает входные данные для узлов CRAY T3D системы из главной системы через HISP канал. После накопления в буфере канала полученных данных, схемы ввода HISP, PE и BLT входного узла передают их к PE CRAY T3D. Узел вывода идентичен входному узлу, в нем лишь заменена схемы ввода на схему вывода через HISP канал. Схема вывода HISP передает исходящие данные CRAY T3D к главной системе через HISP канал также после их накопления в буфере канала приемного узла I/O gateways
LOSP схема передает запрос и информацию ответа через LOSP канал, который соединяет главную систему и CRAY T3D. LOSP запрос и информация ответа используется для управления передачей данных через HISP канал.
Имеются два типа I/O gateways: master I/O gateway и slave I/O gateway. Два типа I/O gateway соответствуют двум типам компонентов, соединенных HISP каналом. Master I/O gateway - ведущий компонент HISP канала и посылает информацию адреса к host system в течение передачи через HISP. Slave I/O gateway - ведомый компонент HISP канала и получает информацию адреса из host system во время передачи через HISP.
Система CRAY T3D содержит центральные часы, которые считают с точностью 6.67-ns. Сигнал часов разветвляется (fanned-out) ко всем element nodes и I/O gateways в системе. Часы находятся на одной плате, которая размещается в шкафу системы CRAY T3D.
