Канальный уровень (Link) в InfiniBand.

Канальный уровень InfiniBand, как и в Ethernet, разделён на подуровни LLC и MAC. Формат frame LLC идентичен формату frame 1000Base Ethernet.

Формат Frame в Ethernet:

Формат Frame в Infiniband:

• Local Route Header (LRH): 8 байт. Используется для локального соединения с помощью коммутаторов внутри одной подсети;

• Global Route Header (GRH): 40 байт. Используется для маршрутизации между подсетями;

• Base Transport header (BTH): 12 байт, для транспортного уровня;

• Extended Transfer Headers (4,6,16,28bytes):

¾ Reliable datagram extended transport header (RDETH): 4 байта, только для надежных дейтаграмм;

¾ Datagram extended transport header (DETH): 8 bytes;

¾ RDMA extended transport header (RETH): 16 bytes;

• Payload(data): 0-4 Kбайт;

• Immediate DATA extended transport header: 4 байта, оптимизация передачи малых пакетов;

• Invariant CRC (4 байта) and variant CRC (2 байта):

CRC для изменяющихся и неизменных полей.

Flow control.

Одной из функций, обеспечиваемых канальным уровнем InfiniBand, является управление потоками (flow control) на основе «кредитов» (передача не начнётся, пока в приёмном буфере не будет достаточно места), это предотвращает переполнение буфера приёмника и позволяет передавать данные без потерь.

Кредит = (время прохождения(расстояние)+время обработки портом получателем) / время передачи.

Другими словами, оптимальное количество кредитов BB зависит от трех основных параметров: 1) время прохождения, то есть расстояние; 2) время обработки кадра;3)время передачи кадра.

Технология InfiniBand позволяет выделять несколько независимых потоков данных на одной и той же физической линии (так называемые Virtual Lanes – VL). VL представляют собой разделенные логические потоки с собственными буферами и функциями flow control. Это позволяет создавать более эффективное соединение между устройствами. Современные системы поддерживают до 16 (0…15) VL. Каждая VL генерирует специальный пакет (flow control packet), содержащий информацию о количестве переданных и полученных блоков, а также о количестве свободных блоков для передачи данных по линии. Такие пакеты генерируются не реже, чем раз в 65536 clock циклов.

Error control.

Проверка ошибок. В отличии от Ethernet CRC в Infiniband подсчитывается два раза, так как, если CRC подсчитывается один раз, ошибка может возникнуть во время подсчета контрольной суммы.

 Имеется в виду, что после каждого «hop», на устройстве сначала идет проверка CRC, а затем он пересчитывается и записывается новый (т.к. адрес следующего узла меняется). Если в этот момент произойдет ошибка, то CRC будет подходить и ошибка может быть не обнаружена. Чтобы этого избежать существует второй инвариантный CRC, рассчитанный только для тех значений, которые не изменяются.

Метод доступа в канал.

В InfiniBand, как и в Fibre Channel, для доступа в канал используется метод CSMA/CA(Carrier Sense Multiple Access With Collision Avoidance): «множественный доступ с контролем несущей и избеганием коллизий» — это сетевой протокол, в котором:

§ используется схема прослушивания несущей волны;

§ станция, которая собирается начать передачу, посылает jam signal (сигнал затора);

§ после продолжительного ожидания всех станций, которые могут послать jam signal, станция начинает передачу frame;

§ если во время передачи станция обнаруживает jam signal от другой станции, она останавливает передачу на отрезок времени случайной длины и затем повторяет попытку.

CSMA/CA отличается от CSMA/CD тем, что коллизиям подвержены не пакеты данных, а только jam-сигналы. Отсюда и название «Collision Avoidance» — предотвращение коллизий (именно пакетов данных).

Улучшение производительности достигается за счёт снижения вероятности коллизий и повторных попыток передачи.

Network layer.

Каж­до­му порту се­те­вых адап­те­ров IB-фаб­ри­ки ме­не­джер под­се­ти при­сва­и­ва­ет уни­каль­ный для под­се­ти адрес (local ID, LID), ко­то­рый ис­поль­зу­ет­ся для марш­ру­ти­за­ции па­ке­тов в под­се­ти. В каж­дом ком­му­та­то­ре име­ют­ся таб­ли­цы Unicast Linear Forwarding Tables, где ука­за­но, через какой порт сле­ду­ет от­прав­лять па­ке­ты для каж­до­го ад­ре­са LID. Если иден­ти­фи­ка­ция пор­тов осу­ществ­ля­ет­ся с по­мо­щью LID, то иден­ти­фи­ка­ция ка­наль­но­го адап­те­ра осу­ществ­ля­ет­ся по­сред­ством GUID (Globally Unique Identifier), при­сва­и­ва­е­мо­го адап­те­ру компанией-производителем.

В ос­но­ве ар­хи­тек­ту­ры IB лежит спо­соб­ность со­зда­вать оче­ре­ди ко­манд, ко­то­рые вы­пол­ня­ют­ся IB-устрой­ства­ми. Ра­бо­чие оче­ре­ди все­гда со­зда­ют­ся па­ра­ми (queue pair, QP): одна — для опе­ра­ций по­сыл­ки, дру­гая — для опе­ра­ций по­лу­че­ния. Пары иден­ти­фи­ци­ру­ют­ся номером.

Transport layer.

Транспортный слой InfiniBand предоставляет несколько видов транспортных услуг. IB предо­став­ля­ет сер­ви­сы, ори­ен­ти­ро­ван­ные на со­еди­не­ния, и сер­ви­сы, ори­ен­ти­ро­ван­ные на дейта­грам­мы. Для сер­ви­са, ос­но­ван­но­го на со­еди­не­ни­ях, каж­дая пара оче­ре­дей свя­за­на с парой дру­го­го конца со­еди­не­ния, ко­то­рое, кроме QP, иден­ти­фи­ци­ру­ет­ся пор­том. При уста­нов­ле­нии со­еди­не­ния узлы об­ме­ни­ва­ют­ся этой ин­фор­ма­ци­ей между собой. Для сер­ви­са дейта­грамм пара оче­ре­дей «не за­вя­за­на» на одну уда­лен­ную пару, а иден­ти­фи­ка­ция по­лу­ча­те­ля по­ме­ща­ет­ся в эле­мен­тах ра­бо­чей очереди.

Оба ва­ри­ан­та сер­ви­сов в IB бы­ва­ют двух типов — на­деж­ный (reliable, R) и нена­деж­ный (unreliable, U). Так, UD озна­ча­ет нена­деж­ный сер­вис дейта­грамм (пара оче­ре­дей может при­ни­мать и пе­ре­да­вать со­об­ще­ния дли­ной в один пакет в любую дру­гую пару, при этом ап­па­ра­ту­ра не га­ран­ти­ру­ет до­став­ку со­об­ще­ния по­лу­ча­те­лю, когда со­об­ща­ет о за­вер­ше­нии по­сыл­ки; не га­ран­ти­ру­ет­ся и по­ря­док по­ступ­ле­ния па­ке­тов); UC — ненадежный сервис с соединением; RD — на­деж­ный сер­вис да­та­грамм (он не огра­ни­чен одним па­ке­том); RC — на­деж­ный сер­вис с соединением.

Управление(ОС).

Subnet Manager.

       Менеджер подсети (SM) обеспечивает функции всестороннего контроля и мониторинга для упрощения управления, настройки и технического обслуживания сложных сетей InfiniBand.

       SM отвечает за:

- обнаружение физической топологии подсети;

- присваивание LID конечным узлам, коммутаторам и роутерам;

- нахождение возможных путей между конечными узлами;

- чистка подсети, обнаружение изменений в топологии и управлении в случае добавления или удаления конечных узлов;

Производители.

Крупнейшие поставщики чипов:

-Intel, Mellanox.

Канальные адаптеры InfiniBand для хостов (Host Channel Adapter, HCA) предлагают сегодня:

- IBM, Qlogic, Mellanox.

Коммутаторы Infiniband предлагают:

- Brocade, Cisco, Qlogic, Agilent, Flextronics.

Собственные микросхемы InfiniBlue разработала IBM.