консоль управления каталогами ldap

Архитектура вычислительных кластеров серверов ETegro Therascale Архитектура вычислительных кластеров серверов ETegro Therascale Краткое описание Вычислительный состоит из оптимизированных для подобной инфраструктуры серверов ETegro ( , ), УУ и системы хранения данных. Вычислительное оборудование может быть объединено сетями на основе стандартов InfiniBand, Ethernet, FibreChannel. Архитектура системы ЂЂЂ массивно параллельный вычислительный комплекс. Система располагается в стандартных шкафах для серверного оборудования или в открытых стойках. Все узлы, кабели, шкафы промаркированы промаркированы согласно расположению в машинном зале. На узлах разворачивается универсальный образ Узла построенный на базе одного из дистрибутивов OC GNU Linux. Универсальность узлов означает то, что на самих узлах отсутствуют какие либо специфические настройки. Узлы «не знают» ни своего имени, ни своей функции в кластере. Определение имени узла, его функций, ресурсов осуществляется централизованно на УУ. В качестве системного и прикладного программного обеспечения на кластере используется свободно распространяемое программное обеспечение. Кластер ЂЂЂ программно-аппаратный комплекс с массивно параллельной архитектурой предназначенный для решения всевозможных вычислительных задач математической физики, геологии, химии и множества других. Узел ЂЂЂ стандартная вычислительный единица Кластера, обычно представляющая собой сервер размером 1U или блок т.н. blade-серверов. Управляющий узел (УУ) ЂЂЂ один или несколько выделенных серверов в составе Кластера. УУ обеспечивает целостною работу кластера при помощи ряда функционирующих на нем Сервисов. СХД ЂЂЂ система хранения данных. InfiniBand Фабрика ЂЂЂ единый комплекс оборудования InfiniBand. Baseboard Management Controller (BMC)ЂЂЂ сервисный процессор в составе Узла позволяющий осуществлять мониторинг по протоколам HTTP, IPMI 2.0, SNMP и прочим. Также BMC предоставляет функции KVMoIP и VirtualMedia (более подробно о BMC и подобных технологиях в статье ). Сервис ЂЂЂ отдельная служба выполняющая конкретную задачу Кластера. Как правило, за работу сервиса отвечает один или несколько системных служб (демонов). Сетевая организация Кластера представляет собой несколько сетей. Типичный набор сетей и их основные свойства представлены в таблице. Описание и свойства сетей Кластера НазваниеХарактеристикиНазначениеПолитика присваивания адресов Сеть передачи данных InfiniBand, DDR/QDR Быстрая передача данных между рабочими процессам расчетных задач. Подключение к СХД. Обеспечение работы протокола MPI. Динамически посредством Subnet Manager Системная сеть Ethernet, 10Gb/1Gb Управление кластером. Сбор данных мониторинга работающих Узлов. Подключение Узлов к серверам СХД посредством протокола NFS. Работа протоколов: DHCP, DDNS, SSH, LDAP и других. Динамически посредством DHCP и DDNS серверов Сервисная сеть Ethernet, 1Gb/100Mbit Подключение к сервисным портам Узлов кластера. Доступ к BMC. Обеспечение функций KVM-over-IP. Подключение к сервисным портам коммутаторов и ИБП. Статически на всех сервисных портах Система хранения данных FibreChannel, 4Gb/8Gb Подключение сервера(ов) хранения данных к дисковому массиву. Осуществляется по WWN-адресам FibreChannel оборудования. Ниже описываются наиболее важные из служб выполняющихся на Управляющем Узле. NTP Сервер времени обеспечивает синхронизацию времени между всеми Узлами и УУ. Узлы получают точное время от УУ, который в свою очередь синхронизируется с серверами точного времени в Интернет. Синхронизированное время между всеми Узлами Кластера является необходимым условием для работы многих служб и протоколов, например службы диспетчеризации заданий. Также синхронизация обязательна при поиске неисправностей и анализа системных журналов. LDAP Служба каталогов является централизованным хранилищем пользовательской информации и системной информации. Например: имена для входа, собственные имена сотрудников, пользовательские идентификаторы; имена групп, идентификаторы групп, название и привязка подразделений организации; список общих ресурсов (например домашние каталоги), точки монтирования; списки доступа к команде sudo. В качестве демона используется реализация OpenLDAP. Редактировать ресурсы LDAP можно при помощи консольных утилит (ldapadd, ldapdelete, ldap_modify, ldapsearch и подобных), а также при помощи графических браузеров. В частности, на УУ по умолчанию предустанавливается WEB-консоль (см. рисунок 1)ЂЂЂ phpldapadmin. Более подробную информацию о сервере каталогов OpenLDAP можно получить на официальном сайте проекта ЂЂЂ Для удобного управления пользователями и группами имеется несколько утилит позволяющих: добавлять пользователей в локальную базу данных и в ldap-дерево, создавать пользовательские папку, генерирует ssh-ключи. DHCP+Dynamic DNS Связка этих двух служб является основополагающей для функционирования сетевой инфраструктуры. Сервис DHCP распределяет свободные IP адреса между узлами и выдает уникальное имя Узлу в соответствии с правилами их именования. Выданный IP адрес и имя передается сервису Dynamic DNS и в дальнейшем с Узлом можно работать по удобно читаемому адресу (например c25.ccluster.) На узлы устанавливается универсальный набор ПО настройки которого определяются только его доменным именем. Таким образом, при правильно функционирующих этих двух служб добавление дополнительного узла кластера состоит из двух простых шагов: развертывание стандартного образа с ПО (обычно осуществляется через сервисную сеть); внесение информации о mac-адресе Узла в конфигурационный файл DHCP. Общий мониторинг системы Мониторинг кластера осуществляется при помощи системы Ganglia специально разработанной для наблюдения именно за ресурсами GRID-систем и кластеров. Это ПО характеризуется следующими основными возможностями: мониторингом систем из нескольких тысяч узлов; построением иерархической структуры мониторинга; малой загрузкой сетевого оборудования за счет передачи данных в широковещательном режиме (multicast); небольшими требованиями к хранилищу данных (благодаря использованию формата данных ЂЂЂ RRD ЂЂЂ Round-robin Database, Кольцевая база данных). Мониторинг отдельных узлов Наблюдение за конкретным Узлом осуществляется при помощи сервисной сети к которой подключены BMC Узлов. Непосредственный доступ к BMC осуществляется через стандартный WEB-браузер. На рисунках 3 и 4 представлен пример мониторинга аппаратных сенсоров платформы (частота вращения вентиляторов, температура, вольтаж и т.д.) и доступ к KVM соответственно (BMC ). Дополнительно в ОС осуществляется перенаправление сообщений от BMC в стандартный лог-файл (syslog). Более подробную информацию о BMC и возможностях сервисных сетей на их основе можно почерпнуть в статьях и . Вид окна с KVMoIP. NFS Обеспечивает файловый доступ к ресурсам СХД, которые предоставлены для узлов/пользователей. По умолчанию доступ осуществляется по протоколу IPv4 через Системную сеть. Возможно переключение работы сервера и клиентов NFS на протокол RDMA использующий InfiniBand оборудование Сети передачи данных. GFS Global File System распределенная файловая система используемая вместо NFS в случае если Кластер использует сеть хранения данных и выделенные дисковые хранилища. SSH Служба обеспечивающая работу протокола SSH используемого для безопасного доступа пользователей из вне на Управляющий Узел, а в случае необходимости на Узлы Кластера. Последнее, может быть необходимо для запуска параллельных программ в ручном режиме, отладке. Организован беспарольный доступ к Узлам при помощи открытых и закрытых ssh ключей. Эти ключи уникальны для каждого пользователя и генерируются при создании пользователя. Также, протокол SSH является основным механизмом доступа пользователей на Управляющий Узел. FTP FTP предназначен для простой передачи файлов с клиентских машин на сервер. Сервис vsftpd обеспечивает работу этого протокола на кластере. vsftpd настроен таким образом, что каждый пользователь подключаясь по этому протоколу под своим логином/паролем попадает в домашнюю каталог. Subnet Manager Стандартная служба управляющая InfiniBand Фабрикой. По умолчанию SM запущен на УУ. При необходимости или изучении может быть запущен на любом Узле подключенном к Сети передачи данных. Система диспетчеризации В случае необходимости организации конкурентного доступа к вычислительным ресурсам кластера устанавливается менеджер ресурсов TorquePBS. Этот менеджер является свободно распространяемым программным обеспечением и позволяет организовывать пулы ресурсов, очереди доступа к ним, задавать различные политики и алгоритмы доступа. Андрей Сапронов, asapronov@etegro.com Архитектура кластеровSyncsort Backup ExpressУдаление данных с дисковПолнодисковое шифрованиеШифрование каналаШифрование EthernetMulti-Path Input/OutputEthernet bondingНебезопасность текстовых протоколов