Сервер THEOR

Введение

Конец 2004 г, успехи компании Intel в развитии архитектуры процессоров x86 продолжают теснить конкурирующие RISC (Sun SPARC, IBM Power) процессоры в секторе серверов начального уровня. Линия процессоров Alpha, права на разработку которого многократно перепродавались, более не развивается. Компания AMD, даже выпустив замечательный 64-разрядный Athlon, не в состоянии полноценно конкурировать с Intel на рынке серверов. Intel продвигает свой новый 64-бит процессор Itanium продолжая, тем не менее, развитие линии 32-бит процессоров. На сегодня 32-бит процессоры от Intel имеют самые высокие тактовые частоты и являются наилучшими по соотношению цена/производительность. Новые системные наборы микросхем (chipsets), разработанные Intel, позволили увеличить скорость обмена с памятью до 6.4 GB/sec за счёт использования двух каналов обмена с DDR памятью. Эта технология оказалась настолько удачной, что сегодня используется не только на серверах, но практически на всех современных настольных компьютерах. Это не значит, что сегодня серверы начального уровня совсем мало отличаются от настольных ПК. Используемые в серверах процессоры Xeon, шина PCI-X (64 бит, тактовая частота 133 MHz вместо 32 бит и 33 MHz у PCI шины в ПК), PCI-Express, память с исправлением ошибок, высоконадёжные, дублированные системы электропитания и охлаждения, супербыстрые SCSI и Gigabit Ethernet контроллеры, множество отсеков для дисковых накопителей SCSI с возможностью "горячей" замены всё же выделяют серверы в совершенно другой класс компьютеров. Несмотря на отличную оснащённость и высокую производительность серверы на процессорах Intel характеризуются невысокой стоимостью, что выгодно отличает их от изделий конкурентов.

Вниманию пользователей ЛТФ предлагается новый сервер на двух процессорах Intel Xeon 3.2 GHz, работающий под управлением ОС Linux. Этот сервер является новым базовым сервером для Unix кластера ЛТФ. На сервере размещены домашние директории и почтовые ящики пользователей, WWW-сервер ЛТФ, перенесённые со старого серверa THSUN1. Почтовый адрес пользователей username@theor.jinr.ru. "Старый" адрес username@thsun1.jinr.ru остаётся действительным, письма будут приходить на новый сервер в единый почтовый ящик.

Стоит сказать, что прежний базовый сервер ЛТФ THSUN1 находился в строю с 1994 г. и проработал 16 лет до 2010 г. практически без остановок! За это время было проведено несколько очень дорогостоящих модернизаций с заменой и установкой дополнительных системных плат, процессоров, памяти, контроллеров, дисков. Дальнейшая модернизация либо технически невозможна, либо экономически нецелесообразна. Выпускаемые компанией Sun Microsystems новые версии операционной системы Solaris более не поддерживают устаревшую архитектуру THSUN1.

Аппаратное обеспечение

В компьютере 'theor' (модель Supermicro 7044H-82RB) установлены два процессора Pentium 4 Xeon Nocona, работающие на частоте 3.2 GHz. Каждый процессор оснащён кэш-памятью второго уровня объемом 1 MB. Основой компьютера является системная плата Supermicro X6DH8-G2, построенная на наборе микросхем Intel E7520. На системной плате имеются встроенные Ultra-320 SCSI PCI-X двухканальный контроллер Adaptec AIC7902, двухпортовый сетевой адаптер Gigabit Ethernet Intel(R) PRO/1000 (i82546GB), 2 SATA контроллера. 'Theor' укомплектован оперативной памятью типа DDR2, 5-ю жесткими дисками SCSI и 2-мя жёсткими дисками SATA. Смонтирован компьютер 'theor' в корпусе SC743S1-R760 высотой 4U, предназначенном для монтажа в 19-ти дюймовую стойку. Корпус компьютера имеет отсеки для установки до 8 жёстких дисков SCSI и до 3 дисков Serial ATA ( все hot-swap). Для обеспечения бесперебойной работы компьютер оснащён тройным источником питания суммарной мощностью 760W. Поставку сервера осуществила московская фирма "True System".

Обновление 2008 г. : Оперативная память расширена до 8GB. Файловая система для домашних директорий расширена до 300 ГБ с использованием 2-х 300 ГБ SCSI дисков Fujitsu в конфигурации RAID1.

Обновление 2010 г. : Файловая система /data/theor расширена до 500 ГБ (в конфигурации RAID1) и создана файловая система для временного хранения /scratch (в конфигурации RAID0) ёмкостью 500 ГБ с использованием 2-х 750 ГБ SATA дисков Seagate ST3750330.

Обновление 2012 г. : Файловая система /home расширена до 600 ГБ (в конфигурации RAID1) с применением 2-ух SAS дисков формата 2.5" Toshiba MBF260LRC.

Обновление 2013 г. : Файловая система /home расширена до 1200 ГБ (в конфигурации RAID10) с применением 4-х SAS дисков формата 2.5" Toshiba.

Программное обеспечение

Компьютер 'theor' работает под управлением ОС Linux Debian 7 (Wheezy). Для получения справки по командам Linux следует использовать команду 'man command_name' на компьютере 'theor'. Некоторые программные пакеты (gfortran, gcc, reduce и др.) сопровождаются документацией, к которой можно обратится командой 'info', например 'info gfortran'.

"+" в колонке "X11" показывает необходимость системы X-Window для работы программы, "+/-" означает, что программа может работать, как в чисто текстовом режиме, так и в системе X-Window.

По просьбе пользователей может быть установлено любое необходимое программное обеспечение из широкого набора бесплатного ПО для Linux.

Fortran Для пользователей, желающих программировать на Fortran, компания Intel разработала версию компилятора для архитектуры Linux/Intel. Компилятор поддерживает стандарты Fortran-77, -90, -95. Вызывается компилятор командой 'ifort' (Intel Fortran Compiler). Рекомендуется использовать опцию оптимизации '-O2'. Краткую справку по опциям командной строки можно получить по команде 'ifort -help'. Руководство пользователя I, II и другую полезную документацию по данному компилятору Fortran можно найти в каталоге http://thproxy.jinr.ru/pub/doc/fortran/intel/linux/. Дополнительную полезную информацию можно поискать на Web-страницах Intel Fortran Compiler, Intel Fortran Compiler Documentation Fortran Manuals.

GNU компиляторы Fortran77(g77), С(gcc) и С++ (g++) Для достижения максимальной производительности программ рекомендуется при компиляции, кроме общих флагов оптимизации '-O' или '-O2', использовать флаг '-mcpu=i686'.
Описание библиотеки libstdc++: v3 Source Documentation

Form v. 3 на 'theor' для 32-разрядных процессоров Intel и идентичен тому, что установлен на 'unamp' и 'up4m'. В процессе работы Form интенсивно использует чтение-запись во временные файлы, поэтому, чтобы не замедлять работу программы и не перегружать сеть, следует либо запускать Form на 'theor' на локальном диске в подкаталогах каталога /data/theor, либо задавать каталог для временных файлов /tmp с помощью ключа '-t /tmp' или в файле установок, например, form.set с помощью строки 'tempdir /tmp'. На файл установок должна указывать переменная FORMSETUP. Задать свой файл установок можно либо устанавливая значение этой переменной командой 'setenv FORMSETUP form.set', либо указывая имя файла в командной строке после ключа '-s'. Следует обратить внимание на то, что синтаксис языка Form в версии 3 несколько изменился по сравнению с версией 2, для преобразования прежних программ в новый вид можно использовать утилиту 'conv2to3'.

Reduce Free CSL - 32-bit. Все 32-разрядные версии Reduce из-за используемой модели памяти имеют характерное ограничение в 128 МБайт для использования в вычислениях. По умолчанию скрипт /usr/local/bin/reduce задаёт максимальный объём используемой памяти равный 16 МБайт. Для увеличения этого объёма вплоть до предела в 128 МБ следует запускать Reduce другим скриптом, указав в командной строке запуска 'bpsl' после ключа '-td' необходимый объём в байтах. Задачи, требующие для решения более 128 МБ памяти, можно запускать на других серверах ЛТФ, которые все работают под управлением 64-bit Linux.

Производительность (на 2004 г.)

Благодаря высокой тактовой частоте процессоры Pentium 4, установленные в компьютере 'theor', потенциально обладают хорошей пиковой производительностью. Однако, для достижения этой пиковой производительности вычислительные конвейеры процессора должны быть загружены на 100%, что далеко не всегда достигается при решении реальных задач. Такие детали архитектуры процессора, как эффективнось и объём кэш-памяти, эффективность предсказания ветвлений, задержки (латентность) в работе подсистем процессора зачастую являются определяющими для быстродействия при решении широкого класса задач. По этой причине процессор Pentium 4 иногда может уступать в производительности своему конкурентам - процессорам Athlon и Opteron, даже если те работают на более низкой частоте. Для некоторых задач наиболее узким местом становится производительность основной памяти (RAM). Для таких задач компьютер 'theor' располагает двухканальной подсистемой памяти использующей модули типа DDR RAM с тактовой частотой 400 MHz (PC3200) c суммарной пиковой полосой пропускания 6.4 GByte/sec.

Примечания:
Тесты на Fortran, C и C++ проводились с двойной точностью.
Использовался Intel Fortran 6.0 для Linux/x86.
См. также график результатов теста Linpack
См. также описания более новых компьютеров: Theor2, i7X/K, DXCore, i7A/B.

Доступ пользователей

Все пользователи, зарегистрированные на Unix кластере ЛТФ, автоматически получают доступ к новому компьютеру 'theor'. Для входа на 'theor' можно воспользоваться telnet (в пределах сети ОИЯИ) или ssh из любого места в Интернет. Через 'theor пользователи, находящиеся за пределами сети ОИЯИ, могут войти на любые серверы Linux кластера ЛТФ с помощью команды 'rlogin host_name'. В локальной сети можно и иначе, сначала войти на любую машину кластера ЛТФ, затем набрать команду 'rlogin theor', пароль для входа на 'theor' при этом не требуется. Если вы используете систему X-Window, то вместо 'rlogin theor' удобнее воспользоваться командой 'xon theor', при этом на 'theor' запустится программа 'xterm', которая создаст новое окно, в котором вы окажетесь уже на компьютере 'theor'.

Дисковое пространство

Домашние директории пользователей едины для всего кластера Unix ЛТФ и физически размещены именно на компьютере 'theor' на файловой системе /home. Квота по умолчанию (при создании нового эккаунта) на этой файловой системе составляет 2 ГБ и без вопросов может быть увеличена до 5 ГБ, дальнейшее увеличение квоты может потребовать обоснования и проверки рациональности уже использованого пространства. Например, хранение в /home архивов программ для ПК не приветствуется, но для этого можно использовать /data/theor.

По просьбе пользователя, ранее созданные эккаунты с меньшими квотами могут получить такой же лимит, как новые.

Файловая система /var/mail, предназначенная для хранения входящей электронной почты, также имеет квоты, по умолчанию - 200 МБ, для конференций возможна установка более высокого значения. Пользователи должны самостоятельно заботиться о соблюдении квоты, удаляя ненужные сообщения или сохраняя их в домашней директории или других местах. В случае превышения квоты в /var/mail длительностью более 6 дней электронная почта перестанет приходить на адрес пользователя.

Проверить текущее состояние своей дисковой квоты можно на 'theor' с помощью команды 'quota', например:

theor:> quota -vs
Disk quotas for user guest (uid 7999): 
     Filesystem  blocks   quota   limit   grace   files   quota   limit   grace
       /dev/md0   27984    196M    293M             800    5000    6000        
      /dev/sdd1     452   60000    118M               1      10      20        
      /dev/sdf1       0   1954M   2930M               0   20000   30000

Для работы на 'theor' с программами требующими больших объёмов вводa/выводa данных из файлов выделено пространство на локальном диске в директории /data/theor/users. Эта файловая система доступна на других компьютерах кластера в директории /data/theor. Разрешается хранение в '/data/theor' данных, не связанных непосредственно с вычислениями, в пределах отведённой квоты - по умолчанию она составляет 5 ГБ. Для кратковременного хранения файлов предназначена файловые системы /scratch и /week. Следут иметь ввиду, что, файлы хранящиеся на /week, будут автоматически удаляться через неделю.

Пользователям запрещается использовать для хранения своих файлов директории /tmp, /var/tmp. Директории типа /tmp предназначены только для системных целей и временных файлов, создаваемых программным обеспечением в процессе работы. Использование этих директорий для хранения файлов может привести к исчерпанию ограниченного ресурса и нарушению работы сервера! Файлы, преднамеренно размещённые пользователями в этих директориях, будут удаляться без предупреждения!

Источники информации

• Intel Corporation,
• Сайт Intel на русском языке
• Hyper-Threading Technology for Servers
• Системная плата для серверов X6DH8-G2
• Intel's Nocona Xeon / Supermicro SuperServer 7044A-82R
• Системный набор микросхем Intel E7520
• Процессор для серверов Intel Xeon
• 64-bit Intel Xeon Processor
• Workstation platform comparison: Opteron, Xeon, Pentium 4, and Athlon
• Intel's Pentium 4 3.06GHz processor with Hyper-Threading
• Intel's Pentium 4 570J 3.8GHz processor
• 64-bit computing in theory and practice: AMD and Intel make the leap to 64 bits
• Linux 2.6 and Hyper-Threading
• Intel Compilers,
• Intel Software Development Products,
• Debian Project,
• GNU Project,
• GCC Home Page,
• GNU Manuals Online
• The Reduce Computer Algebra System,
• Mathematica,
• Программа Form,
• "True System" г. Москва

Компьютерная группа ЛТФ

18 февраля 2004 г.

Дата обновления: 2014-04-10 17:29:08