Серверы OPTERON1 и OPTERON2

Введение

Opteron - это название процессоров компании Advanced Microdevices (AMD) предназначенных для многопроцессорных серверов. Opteron представляет собой развитие удачной линии процессоров Athlon, но, в отличие от ранних 32-бит моделей, является 64-бит процессором обеспечивающим выполнение как 64-бит так и 32-бит программ. При наличии поддержки со стороны ядра операционной системы и при наличии соответствующего компилятора 64-бит программы могут использовать для работы более 4 ГБайт оперативной памяти. Как и Athlon процессор Opteron выполняет в среднем за такт больше операций, чем современные процессоры Intel, поэтому процессоры от AMD часто превосходят по производительности процессоры Intel с полуторакратно большей тактовой частотой. Для обмена с памятью Opteron имеет встроенный контроллер памяти и шину HyperTransport с высокой пропускной способностью, что позволяет реализовать в серверах архитектуру независимого доступа к памяти (NUMA). При наличии поддержки NUMA на уровне ядра операционной системы возможен выигрыш в производительности за счёт снижения конкуренции нескольких процессоров за доступ к памяти. В рамках проекта Opteron вниманию пользователей ЛТФ предлагается первый в Лаборатории компьютер архитектуры AMD64 работающий под управлением ОС Linux (Debian).

Аппаратное обеспечение

В компьютере 'opteron1' установлены два процессора Opteron 248 работающие на частоте 2.2 GHz. Каждый процессор оснащен кэш-памятью второго уровня объемом 1 MB. 'Opteron1' укомплектован 8 GB оперативной памяти типа DDR3200, 36 GB Ultra320 SCSI жестким диском Seagate ST336753LC, двумя сетевыми адаптерами Gigabit Ethernet. Основу компьютера 'opteron1' составляют корпус RM-411 высотой 4U, предназначенный для монтажа в 19-ти дюймовую стойку, и системная плата Tyan Thunder K8 (S2882GN), использующая набор микросхем AMD 8131. Сборка компьютера - московской фирмы "Интегральные технологии".

Компьютер 'Opteron2' идентичен 'Opteron1' за исключением объёма установленной оперативной памяти - 10 GB.

Программное обеспечение

Компьютер 'opteron1(2)' работает под управлением 64-бит ОС Linux, аналогичной по системе команд 32-бит ОС Linux, установленой на других серверах ЛТФ, кроме компьютеров Sun Microsystems, которые оснащены ОС Solaris близкой Linux по системе команд. На Opteron1(2) установлена полностью 64-разрядная версия Linux - Debian 4. Это означает, что все приложения и библиотеки скомпилированны в 64-разрядном варианте. Тем не менее на Opteron1(2) поддерживаются 32-разрядные приложения с помощью ограниченного набора 32-бит библиотек. Оба компьютера безусловно поддерживают, как 32-бит, так и 64-бит приложения, собранные статически (Reduce, Form, например).

Следует обратить внимание пользователей на то, что в силу фундаментальных различий между процессорами Opteron (разновидность Intel-архитектуры), процессорами Alpha и процессорами SPARC (на машинах Sun), транслированные программы в машинных кодах (исполняемые файлы, а так же объектные модули и библиотеки) можно использовать только на том процессоре, для которого они предназначены. Отличить файлы с машинными кодами для разных архитектур можно командой 'file program_file_name' . На приведенном ниже примере, видно различие в типах файлов содержащих исполняемый код для команды 'diff' на трёх разных машинах:

thsun1:> file /usr/bin/diff
/usr/bin/diff: ELF 32-bit MSB executable SPARC Version 1, dynamically linked, stripped

unas1:> file /usr/bin/diff
/usr/bin/diff: ELF 64-bit LSB executable, Alpha (unofficial), version 1, dynamically linked (uses shared libs), stripped

opteron1:> file /usr/bin/diff
/usr/bin/diff: ELF 64-bit LSB executable, AMD x86-64, version 1 (SYSV), for GNU/Linux 2.6.0, dynamically linked (uses shared libs), for GNU/Linux 2.6.0, stripped

В противоположность программам в машинных кодах, одни и те же файлы с текстовыми сценариями (scripts) для командных процессоров sh, bash, csh, tcsh, как правило, одинаково работают, как под Solaris, так и под Linux. Это утверждение справедливо и для сценариев языка Perl, а, с некоторыми оговорками, для AWK и MAKE (одинаково ведут себя GNU AWK 'gawk' и GNU MAKE 'gmake').

"+" в колонке "X11" показывает необходимость системы X-Window для работы программы,
"+/-" означает, что программа может работать, как в системе X-Window, так и в текстовом режиме.

Fortran Процессор Opteron обеспечивает очень высокую производительность для тех, кому необходимы вычисления с плавающей точкой. Для пользователей, желающих программировать на Fortran, возможно использовать компилятор от компании Intel, поскольку базовый набор инструкций процессора Opteron тот же, что у процессоров Intel. Компилятор поддерживает стандарты Fortran-77, -90, -95. Вызывается компилятор командой 'ifort' (Intel Fortran). Рекомендуется использовать флаг оптимизации '-O'. Краткую справку по опциям командной строки можно получить по команде 'ifort -help'.Документацию по Intel Fortran можно найти на Web-страницах: "Intel(R) Fortran Compiler Documentation",   "Intel(R) Fortran Compiler for Linux - Top Technical Issues",   Intel(R) Fortran Compiler for Linux Product Manuals.

Oracle Solaris Studio: документация, Oracle Technology Network

GNU компиляторы С(gcc) и С++ (g++) Для достижения максимальной производительности программ рекомендуется при компиляции, кроме общих флагов оптимизации (-O2 или -O3, например), использовать флаг '-mtune=opteron', указывающий на конкретную архитектуру процессора. Оптимизация под Pentium 4 ( -mtune=pentium4) также должна давать неплохой эффект.

Form v. 3.1 Версия Form для Opteron специально скомпиллирована для 64-разрядного режима и превосходит по скорости версию для 32-бит процессоров Intel. В процессе работы Form интенсивно использует чтение-запись во временные файлы, поэтому, чтобы не замедлять работу программы и не перегружать сеть, следует либо запускать Form на 'opteron1(2)' на локальном диске в подкаталогах каталога /data/opteron1(2), либо задавать каталог для временных файлов /tmp с помощью ключа '-t /tmp' или в файле установок, например, form.set с помощью строки 'tempdir /tmp'. На файл установок указывает переменная FORMSETUP. Задать свой файл установок можно либо задавая значение этой переменной командой 'setenv FORMSETUP form.set', либо указывая имя файла в командной строке после ключа '-s'.

Следует обратить внимание, на то, что синтаксис языка Form в версии 3 несколько изменился. Для преобразования прежних программ в формат версии 3 можно воспользоваться утилитой 'conv2to3'.

Reduce v. 3.8 Reduce на Opteron1(2) - 64-разрядный, способен адресовать более 4 GB памяти (для 32-бит Reduce предел - 128 MB). Если есть необходимость, то 32-разрядный вариант Reduce 3.8 можно запустить командой 'reduce32bit'. Opteron1(2) можно рекомедовать, как весьма быструю вычислительную систему для расчётов на Reduce, уступающую только новому DXCore.

Производительность

1) См. полный график результатов теста Linpack
2) Intel Fortran ver. 10 для 64-bit Linux-amd64
3) Intel Fortran для 32-bit Linux/x86 ver. 5 (опции -O2 -tpp6)
4) Mathematica 5.2 64-bit на Opteron1/2 и Mathematica 4 32-bit на остальных компьютерах

Тесты на Fortran, C и C++ проводились для вычислений с двойной точностью.
Более новые компьютеры, не вошедшие в таблицу: DXCore.

Доступ пользователей

Все пользователи, зарегистрированные на Unix кластере ЛТФ, автоматически получают доступ к компьютеру 'opteron1(2)'. Для входа на 'opteron1' можно воспользоваться telnet (в пределах сети ЛТФ) или ssh (в пределах сети ОИЯИ). С любой машины Unix кластера ЛТФ можно войти на 'opteron1(2)' набрав команду 'rlogin opteron1(2)', пароль для входа на 'opteron1(2)' при этом не требуется. Если вы используете систему X-Window, то вместо 'rlogin opteron1(2)' удобнее воспользоваться командой 'xon opteron1(2)', при этом на 'opteron1(2)' запустится программа 'xterm', которая создаст новое окно, в котором будет открыта интерактивная сессия на компьютере 'opteron1(2)'. Домашние директории пользователей на 'opteron1(2)' те же, что для всего кластера ЛТФ.

Для работы на 'opteron1(2)' с программами интенсивно использующими ввод/вывод данных из файлов выделено пространство на локальном диске в директории /data/opteron1(2)/users. Этот диск доступен также на других серверах ЛТФ в директории /data/opteron1(2)/users. Хранение в '/data/opteron1(2)/users' данных, не связанных непосредственно с вычислениями на 'opteron1(2)', не допускается.

Источники информации

• Advanced Microdevices, Inc.
• AMD64 Solutions
  
• AMD Opteron FAQs
• AMD Core Math Library (ACML)
• CPU decoder ring
• Processor Electrical Specifications
• Tyan Computer Corporation
• Recommended Processors Socket A / Slot A / Socket 940
• Intel Compilers
• 64-bit computing in theory and practice: AMD and Intel make the leap to 64 bits
• The Joy of 64-Bit Fortran,
• Битва титанов: Opteron против Xeon,
• SPEC CPU2000. Part 22: Intel C++/Fortran Compiler 9.0, 64-bit Code
• Debian Project
• Debian -- AMD64 Port
• GNU Project
• The Reduce Computer Algebra System
• Mathematica
• Программа Form
• Free Pascal - Advanced open source Pascal compiler for Pascal and Object Pascal
• Lazarus Project
• Free Pascal - Информационный портал для разработчиков

Компьютерная группа ЛТФ

25  июля 2005 г.

Дата обновления: 2014-04-10 17:55:15