Сравнение кабельных и сетевых решений для перехода от 40G к 100G в ЦОД

Глобальный интернет-трафик (IP-трафик) в корпоративном и потребительском сегментах растет очень быстрыми темпами. Это обусловлено постоянно растущим числом интернет-пользователей и подключенных устройств, более быстрым беспроводным и проводным широкополосным доступом, использованием высококачественного потокового видео и социальных сетей.

Для поддержки быстрорастущих облачных сервисов по всему миру строятся центры обработки данных (ЦОД), которые предоставляют корпоративным пользователям и частным лицам необходимые вычислительные возможности, а также услуги хранения и доставки контента.

За предыдущие несколько лет рынок ЦОД стал одним из наиболее активных и быстрорастущих сегментов, стимулирующих технические инновации. Операторы стремятся к созданию более быстрой, плотной, крупной, экономически и энергетически эффективной инфраструктуры своих дата-центров, которая обеспечивала бы их масштабируемость, была надежной и отказоустойчивой.

Основываясь на оценках ведущих поставщиков облачных услуг и фирм, занимающихся исследованиями рынка, для каждого двухлетнего цикла можно отметить следующее.

• Глобальный трафик центров обработки данных удваивается.
• Глобальное энергопотребление центров обработки данных удваивается.
• Обновляется аппаратное обеспечение центров обработки данных.

Время для Ethernet 100G

С 2016 года такие ведущие компании в области облачных вычислений, как Amazon, Facebook, Google, Microsoft, Alibaba, Baidu и Tencent (входящие в так называемую «Super 7»), внедряют в своих центрах обработки данных технологию Ethernet 100G. Размеры их гипермасштабируемых ЦОД уже превосходят по размерам несколько футбольных полей, но расширение не останавливается, увеличивая и без того огромное количество серверов и коммутаторов.

План изменения скорости ЦОД

Проведенный журналами Belden и Mission Critical опрос показывает, что более четверти корпоративных центров обработки данных приступили к планированию перевода своих сетей на уровне доступа на технологию 25G, а на уровне агрегации/ядра на технологию 100G.

В гипермасштабируемых ЦОД повсеместное распространение получили серверы 25/50G и порты коммутаторов 100G. Они заменяют ранее использовавшиеся серверы 10G и коммутаторы 40G. При небольших дополнительных затратах подобное изменение скорости повысило общую пропускную способность системы в 2,5 раза.

Согласно прогнозу Dell’Oro Group в 2017 - 2018 годах на поставляемых коммутаторах общее количество портов 100G превысит количество портов 40G. По данным исследовательской компании LightCounting, прогнозируется, что поставки модулей трансиверов и портов коммутаторов 100G в 2017 году вырастут в 10 раз по сравнению с предыдущим годом, скакнув с поставки 50 000 портов в 2015 году до поставки 5 миллионов портов в 2017 году. В дальнейшем, по отраслевым оценкам, в 2018 году начнется поставка портов Ethernet 200G/400G, которая достигнет уровня приблизительно 10 миллионов в период между 2019 и 2021 годами.

В соответствии с недавно проведенным нами в партнерстве с журналом Mission Critical опросом многие корпоративные центры обработки данных начали планирование перехода сетей на уровне доступа на технологию 25G, а на уровне агрегации/ядра на технологию 100G. Некоторые организации уже заглядывают в будущее и присматриваются к технологиям 50G/200G/400G.

Варианты уровня 0 для Ethernet 100G

По мере увеличения скорости в центрах обработки данных для обеспечения качества всё более критичной становится производительность уровня 0 (то есть физического носителя передачи данных).

Как наиболее распространенное и экономически эффективное решение развертывания сетей Ethernet 10G и 40G (4 х 10G) в центрах обработки данных рассматривается многомодовая оптика (многомодовые трансиверы и многомодовые оптические волокна). Многомодовая оптика обеспечивает передачу на расстояние до 400 метров, что удовлетворяет требованиям большинства ЦОД. С другой стороны, для организации соединения между зданиями в основном используются одномодовые оптические системы 10G и 40G.

Развертывание сетей Ethernet 25G и 100G (4 х 25G) с ростом требовательных к пропускной способности центров обработки данных привело к созданию множества технических инноваций и оптимизированных по стоимости продуктов, удовлетворяющих различным топологиям и приложениям дата-центров. Наиболее популярным решением являются модули трансиверов QSFP28, которые позволяют использовать коммутаторы Ethernet с портами 100G (например, коммутатор Top of Rack 32 х 100G). Многие производители также представили модули SFP28, которые позволят серверам поддерживать Ethernet 25G.

Максимальная дальность передачи для мультимодового волокна

За единственным исключением дуплексная и параллельная многомодовая физическая среда (PMD) имеет максимальное расстояние передачи, не превышающее 400 метров. Исключением является 40G-SWDM4, где используется коротковолновое мультиплексирование, а расстояние немного превышает 400 метров по волокну OM5.

Таблица 1: Мультимодовые и одномодовые системы передачи 100G в ЦОД

Предельные расстояния передачи данных для многомодовых и одномодовых линий

Предельное расстояние передачи для многомодового волокна (MMF) ограничивается уровнем потерь в канале трансивера, а так же модальными и хроматическими дисперсиями. Благодаря более высокой эффективности модовой широкополосности (EMB) описанные в стандартах IEEE 802.3 и Fibre Channel новые типы волокон OM4 и OM5 способны увеличить максимальное расстояние передачи. В последнем стандарте ANSI/TIA-568.3-D для прокладки новых кабельных сетей рекомендуется использовать только волокна OM3, OM4 и OM5.

Наиболее популярными кабельными решениями MMF являются дуплексное (например, двухволоконный соединитель LC-дуплекс) и параллельное (например, 8-волоконный или 12-волоконный соединитель MPO).

Одномодовое волокно (SMF), в отличие от многомодового (MMF), имеет практически неограниченную модовую широкополосность, особенно при работе в диапазоне длин волн 1300 нм с нулевой дисперсией, когда дисперсия материала и дисперсия волновода компенсируют друг друга. Как правило, одномодовый лазер имеет гораздо меньшую ширину спектра. Фактическое предельное расстояние не ограничивается различием времен распространения мод (DMD), как в случае многомодовых кабелей (MMF).

Для центров обработки данных и локальных сетей длина одномодовой (SMF) линии в основном ограничивается предельными потерями в канале трансивера. Обратите внимание, что в новейшем стандарте ANSI/TIA-568.3-D для монтажа кабельных сетей в новых помещениях рекомендуется использовать только одномодовые волокна OS2.

Исторически в городских и крупных локальных сетях широко использовались одномодовые трансиверы с расстоянием передачи 10 км (LR). Однако высокая стоимость подобных трансиверов стала фактором, сдерживающим развертывание Ethernet 100G в центрах обработки данных, которое началось в 2015 году с расширением использования облачных систем.

Победителями в ЦОД с облачными технологиями стали предназначенные для развертывания крупных дата-центров, оптимизированные по стоимости одномодовые трансиверы. Это трансиверы CWDM/CLR4 (грубое спектральное мультиплексирование) 100G, обеспечивающие работу на расстоянии до двух километров по паре дуплексных волокон, и PSM4 (параллельные одномодовые), поддерживающие максимальное расстояние передачи 500 метров или 2 км по параллельному оптоволоконному кабелю.

Для обеспечения хорошего баланса между производительностью и стоимостью были разработаны различные типы одномодовых трансиверов. Ниже приводятся наиболее распространенные типы трансиверов, которые были разработаны для обеспечения различного расстояния передачи и предельных потерь в канале в условиях центров обработки данных и локальных сетей:

• LR, LR4, LR8: Дальность действия до 10 км.
• FR, FR4, FR8: Дальность действия до 2 км.
• CWDM4, CLR4: Грубое спектральное мультиплексирование с дальностью до 2 км.
• DR, DR4, PSM4: Дальность действия для центра обработки данных, параллельная одномодовая передача до 500 метров.

Общая стоимость владения (TCO) для оптической линии 100G

Общая стоимость владения (TCO) для оптической линии связи стандарта 100G в значительной мере зависит от используемой архитектуры трансивера и кабельной сети. Кроме того, также различается и стоимость гипермасштабируемых и корпоративных центров обработки данных.

Сравнение стоимости 100G для SMF и MMF

Для центров обработки данных создано множество решений по организации оптических соединений 100G. В то время как одномодовые трансиверы дороже многомодовых, одномодовое волокно дешевле многомодового, и поэтому больше подходит для организации соединений на большие расстояния.

Важно сравнить общую стоимость владения (TCO) оптическими линиями 100G для различных вариантов одномодовых и многомодовых систем. Оценка общей стоимости владения выполнена для одной оптической линии 100G и включает стоимость двух трансиверов и соединяющих их волоконно-оптических кабелей.

Сравнение многомодового и одномодового вариантов оптических соединений

Чем выше скорость и больше расстояния в сети центра обработки данных, тем выше необходимость или предпочтительность использования одномодового волокна. Многомодовые кабели больше подходят для соединений внутри зданий.

• Наиболее экономически эффективной технологией для расстояний менее 100 метров остается многомодовое решение SR4, в котором используются кабели MMF с соединителями MPO-12.

• Для расстояний более 100 метров в новых установках более рентабельны одномодовые решения PSM4 и CWDM4. Запатентованное многомодовое решение SR4 обеспечивает передачу на расстояние до 300 метров для OM4, что позволяет использовать уже имеющиеся многомодовые кабельные системы (например, модернизировать систему eSR4 40G до eSR4 100G).
• Решение BiDi/SWDM 100G является новым для рынка. В сочетании с многомодовым волокном OM5 оно обеспечивает большее расстояние передачи в дуплексных кабельных системах. Благодаря большому рыночному успеху решения BiDi 40G ожидается, что и решение BiDi/SWDM 100G будет конкурентоспособным, так как технология 100G получает все более широкое распространение.

Обратите внимание, что между сегментами гипермасштабируемых центров обработки данных и корпоративных дата-центров существует разница в структуре затрат. Ниже приводятся некоторые из этих различий.

• Гипермаштабируемые центры обработки данных, владельцами которых являются такие облачные компании, как упоминавшиеся выше участники Super 7, обладают очень высокой покупательной способностью. Для получения продукции с собственными спецификациями эти компании тесно сотрудничают с поставщиками. Подобные спецификации могут, например, включать удаление ненужных компонентов, таких как EEPROM (электрически стираемое программируемое постоянное запоминающее устройство), допускать более короткий жизненный цикл в пять лет вместо стандартных для отрасли 25 лет, не требовать диапазон рабочих температур от 0 до 70 градусов Цельсия в соответствии с промышленными стандартами, а допускать более узкий диапазон от 15 до 55 градусов Цельсия.
• Корпоративные центры обработки данных и многие многопользовательские ЦОД, не имеющие сильной технической команды, в вопросе спецификаций трансиверов и кабельной сети следуют новейшим отраслевым стандартам. В результате общая стоимость владения будет выше. Но этот подход имеет также и свои преимущества. К ним можно отнести более быстрое выполнение заказа, поскольку стандартные продукты от проверенных поставщиков доступны без адаптации под конкретного пользователя и не требуют длительных этапов оценки качества. Соответствующие стандартам продукты дают стабильную производительность, что особенно важно для корпоративных дата-центров, все еще требующих рабочей среды с окружающей температурой от 0 до 70 градусов Цельсия. Предпочтительны стандартные и более продолжительные сроки службы продукта, что важно для корпоративных центров обработки данных и мультипользовательских ЦОД, поскольку ожидается, что каждое поколение таких систем будет работать дольше, чем поколение гипермасштабируемых ЦОД.

План перехода к 100G

Для крупных центров обработки данных необходимы одномодовые решения. Многомодовые решения, благодаря своей относительно низкой стоимости и высокой технической осуществимости, преобладают в приложениях, требующих расстояния передачи менее 100 метров. Согласно отчету LightCounting на более чем 50 процентах оптических линий 100G в дата-центров используются модули трансиверов с дальностью действия 500 метров и 2 км, включая PSM4 и CWDM4. Эта тенденция сохранится и в 2019 году при развертывании технологий Ethernet 200G и 400G. Кроме того, согласно информации LightCounting следом за многомодовыми SR4 в 2016 и 2017 годах наиболее поставляемыми оптическими трансиверами 100G стали одномодовые PSM4 и CWDM4.

Архитектура гипермасштабируемого ЦОД

В гипермасштабируемых центрах обработки данных в 2016 году нормой была скорость 100G для уровня ядра, маршрутизирующих коммутаторов и коммутаторов доступа, и скорость 25G для коммутаторов ToR. В 2018 году скорость для уровня ядра и маршрутизирующих коммутаторов растет до 400G, для коммутаторов доступа до 200/400G, а для коммутаторов ToR до 50/100G.

100G для гипермасштабируемых ЦОД

В отличие от традиционных центров обработки данных, где используется трехуровневая архитектура (доступ, агрегация, ядро), в современных гипермасштабируемых центрах ЦОД используется архитектура Leaf – Spine (коммутаторы доступа и маршрутизирующие коммутаторы), требующая огромного количества перекрестных соединений для поддержки высокой доступности системы посредством виртуализации сетевых функций (NFV). Преобладающим решением для соединений серверов с коммутаторами Top-of-Rack на расстоянии до 5 метров являются прямые медные подключения. Поскольку большинство новых гипермасштабируемых центров обработки данных устанавливаются с нуля, для каналов уровня выше Top of Rack широко используется одномодовая оптика, поддерживающая высокую масштабируемость системы и обеспечивающая передачу данных на большее расстояние.

Для обеспечения более гибкой архитектуры с более протяженными каналами фактическим решением для крупных центров обработки данных стала одномодовая оптоволоконная инфраструктура. Стандартные же многомодовые трансиверы (например, 1000Base-SR4) и многомодовый оптоволоконный кабель имеют относительно меньшее расстояние передачи. Они способны обеспечить передачу на расстояние от 100 до 300 метров.

Технология 100G в корпоративных ЦОД

Хотя технология 40G способна удовлетворить насущные потребности большинства корпоративных центров обработки данных, многие организации ищут экономичный и перспективный путь перехода к скоростям 100G и выше. Учитывая историческое преобладание многомодовых (MMF) технологий в ЦОД, а также ценовое преимущество многомодовых трансиверов, многомодовые оптоволоконные кабельные системы в течение длительного времени будут оставаться самым популярным кабельным решением для корпоративных дата-центров.

Девяносто процентов многомодовых оптоволоконных линий в центрах обработки данных имеют длину менее 100 метров. Поэтому многие из уже существующих кабельных систем MMF можно использовать для перехода на более высокие скорости, не сокращая длину линий. Кроме того, разработаны новые многомодовые трансиверы, обладающие обратной совместимостью с уже установленными кабельными системами OM3 и OM4.

Поставщики многомодовых трансиверов уже продемонстрировали продукты, которые способны поддерживать Ethernet до 400G на вновь развертываемых оптоволоконных кабельных системах. В частности, эти трансиверы обладают новой многообещающей технологией, позволяющей поддерживать несколько длин волн в одном и том же потоке MMF (то есть использовать коротковолновое мультиплексирование).

Когда к следующему циклу обновления современные новые установки перейдут в разряд «уже имеющихся», установленная базовая инфраструктура MMF продолжит поддерживать плавный рост пропускной способности.

Тестирование транспортных сетей на скорости до 100 Гбит/с

Чем сегодня можно протестировать транспортные сети на скорости до 100Гбит/с при их строительстве, приемке и последующей эксплуатации? Выбор небольшой.

Одним популярных решений является анализатор VIAVI MTS-5800-100G. Прибор представляет собой платформу с двумя независимыми портами до 100 Гбит/с каждый. Он поддерживает все существующие технологии и имеет возможность тестировать сети на скорости от E1 до 100Гбит/с благодаря большому количеству встроенных портов и сменных трансиверов - SFP/SFP+/SFP28 и QSFP+/QSFP28/CFP4. Широкий список опций, включающий самодиагностику оптических трансиверов, скорость Ethernet потока, захват и декодирование трафика, проверка OTN, позволяет тестировать сети быстрее и тщательнее, чем когда либо ранее.

Автор: Qing Xu, Belden

Почему чистка оптических коннекторов – самая важная часть работы с оптоволокном?

Тестирование оптических кабелей с коннектором MPO: полное руководство!

Современный подход к сертификации оптических трактов в ЦОД по уровню 2 (Tier 2)