Как Amazon Web Services планирует сделать сетевые технологии невидимыми

В невзрачном трехэтажном офисном здании в Купертино, штат Калифорния, инженеры Amazon Web Services (AWS) активно работают над тем, чтобы сделать сетевые технологии незаметными для пользователей. Они трудятся в закрытых аппаратных лабораториях, расположенных в центре здания, окруженных офисными кабинетами с видом на немногочисленные парковочные места и зеленую зону.

Их последний проект, детали которого ранее не разглашались, призван привлечь внимание, но амбиции AWS в области сетевых технологий отличаются от чисто рекламных целей. «Сеть должна быть как выключатель света — она просто должна работать», — заявил Мэтт Редер, вице-президент по основным сетевым технологиям в AWS, во время экскурсии по лаборатории компании в конце апреля.

«В конечном итоге, никто не заботится о сети. Она выполняет свою функцию. О ней вспоминают только тогда, когда она ломается. В остальное время хочется, чтобы она не мешала. Это наша модель мышления на протяжении последних 15 лет: как сделать сеть незаметной?»

Проблемы сетевой инфраструктуры

Сетевая инфраструктура AWS была «сломана» с 2010 года, по крайней мере, с точки зрения бизнеса. Как отметил Джеймс Гамильтон, старший вице-президент и выдающийся инженер Amazon, в своей презентации «Сети центров обработки данных мне мешают».

«Это было в самом начале развития облачных технологий, — пояснил Редер. — Но даже тогда, при наблюдаемом росте пропускной способности, было очевидно, что существующие методы построения сетей не смогут масштабироваться в будущем, и необходимо принципиально новое решение». Гамильтон критиковал вертикально интегрированный сетевой стек, который замедлял инновации и поддерживал высокую маржу для производителей сетевого оборудования. Он сравнил это с бизнес-моделью мейнфреймов и выразил предпочтение модели бизнеса серверов, где существует конкуренция и активно используется открытое программное обеспечение.

Собственные разработки AWS

Сетевая инфраструктура AWS, как пояснил Редер, состоит из трех основных типов оборудования: сетевых устройств (коммутаторов и маршрутизаторов) на базе специализированных интегральных микросхем (ASIC), перенаправляющих данные между портами; оптических трансиверов, передающих и принимающих световые сигналы с помощью лазера; а также кабелей, которые могут быть оптоволоконными или медными.

Полтора десятилетия назад, когда AWS только формировалась, компания приняла решение взять под свой контроль сетевые технологии. «Это настолько фундаментально для того, что мы строим, — отметил Редер. — Поэтому мы решили начать разрабатывать собственное аппаратное и программное обеспечение». Компания начинала с малого, сотрудничая со сторонними разработчиками сетевых устройств, постепенно совершенствуя свои решения, пока собственная технология не охватила все ее центры обработки данных, основную и пограничную сети.

Унифицированный подход к ASIC

Уникальность подхода AWS, по словам Редера, заключается в том, что другие поставщики сетевых услуг обычно используют разные типы коммутационных ASIC для агрегационной, основной и пограничной сетей, поскольку у каждой из них свои требования к памяти, производительности и пропускной способности. «Они бы все использовали разные чипы для разных коммутаторов. Мы же используем один для всего».

Причина, по его словам, — простота. «Если у вас есть одна технология, и вы вкладываете все усилия в ее совершенствование, вы сосредоточиваете всю свою энергию на создании сверхнадежного аппаратного и программного обеспечения, — объяснил Редер. — Это также помогает нам масштабировать сеть, поскольку при управлении цепочкой поставок или планировании расширения нам не приходится балансировать между множеством конкурирующих SKU (единиц складского учета)». При этом такой подход создает определенные сложности, признал он.

«Есть веская причина, по которой используются разные типы коммутационных ASIC — из-за различной функциональности, — пояснил Редер. — И именно здесь на первый план выходит контроль над собственным программным обеспечением. Мы фактически смогли устранить необходимость в специализированных чипах, разумно используя наше ПО и находя творческие способы максимально упростить аппаратные операции на устройстве, обеспечивая при этом отличную производительность и функциональность для наших клиентов». Коммутаторы оснащены специализированными ASIC для максимальной эффективности маршрутизации пакетов. Эти микросхемы могут перемещать миллионы пакетов в секунду с одного порта на другой, минуя центральный процессор.

Мощность и безопасность NetOS

Таким образом, AWS теперь использует собственное аппаратное обеспечение, работающее под управлением собственного ПО — версии Linux под названием NetOS. Текущий разработанный компанией коммутатор способен передавать 51.2 терабита данных в секунду через 64 порта, каждый из которых работает со скоростью 800 гигабит в секунду. В течение следующих 12 месяцев коммутатор нового поколения обеспечит пропускную способность в 102.4 терабита в секунду через 64 порта, работающих со скоростью 1.6 терабита в секунду каждый.

«Все устройства работают под управлением одной и той же операционной системы, что дает компании значительные преимущества. С точки зрения безопасности это означает, что весь код принадлежит AWS. Компания может сканировать его, исправлять ошибки, а также регулярно устанавливать патчи и обновлять свои устройства».

Точное время и масштабы сети

Владение всей инфраструктурой позволило AWS реализовать сложные задачи. В качестве примера Редер привел сеть высокоточного времени, запущенную AWS несколько лет назад. Для ее работы потребовались уникальные аппаратные и программные решения, интегрированные с серверным чипом Nitro компании. Эта технология, по его словам, позволяет таким приложениям, как высокочастотный трейдинг и распределенные базы данных, работать на больших расстояниях. Реализовать это удалось только благодаря возможности использовать собственные аппаратные и программные средства для создания уникального решения, отвечающего запросам клиентов AWS.

«Более глобальная проблема, которую пытается решить AWS, — это синхронизация всех серверных часов, — заявил Сатиш Вангала, директор по разработке сетевых продуктов в AWS. — Нам пришлось построить выделенную сеть для обеспечения синхронизации времени с микросекундной точностью для всех серверов в нашем центре обработки данных».

Сеть AWS насчитывает около двух миллионов устройств и примерно 50-60 миллионов оптических соединений и трансиверов. В настоящее время она включает около 20 миллионов километров наземного и подводного оптоволокна, чего, по словам Редера, достаточно, чтобы 25 раз протянуть кабель от Земли до Луны и обратно. И это только кабели между зданиями. Если же измерить кабели внутри центров обработки данных, то их количество может быть на порядок выше.

Инновации: половолоконный кабель

Одним из способов улучшения сети AWS стало развертывание половолоконных кабелей. Эта технология существует давно, но только недавно ее производство стало возможным в промышленных масштабах.

В обычных оптоволоконных кабелях световые сигналы проходят через стеклянное волокно. Половолоконный кабель состоит из стеклянной трубки, окружающей воздух или вакуум, что снижает интерференцию и позволяет свету распространяться со скоростью, близкой к его естественному пределу. Результатом является снижение задержки на 30 процентов, что, по словам Редера, является существенным, особенно для размещения центров обработки данных.

Он пояснил, что при создании региона AWS, который, например, имеет три зоны доступности, центры обработки данных должны располагаться близко друг к другу, но не слишком. При последующем расширении задержка между сооружениями ограничивает их размещение — она должна быть достаточно низкой, чтобы клиентские приложения в разных ЦОД в одном регионе работали так, будто они находятся в одном месте. Таким образом, половолоконный кабель расширяет потенциальные ресурсы, доступные для центров обработки данных AWS (с точки зрения земли и электроэнергии), позволяя размещать сооружения в более широком радиусе.

«Половолоконный кабель уже используется в нескольких местах, — заявил Редер. — Он дороже традиционного оптоволокна. Но если это позволяет нам улучшить задержку или лучше обслуживать клиентов, то в общей схеме затрат на центры обработки данных, серверы и сетевые устройства стоимость кабеля является незначительной».

Растущий спрос на пропускную способность и AI

Улучшения сети, такие как внедрение половолоконных кабелей, необходимы, поскольку спрос на пропускную способность постоянно растет. Редер отметил, что потребность в пропускной способности росла на протяжении всей его карьеры, но особенно заметно это стало в последние четыре-пять лет с появлением сервисов генеративного искусственного интеллекта.

«Ускоренные типы серверов обычно требуют в три-четыре раза больше пропускной способности, чем традиционные серверы на базе ЦПУ, — пояснил он. — Мы по-прежнему используем то же аппаратное и программное обеспечение, но упаковываем их по-другому». Чтобы разместить больше серверов с большей пропускной способностью в одной сети центра обработки данных с меньшей задержкой между ними, AWS использует меньше сетевых устройств на пути между двумя серверами.

«Таким образом, сеть UltraCluster позволяет масштабироваться значительно шире, чем другие традиционные сети AWS, — отметил Редер. — Это фактически другая сетевая топология. Вместо семи сетевых устройств на пути между любыми двумя точками используется пять сетевых устройств».

Вызовы масштабирования и надежности

По мере наращивания мощностей и расширения сети AWS масштаб ее операций требовал инноваций. Редер пояснил, что на первый план выходят такие вопросы, как физическая кабельная инфраструктура — количество необходимых разъемов и способы их оптимизации для простоты, скорости развертывания и надежности.

«При работе с оптоволокном это не похоже на подключение кабеля Ethernet, — пояснил Редер. — В оптоволоконной кабельной системе, поскольку вы передаете сигнал, даже если кабель подключен правильно, неплотное прилегание или загрязнение могут исказить сигнал и снизить его надежность. Это серьезная проблема при крупномасштабной работе, когда новейшие технологии находятся на пределе того, что можно чисто передавать и принимать, и все пытаются их внедрить».

«Это большая область нашего внимания — не только создание всех этих мощностей, но и обеспечение их быстрой установки, а затем, после установки, их крайне надежной работы», — добавил он.

Обеспечение качества сигнала

Одним из способов, которым AWS обеспечивает плавность настройки, является использование устройства под названием «светлячок» (firefly) — разъема, немного напоминающего пришельца из классической аркадной игры Space Invaders. Его функция — проверять путь оптоволоконного сигнала, чтобы это не было переменной при добавлении новой конечной точки.

Смотрите также:

Главные релизы на 4K Blu-ray в мае 2026 года http://kupidonchik.org/glavnyie-relizyi-na-4k-blu-ray-v-mae-2026-goda/.

Интересности на тему: Стратегия внедрения агентного ИИ: как добиться успеха и избежать провала бизнеса

Классные советы в статье "Google Pixel 11: первые подробности о будущем флагмане и обновлении камеры" здесь.

«Каждое из этих устройств имеет функцию отправки и приема, — пояснил Редер, — и оно, по сути, зацикливает отправляемый и принимаемый сигнал. Таким образом, когда оптоволокно поступает в центр обработки данных, оно подключается к сетевому коммутатору на другом конце и может отправить сигнал. Если сигнал возвращается обратно, можно быть уверенным, что оптоволоконный путь чист. Поэтому, когда приходит клиент, можно просто подключить его, и все готово к работе».

Когда сеть работает, а это происходит более 99 процентов времени, инженерные решения могут оставаться совершенно незаметными для пользователя.

• Боты используют электронные письма: большинство современных фишинговых кампаний поддерживаются ИИ
• Где купить смартфон не от Apple и не от Google
• Microsoft выпускает первое крупное обновление после обещания Сатьи Наделлы «вернуть поклонников»
• Агент Cursor-Opus уничтожает производственную базу данных стартапа