PlanetLab - шаг к Интернет будущего. Интервью с компанией Intel

Вступление

Что будет с Интернет в ближайшем будущем? А что - в долгосрочной перспективе? Аналитики дают противоречивые прогнозы: от полного провала или уничтожения "червями" до великолепного расцвета и нового поля для бизнеса. Как бы то ни было, у того Интернета, что мы сейчас знаем, есть проблемы. И их - немало...

Проблемы современного Интернет. Как может помочь PlanetLab?

Интернет существует более 30 лет. За это время он достиг таких масштабов, о которых его создатели не могли и мечтать. Однако последние годы, в течение которых появлялись все новые и новые более сложные приложения, особенно четко выявили ограничения, продиктованные архитектурой Сети. В её основе лежит стек протоколов TCP/IP, который был разработан в начале семидесятых годов и с тех пор претерпел лишь несущественные изменения. Эксперты компании Intel считают, что пришло время для принципиальных изменений. Необходимость обновления диктуется целым рядом причин.

Прежде всего, число пользователей Интернет растет. Причем речь идет не только о людях, но и о новых цифровых устройствах, которым необходимо пользоваться ресурсами Сети. Сегодня в мире около 800 млн. людей использует Интернет, тогда как миллиарды людей все еще остаются вне Сети. Не нужно быть пророком, чтобы предсказать взрывное увеличение количества устройств, подключенных к Сети, в самое ближайшее время: мобильные телефоны с выходом в Интернет, карманные системы, огромное множество датчиков и механизмов управления и т.д. Общее число таких устройств может перевалить за десятки миллиардов. Не стоит забывать и о беспроводных точках доступа, число которых растет, и которые нуждаются в обслуживании со стороны Интернет.

Помимо пользователей, биологических и аппаратных, постоянно растет и число услуг, предоставляемых через Сеть. Термин "web-сервис" уже перестал вызывать ощущение чего-то недоступного и религиозно мистического. Из физического мира в виртуальный переходят традиционные услуги: здравоохранение, развлечение и игры, финансовые операции, системы безопасности, телевещание, контроль за состоянием окружающей среды. Появляются совершенно новые услуги - видеоконференции высокого разрешения, сложные многопользовательские игры, широкомасштабные распределенные вычисления, сенсорные сети и многое другое. Однако на пути дальнейшего развития Интернета встает целый ряд технических проблем. Эксперты Intel выделяют следующие:

Пропускная способность. Число новых сетевых устройств растет, а это требует увеличения адресного пространства протокола IPv4. Увеличение же количества пользователей и приложений потребует гораздо большей пропускной способности.

Надежность. По мере расширения Сети появляется все больше узлов, потенциально подверженных отказу. Производительность становится все более неустойчивой и непредсказуемой.

Безопасность. С возрастанием количества пользователей и приложений в Интернет возрастает число потенциальных злоумышленников и уязвимых точек. Количество злонамеренных инцидентов последние несколько лет ежегодно удваивается.

Доступность. Во многих регионах люди не могут позволить себе иметь компьютер, или использовать компьютер там невозможно из-за отсутствия надежной связи и источников электропитания.

Но не только технические проблемы встают на пути развития Интернет. Есть еще нормативные проблемы: неприкосновенность личной жизни, государственная безопасность, налогообложение.

Решение технических проблем - нетривиальный вопрос, потому что их первопричиной является основополагающая архитектура Сети. Эта архитектура никогда не предназначалась для таких приложений, такого объема передаваемых данных и таких типов трафика, такого количества пользователей и устройств, с которыми сейчас должен справляться Интернет.

Внедрение протокола IPv6, способного увеличить адресное пространство IP до 670 квадрильонов IP-адресов, может занять много лет. Но существует другой путь решения проблем сетевой архитектуры: создание сети вычислительных сервисов (computational services overlay). Эта надстройка над существующей архитектурой Интернет состоит из систем, расположенных в центрах маршрутизации, узлах сети и шлюзах между Интернет и корпоративными сетями.

Сеть вычислительных сервисов превращает Интернет из канала - механизма для передачи пакетов - в платформу для предоставления сервисов. Благодаря тому, что подобная платформа по своей природе является сетью, эти сервисы будут "понимать" и уметь адаптироваться к свойствам и ограничениям сети такими способами, которые недоступны для существующих сетевых сервисов и приложений. Необходимо подчеркнуть, что подразумевается открытая, стандартизованная платформа, которая поддерживает полную экосистему сервисов, предоставляемых большинством провайдеров. Эти новые сервисы условно можно разделить на несколько категорий:

сервисы инфраструктуры, которые будут выполнять мониторинг и отвечать за поддержание пропускной способности, надежности и безопасности;

сервисы для конечных пользователей - это Web-casting, долговременное хранение информации и распределение контента;

промежуточные сервисы.

Внедрение новой архитектурной структуры позволит интеллектуально решить многие технические проблемы.

Пропускная способность. Нехватки IP-адресов можно избежать с помощью переключения между множеством адресных пространств. Новые сервисы инфраструктуры также помогут уменьшить сетевой трафик.

Надежность. Новые сервисы инфраструктуры позволят приложениям и сервисам быстро распознавать сетевые и программные сбои и устанавливать соединения, обходящие эти точки. В результате Сеть приобретет возможность самовосстановления.

Безопасность. Для выявления подозрительной деятельности и эффективного реагирования на широкомасштабные атаки новые сервисы инфраструктуры будут проводить глобальный надзор.

Доступность. В регионах с ненадежной и медленной связью новые сервисы смогут обеспечить устойчивость к задержкам, и будут осуществлять транскодирование информации для поддержки специализированных конечных устройств.

Сеть вычислительных услуг ни в коем случае не является соперником других усовершенствований Интернет: web-сервисов, сетевых вычислений, центров хранения данных, протокола IPv6, проекта Internet 2. Она дополняет их. Данная надстройка обеспечивает платформу, на которой будут работать web-сервисы, а также способ для связи сайтов сетевых вычислений и центров хранения данных. Сеть вычислительных услуг добавит новый уровень функциональности, который будет расположен выше всех других уровней.

В марте 2002 года по инициативе и при активном участии Intel был создан и сегодня активно работает широкомасштабный прототип, или испытательная модель Сети вычислительных услуг - PlanetLab, совместный проект 150 компаний, университетов, правительственных организаций и национальных образовательных сетей. PlanetLab состоит из систем (узлов), распределенных по ключевым точкам ядра Интернет. Сейчас она включает 436 узлов в 194 городах 22 стран мира, включая Россию, и постоянно растет. Сообщество PlanetLab добилось успехов в разработке сотен новых сервисов, которые работают на этой платформе. В их числе - инфраструктурные сервисы, такие как распределенные хэш-таблицы, обработчики событий, сервисы, осуществляющие обзор сети, отслеживание сетевых сбоев, поиск объектов, а также обнаружение сетевых "червей". Сервисы для конечных пользователей - это распределение контента, долговременное хранение и архивирование данных, динамический web-casting, масштабируемое мультимедийное вещание, высокоскоростная передача файлов, мощные многопользовательские игры и сервисы для совместной работы во всемирном масштабе.

С просьбой рассказать о PlanetLab мы обратились к Павлу Бороху, менеджеру Intel по развитию технологий в странах СНГ.

Интервью с компанией Intel

Алексей Доля: Прежде всего, вы не могли бы дать определение, что такое PlanetLab?

Павел Борох: PlanetLab - это открытая распределенная платформа для разработки, внедрения и использования сетевых сервисов планетарного масштаба.


Алексей Доля: Почему у проекта такое название?

Павел Борох: Название отражает, с одной стороны, лабораторную суть проекта - разработки, тестирования, исследования, создание приложений-прототипов, а с другой стороны - планетарный масштаб распределенной исследовательской сети.


Алексей Доля: Что собой представляет PlanetLab сегодня? Это уже завершившийся проект или развитие все еще продолжается?

Павел Борох: Это исследовательский проект, находящийся в постоянном развитии. Узлы PlanetLab поддерживают как краткосрочные эксперименты, так и рассчитанные на длительную работу сетевые сервисы. PlanetLab - это уникальная среда для проведения экспериментов в масштабе сети Интернет.


Алексей Доля: Какова история проекта PlanetLab?

Павел Борох: Все началось в марте 2002 года, когда Ларри Петерсон из Принстонского университета и Дэвид Каллер из подразделения Intel Research организовали неофициальную встречу исследователей, заинтересованных в сервисах планетарного масштаба. Они предложили концепцию PlanetLab как совместного "полигона". Intel Research предоставило 100 компьютеров для стартового периода. К октябрю 2002 года работали уже 100 узлов PlanetLab в 42 организациях. Тогда же была запущена версия 1.0 программного обеспечения PlanetLab, которое было совместно разработано исследователями из Intel, университетов Беркли и Принстона. В июне 2003 года к проекту присоединилась НР, к осени 2003 г. в сети было уже более 200 узлов. Тогда же на развитие проекта американским правительством был выделен грант в размере 4,5 млн. долларов. К июлю 2004 г. количество узлов достигло 400, а к концу 2004 г. - более 500. С января 2004 г. проектом руководит консорциум PlanetLab, базирующийся в Принстоне и включающий представителей ряда университетов, а так же Intel и HP. В проекте участвуют университеты из обеих Америк, Европы, Азии. Аппаратное обеспечение для многих узлов предоставлено Intel и HP. Результаты исследований PlanetLab докладывались на ряде конференций - таких как SOSP (Symposium on Operating System Principles), NSDI (Network System Design and Implementation).


Алексей Доля: Каковы цели проекта? Какие теоретические и практические задачи помогает решить PlanetLab?

Павел Борох: Прежде всего, это исследование особенностей распределенных процессов в гетерогенной сети планетарного масштаба - чем, по сути, и является Интернет, а также разработка элементов для строительства Интернет следующего поколения. Дело в том, что, по сути, Интернет сегодня базируется на протоколах 30-летней давности. И существующая структура сети не совсем готова к 100-кратному увеличению потоков данных, которое мы ожидаем в ближайшие годы. Как обеспечить единообразное и предсказуемое качество работы сети, несмотря на её неоднородность? Организовать загрузку и выборку данных, минуя ситуации, когда провал одного звена разрушает все? Как противодействовать массовым атакам вирусов и т.п.? Задачи состоят в разработке сервисов, которые были бы доступны везде в сети, устойчивы независимо от стабильности отдельных компонент сети, способны "чувствовать" состояние сети и инфраструктуры - и адаптироваться под изменяющиеся условия, а также были бы масштабируемы в глобальных условиях.



Алексей Доля: Какие компании и организации участвуют в работе над PlanetLab? В чем состоит роль компании Intel? В чем роль коллектива ученых МГУ?

Павел Борох: В основном это различные университеты - около 60, список можно посмотреть на http://www.planet-lab.org/php/institutions.php. Корпоративные участники на сегодня - Intel, Hewlett Packard, Google, AT&T, France Telecom. Intel является так называемым CHARTER MEMBER и входит в Руководящий Комитет. Эта позиция подразумевает, в числе прочего, серьезную финансовую поддержку проекта (300 тыс. долларов в год). Российские участники (МГУ и ННГУ) поддерживают узлы PlanetLab, ресурс которых, соответственно, доступен всем участникам консорциума, и одновременно сами ведут исследования по своей тематике, используя глобально распределенные ресурсы. Одна из концепций PlanetLab - это разделение ресурсов на "дольки" (slice). По сути, slice - это виртуальный ресурс, распределенный по множеству компьютеров различных узлов сети. На каждом компьютере работают частички различных "долек", однако ни один slice не зависит целиком от какого-либо одного компьютера. Каждый университет или другой участник PlanetLab добавляет определенные аппаратно-программные ресурсы (узлы) в общую сеть и получает определенное количество "долек" общего распределенного ресурса в свое распоряжение для проведения исследований. Ну а дальше - тематика выбирается в соответствии с интересами исследователей и общими направлениями деятельности консорциума.


Алексей Доля: Почему для компании Intel так важен проект PlanetLab?

Павел Борох: Этот проект стратегически важен для развития следующего поколения Интернет, для выявления новых жизнеспособных моделей предоставления услуг, для борьбы с теми недостатками, которые мы видим в Интернет сегодня - например, ненадежность, слабая защищенность, наличие "узких мест". А цифровые устройства, платформы для которых разрабатывает Intel, сегодня немыслимы без взаимодействия с Интернет.


Алексей Доля: Что собой представляет PlanetLab с технической точки зрения? Как он устроен и функционирует?

Павел Борох: Собственно, я уже в двух словах сказал о "дольках" виртуального распределенного компьютерного ресурса. Естественно, существует специально разработанное программное обеспечение, управляющее распределением задач и координацией этих "долек". Оно работает на всех узлах и обеспечивает целостность системы. О его функции иногда говорят как о распределенной виртуализации. Система предоставляет пользователю виртуальный ресурс (slice), изолированный от сети, процессоров, памяти, файловой системы. Так как сеть PlanetLab по сути является наложенной (overlay) сетью - в ней есть своя система оверлейной маршрутизации. Пользовательская среда проекта построена на основе системы Linux.


Алексей Доля: Правильно ли я понимаю, что PlanetLab - чисто логическое решение, не требующее модификации существующего аппаратного обеспечения?

Павел Борох: Практически да. Задача виртуализации состоит в предоставлении "стандартного" ресурса пользователю так, что пользователю не нужно знать, на каком аппаратном обеспечении это работает. И кстати, где это аппаратное обеспечение находится. Это уже может рассматриваться как модель доступа к общественному вычислительному ресурсу - аналогично доступу к сети электроэнергии или водоснабжения. Вы не знаете, где и какие электростанции работают - но вы знаете, что на ваши потребности будет выделено достаточно электроэнергии.


Алексей Доля: В России есть компьютеры, поддерживающие PlanetLab?

Павел Борох: Да, узлы PlanetLab есть в МГУ (на ВМК и Химфаке) и в ННГУ.


Алексей Доля: В чем заключается поддержка PlantLab вообще?

Павел Борох: Поддержка самой распределенной сетевой среды, средства для разработчиков и исследователей, конференции и другие возможности обмена информацией, описания и результаты проектов, взаимодействие с другими исследователями, публикация своих результатов, регулярные симпозиумы и рабочие встречи - в общем, то, что можно назвать исследовательской средой в полном смысле этого слова.


Алексей Доля: Когда самые обычные пользователи Интернет смогут пользоваться всеми благами PlanetLab?

Павел Борох: Это сложный вопрос. Все-таки PlanetLab - это исследовательский проект, пользователи Интернет не будут пользоваться им напрямую. Однако результаты исследований уже воплощаются в различные продукты и сервисы. Например, ИТ-департамент Intel использовал определенные наработки из области интеллектуальной маршрутизации для оптимизации потоков данных внутри корпоративной сети. Или взять проект CoDeeN из Принстона - идея состоит в повышении устойчивости интернет-серверов к резким всплескам нагрузки, реализованной с помощью динамического кэширования части содержимого на "соседние" серверы и перенаправления части запросов на обработку этим "соседям". Кстати, такая методика уже используется в Интернет, так что это - первый конкретный результат, доступный конечным пользователям.


Алексей Доля: PlanetLab как-нибудь связан с другими масштабными проектами, в разработке которых участвует Intel? Возможно, PlanetLab служит базой для их реализации или просто развивается в смежном направлении?

Павел Борох: Да, например, можно назвать проект Distributed Warm Tracker - распределенный мониторинг Интернет на предмет вирусов-червей. Кстати, он упоминался осенью на Форуме Intel для разработчиков в Москве. Из смежных технологий я бы упомянул виртуализацию - Intel сейчас этим много занимается, вопросы параллелизма, самоорганизации сетей, мониторинга состояния сети, интеллектуальной маршрутизации.


Алексей Доля: Каковы перспективы развития PlanetLab? Что будет сделано в ближайшем будущем и во что превратится проект в долгосрочной перспективе?

Павел Борох: Это, пожалуй, вопрос к Руководящему Комитету PlanetLab.. Тематика задач широка, можно посмотреть на http://www.planet-lab.org, ну вот пара интересных тем: распределенная архивация данных, Internet Health.


Алексей Доля: Каким вы видите будущее Глобальной Сети? Является ли PlanetLab промежуточным шагом на пути к чему-то еще более значимому? Что нас ждет через десятки лет?

Павел Борох: Несомненно, что конвергенция компьютерной, коммуникационной индустрий и индустрии бытовой электроники происходит у нас на глазах. Но этот процесс - длительный. Ближайшие 5-10 лет будут отмечены этой интеграцией индустрий, продуктов и сервисов. Новые возможности для человека будут возникать именно благодаря цифровым устройствам, способным использовать возможности Интернет. Здесь - богатейшие возможности и для новых моделей бизнеса.


Алексей Доля: Спасибо, что согласились ответить на все наши вопросы. Мы и дальше будем следить за развитием ваших технологий и успехами вашей компании! Всего доброго.

Отзывы о проекте PlanetLab

Анатолий Гуляев, заместитель проректора МГУ им. Ломоносова: "Мы очень рады участвовать в таком крупном международном проекте как PlanetLab. Этот проект тем более интересен, что позволяет наладить научные связи между студентами разных стран, работающих в одном направлении над близкими по тематике задачами".

Шанкар Састри, профессор и председатель кафедры электротехники и компьютерных технологий Калифорнийского университета: "Работа корпорации Intel по организации и поддержке проекта PlanetLab будет важнейшим вкладом в исследования в области кибернетической безопасности в нашей стране. Компьютеры, подключенные к сети PlanetLab здесь, в лаборатории Intel в Беркли и в других странах мира, станут частью национальной программы США по разработке средств защиты от компьютерных червей - National Defense and Testing Evaluation and Research (DETER). Возможность проведения исследований в области кибербезопасности в глобальном масштабе будет иметь глубокие последствия для национальной безопасности".

Джон Краукрофт, профессор Кембриджского Университета: "Я уже более 20 лет занимаюсь разработкой и использованием тестовых систем для исследований в области сетевых технологий. До появления PlanetLab нас сдерживали два "идеологических барьера": мы считали, что для фундаментальных исследований в области телекоммуникаций необходима специальная передающая инфраструктура, и нам было трудно наполнять наши тестовые сети реальным трафиком. PlanetLab выводит наши исследовательские возможности на новый уровень, позволяя осуществлять масштабные проекты. Однако главным сюрпризом для меня стала возможность изучать и низкоуровневые аспекты (например, архитектуры маршрутизации и адресации, управление трафиком и т.п.), не испытывая недостатка в реальных пользователях приложений. Этот сценарий - выигрышный для всех сторон, и я чрезвычайно рад участвовать в нем!".

Доктор Ружена Байчи, Center for Information Technology Research in the Interest of Society: "Сегодня мы являемся свидетелями старта нового поколения Интернет в мировом масштабе. Участники проекта PlanetLab испытывают и создают новые услуги, позволяющие нам контролировать сетевую среду, защищать и сохранять мировое культурное наследие и помогать людям общаться и сотрудничать независимо от географических барьеров".

Патрик Скалья, вице-президент и директор центра Internet and Computing Platforms Research Center подразделения HP Labs: "PlanetLab - это великолепный пример коллективной исследовательской работы. Ни мы, ни Intel, ни Калифорнийский, ни Принстонстонский университеты в одиночку не смогли бы разрабатывать интернет-службы следующего поколения, которые рождаются в PlanetLab. Наш первоначальный вклад: 30 узлов на 10 территориях и более 20 экспериментов, проведенных в лабораториях HP, - подтверждает серьезность нашего отношения к проекту PlanetLab, и мы намерены расширять наше участие по мере развития программы".

Дэвид Каллер, coдиректор лаборатории Intel в Беркли и профессор компьютерных наук Калифорнийского университета: "Проект PlanetLab - это великолепный пример новой открытой модели совместных исследований, позволяющей академическим и отраслевым исследователям вместе разрабатывать новые перспективные технологии. PlanetLab - это виртуальная лаборатория, которую исследователи всего мира могут использовать для разработки принципиально новых интернет-служб, одновременно находя новые пути развития Интернет на будущее. Это - лишь первые шаги нового класса услуг и приложений, распределенных по всемирной Сети. Их появление будет иметь важную роль для конструирования интеллектуальных серверов, сетевых устройств хранения данных и сетевых процессоров".

Франс Каасхук, профессор компьютерных наук и технологий Массачуссетского технологического института: "Новые приложения эволюционируют от классической архитетуры клиент-сервер к реально распределенной архитектуре, которая обеспечивает более высокий уровень надежности и масштабируемости. Наложенные сети - один из главных механизмов этого перехода. В частности, в форме наложенных сетей реализовано большинство сетей распространения контента, многоадресной трансляции на уровне приложений, распределенных таблиц кэширования и распределенных систем безопасности. Для создания таких новаторских распределенных сетевых приложений очень важно иметь полигон для крупномасштабных испытаний, и создавать такой полигон должны именно исследователи фундаментальных проблем. Они уже построили прототип сети PlanetLab, насчитывающий более 100 сетевых узлов в разных странах мира. Эта сеть зарекомендовала себя как великолепный исследовательский инструмент. С ее помощью были получены результаты в целом ряде проектов, включая наши собственные".

Ларри Питерсон, профессор компьютерных наук Принстонского университета: "Проект PlanetLab отличается от других совместных инициатив, в которых мне приходилось участвовать. По энергетике он, наверное, похож на проекты начального этапа существования Интернет. Исследователи используют PlanetLab как платформу для реализации собственных идей, но одновременно они ищут и возможности совершенствования базовой инфраструктуры PlanetLab. Если бы мне надо было выделить ключевую идею этой архитектуры, я бы сказал, что мы создали общедоступное поле для новаторских разработок, и исследовательское сообщество с готовностью откликнулось на эту инициативу".

Томас Андерсон, профессор компьютерных наук и технологий университета штата Вашингтон: "Мы чрезвычайно рады возможности участия в проекте PlanetLab. Он дает нам беспрецедентный шанс глубже понять механизмы работы Интернет, выполняя измерения в различных ключевых точках мировой сети. Сеть PlanetLab также помогает нам реализовать идеи, которые до сих пор казались почти нереальными. Это действительно бесценный ресурс и для науки, и для образования".