Опыт «Сейсмотек»: Яндекс.Облако для обеспечения переменной потребности в вычислительных ресурсах

Как срочно обработать 50 Тб свежих данных сейсморазведки

ЗАДАЧА

Нефтяной бассейн данных

Особенностью процесса обработки сейсмических данных является переменная потребность в вычислительных ресурсах (количество серверов, характеристики серверов: кол-во CPU, объем оперативной памяти, объем дисков). Этапы интерактивной работы пользователя, при выполнении которых потребность низкая, сменяются вычислительными этапами, выполнение которых в разумные сроки не представляется возможным без использования большого количества ресурсов. Например, глубинная миграция до суммирования морских сейсморазведочных данных площади 700 кв. км. выполнялась на 70 серверах (12 ядер, 48 Гб оперативной памяти) в течение 30 дней. Объем данных проекта составлял 50 Тб.

Более того, этапы интерактивной работы и вычислений часто не следуют друг за другом, а пересекаются. Бывает так, что геофизик может запустить масштабную вычислительную задачу и на это время переключиться на другую часть проекта. Важно то, что возможность привлечь большие ресурсы для вычислений сокращает время бесполезного ожидания, в ситуациях, когда геофизик наблюдает на экране бегущую полоску прогресса задания и лишен возможности продолжить работу.

Компания «Сейсмотек» выбрала сервисы Compute Cloud и Object Storage, чтобы достичь двух целей. Первая заключается в оптимизации расходов на аренду вычислительного оборудования. Вторая – в том, чтобы сократить время выполнения вычислительных этапов обработки до минимума. Зачастую срок выполнения проекта является даже более значимым для заказчиков в нефтегазовой отрасли, чем его стоимость. Возможность использования практически неограниченных вычислительных ресурсов без резервирования и предварительного заказа является конкурентным преимуществом.

Дополнительную ценность для бизнеса представляет то, что ЦОД Яндекс.Облака расположены на территории РФ, - говорит Дмитрий Мосяков, генеральный директор ООО «Сейсмотек», - поскольку практически все российские нефтегазовые компании не разрешают вывозить сейсмическую информацию за рубеж.

СЕРВИСЫ

Compute Cloud

Object Storage

РЕШЕНИЕ И РЕЗУЛЬТАТЫ

Результаты изысканий

Программное обеспечение компании является продуктом российской физико-математической школы и разрабатывается командой уже более 25 лет. Коллектив компании «Сейсмотек» состоит из разработчиков программного обеспечения Prime и геофизиков, использующих Prime для выполнения обработки сейсмических данных. Так что специалистов здесь достаточно и для реализации проекта не потребовалось привлекать подрядчиков. Для решения возникающих вопросов в режиме диалога достаточно было квалифицированной технической поддержки Яндекс.Облака.

«Для нашей компании это первый опыт использования виртуальных ресурсов, - поделился Дмитрий Мосяков, генеральный директор ООО «Сейсмотек» , - Поэтому вначале вопросы возникали самые разнообразные, а основную важность представляли вопросы, связанные с надежностью сохранения информации, производительностью вычислений. По мере приобретения опыта обращения в техподдержку стали чаще связаны с разрешением конкретных ситуаций и проблем, когда скорость и качество реакции техподдержки очень важны. Надо отметить, что Яндекс.Облако активно развивается, поэтому нам необходимо адаптироваться к происходящим изменениям, а информация ««из первых рук» дает возможность делать это максимально оперативно».

На этапе technical preview и в течение первых месяцев использовании разработчиками была выполнена адаптация ПО для работы на Облаке.

Адаптация Prime к работе на облаке заключается в том, что необходимые ресурсы создаются автоматически для каждого вычислительного задания. По количеству и характеристикам (количество ядер, объем оперативной и дисковой памяти) эти ресурсы соответствуют специфике каждого конкретного задания. После завершения вычислений ресурсы автоматически удаляются.

Подготовка к переезду заняла 3-4 месяца. В течение этого периода происходило развертывание на Облаке необходимой инфраструктуры (кластерная система хранения данных, сервера для обеспечения интерактивной удаленной работы, сервер базы данных). Также программное обеспечение Prime оснащалось облачным API, то есть Prime «научился» создавать виртуальные кластеры для проведения вычислений. С момента готовности инфраструктуры и ПО все новые проекты по обработке сейсмических данных стали загружаться на Облако.

Коллектив компании находится в Москве, но сотрудники имеют возможность подключаться к облачным ресурсам из любого месторасположения. Теперь сотрудники компании, выполняющие обработку данных, получили возможность подключить необходимое количество вычислительных ресурсов по требованию и тратить минимальное время, ожидая завершения выполнения расчетов.

«Наша компания на протяжении нескольких последних лет использует аренду кластерного оборудования, - рассказывает Дмитрий Мосяков, генеральный директор ООО «Сейсмотек». - Мы ожидаем, что переход на облачную платформу с посекундной тарификацией позволит снизить затраты на аренду не менее чем на 30%».

Как об этом рассказывает Яндекс.Облако