Настройка пользовательских средств контроля затрат для BigQuery

1. Введение

BigQuery может обрабатывать огромные объёмы данных. Дополнительные средства контроля помогут вам избежать непредвиденных расходов на запросы, независимо от того, работаете ли вы в одиночку или в среде с несколькими проектами и пользователями BigQuery.

Вы можете управлять стоимостью запросов при использовании BigQuery по требованию , установив ежедневную квоту на объём обрабатываемых данных. Эта квота сбрасывается в полночь по тихоокеанскому времени и действует как совокупное жёсткое ограничение, запрещая пользователям выполнять запросы, превышающие указанный лимит.

В этом уроке вы узнаете, как установить собственные квоты для BigQuery.

Предпосылки

• Базовое понимание Google Cloud Console
• Опыт работы с BigQuery будет плюсом

Чему вы научитесь

• Как перейти в меню квот
• Как настроить пользовательскую квоту на уровне проекта
• Как настроить пользовательскую квоту на уровне пользователя

Что вам понадобится

• Учетная запись Google Cloud и проект Google Cloud с включенной оплатой
• Веб-браузер, такой как Chrome

2. Прежде чем начать

Требуемые разрешения

Чтобы установить или изменить пользовательские квоты, вам понадобится одна из следующих ролей Cloud IAM в проекте:

• Основная роль владельца или редактора
• Роль управления службой администратора квот
• Роль администратора использования услуг

Обратите внимание, что необходимые разрешения для настройки настраиваемой квоты не включены в роли администратора BigQuery и пользователя BigQuery . Если у вас нет необходимых разрешений, вам придётся обратиться к администратору квот вашей организации. Подробнее о разрешениях Google Cloud см. в статье «Основные роли в Cloud IAM» .

Если вы не уверены, есть ли у вас необходимые разрешения, вы все равно можете перейти к следующему шагу, который поможет проверить, есть ли у вас доступ к управлению квотами в вашем проекте.

3. Перейдите в меню «Квоты».

В этом задании вам предстоит перейти в меню квот.

1. В консоли Google Cloud нажмите на меню навигации ( ).

2. Затем выберите IAM и администрирование > Квоты и системные ограничения .

На этой странице представлены все квоты на продукты и услуги платформы. Если вы получили ошибку доступа, вернитесь на предыдущую страницу и ознакомьтесь с требованиями к разрешениям.

Далее вам нужно сузить представление до квот, связанных с BigQuery.

3. Используя раскрывающийся список инструмента Фильтр, выберите заголовок Услуга .

4. Затем выберите API BigQuery . В полученном списке будут отображаться только квоты, относящиеся к сервису API BigQuery.

4. Установите квоту на уровне проекта

В этой задаче вам предстоит установить пользовательскую квоту на уровне проекта. Пользовательские квоты на уровне проекта ограничивают суммарный объём использования ресурсов всеми пользователями проекта в день.

Выберите квоту

1. Установите флажок для строки «Использование запросов в день» под полем «Имя» в таблице. Вы можете использовать фильтр для поиска по этому имени.

2. Нажмите «Изменить» . В консоли появится всплывающее диалоговое окно.
3. Снимите флажок «Неограниченно» , если он в данный момент установлен.
4. Введите 1 в поле Новое значение , чтобы указать предел квоты в 1 ТиБ (тебибайт).

Вы также можете воспользоваться калькулятором цен Google Cloud, чтобы оценить стоимость запросов по требованию для определенного количества тебибайт и ввести собственный лимит квоты.

5. После настройки квоты вы можете установить ее, нажав «Готово» , а затем «Отправить запрос» .

После обновления квоты вы получите подтверждение в диалоговом окне.

После установки квоты, если будет превышена пользовательская квота на уровне проекта, BigQuery вернет ошибку.

Примечание: Если новое значение, заданное вами для пользовательской квоты, превышает существующее значение по умолчанию, во всплывающем диалоговом окне редактирования квоты будет запрошено описание запроса (см. изображение ниже). Как указано в диалоговом окне, запросы на увеличение квоты использования запросов в день должны быть автоматически одобрены.

5. Установите квоту на уровне пользователя.

Теперь, когда вы установили квоту на уровне проекта, пришло время установить квоту на уровне пользователя . Настраиваемые квоты на уровне пользователя применяются отдельно к каждой учётной записи пользователя или службы в проекте.

На практике вы можете использовать любой из этих вариантов квот или оба одновременно. При одновременном использовании квот на уровне проекта и пользователя использование учитывается в обеих квотах и соответствует более строгому из двух ограничений. Пример сценария можно найти в документации, ссылка на которую приведена в конце этого руководства.

Выберите квоту

1. Установите флажок для строки «Использование запросов в день на пользователя» под полем «Имя» в таблице. Вы можете использовать фильтр для поиска по этому имени.

2. Нажмите «Изменить» . В консоли появится всплывающее диалоговое окно.
3. Снимите флажок «Неограниченно» , если он в данный момент установлен.
4. Введите 0,5 или желаемый вами ежедневный лимит запросов для одного пользователя в поле Новое значение , чтобы указать предел квоты в 0,5 ТиБ (тебибайт).

5. После настройки квоты вы можете установить ее, нажав «Готово» , а затем «Отправить запрос» .

После обновления квоты вы получите подтверждение в диалоговом окне.

После установки квоты, если будет превышена квота на уровне пользователя, BigQuery вернет ошибку.

6. Поздравления

Вы успешно создали пользовательские квоты на уровне проекта и пользователя для обработки запросов!

Что мы рассмотрели

• Как перейти в меню квот
• Как настроить пользовательскую квоту на уровне проекта
• Как настроить квоту на уровне пользователя

Дальнейшие шаги / узнать больше

• Документация: Создание пользовательских средств контроля затрат
• Документация: Как применяются пользовательские квоты
• Документация: пример сценария индивидуального контроля затрат

7. Опрос

Как вы будете использовать это руководство?

Только прочитайте это Прочитайте и выполните упражнения.