Превышены ресурсы во время выполнения запроса: слишком много операторов DML, ожидающих обработки для таблицы [dataset.table-name], ограничение — 20

Question

Я столкнулся с ошибкой при DML в bigquery, пожалуйста, помогите мне объяснить или предоставить какой-либо документ для решения проблемы. Большое спасибо

java.lang.RuntimeException: [BigQueryError{reason=resourcesExceeded, location=null, message=Превышено количество ресурсов во время выполнения запроса: слишком много операторов DML, ожидающих обработки для таблицы rare-chiller-170104:adrepo.dsp_google_ads_asset_master, ограничение составляет 20}][BigQueryError{reason=resourcesExceeded, location=null, message=Превышено количество ресурсов во время выполнения запроса: слишком много операторов DML, ожидающих обработки для таблицы rare-chiller-170104:adrepo.dsp_google_ads_asset_master, ограничение составляет 20}]

Answer 1

Ошибка, которую вы видите, связана с ограничением одновременных операций DML, отправленных в таблицу dsp_google_ads_asset_master. Как задокументированоздесь, когда операция DML выполняется над таблицей, BigQuery ставит в очередь другие операции, отправленные в состоянии Pending. Из сообщения об ошибке, которое вы наблюдали, следует, что вы достигли предела параллелизма для ожидающих заданий, который равен 20.

Это ограничение параллелизма применяется к каждой таблице, поэтому, к сожалению, использование пакетных или интерактивных запросов не решит эту проблему. Единственный способ обойти это, который я могу придумать, — это учитывать это ограничение и контролировать количество отправленных заданий DML. Если это серьезное ограничение для вашего варианта использования, вы можете связаться сТехническая поддержка GCPи проконсультируйтесь, можно ли увеличить этот лимит (20) для вашего проекта.