Я настроил небольшую программу на Python, которая использует соединение WebSocket для получения данных из API и записи их в базу данных PostgreSQL.
Работают только две (пользовательские) программы: соединение WebSocket, которое получает данные и записывает их в базу данных, и еще одна базовая программа — цикл while, который запускается каждые 15 секунд и проверяет, записываются ли данные.
Обе программы демонизируются с помощью супервизора, и если в течение 15 секунд не происходит записи данных, супервизор перезапускается (для обработки неработающего соединения через веб-сокет).
Кроме того, я был (очень) ленив и использовал Django ORM для подключения к базе данных вместо непосредственного использования psycopg2.
Работает, но у меня постоянная высокая загрузка процессора на сервере. Это сервер 1CPU 1Gb памяти (AWS micro). Команда top выводит следующее:
top - 17:10:58 up 19 days, 15:03, 1 user, load average: 1,57, 1,63, 1,58
Tasks: 116 total, 1 running, 115 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0,3 us, 0,3 sy, 0,0 ni, 0,0 id, 99,0 wa, 0,0 hi, 0,0 si, 0,3 st
KiB Mem : 1014552 total, 63440 free, 86572 used, 864540 buff/cache
KiB Swap: 1048572 total, 987380 free, 61192 used. 615096 avail Mem
Ну, система тормозит и иногда зависает.
Я вижу, что это вызвано высокой нагрузкой ввода-вывода (99 wa). Множество спящих процессов. Но я пишу в среднем 400 МБ в день только в базу данных.
Я пробовал модифицировать конфигурацию PostgreSQL для высокой нагрузки записи в соответствии с документацией и настроить файл подкачки памяти (1 ГБ), но это не помогло снизить среднюю нагрузку.
Итак, для неопытного пользователя, вроде меня, я не знаю, следует ли ожидать такой нагрузки. Могу ли я оптимизировать эту настройку? Если я удалю django ORM и напишу программу, используя только psycopg2, она улучшится? Стоит ли мне сделать другой метод проверки мертвых соединений websocket? Есть ли какая-либо конфигурация сервера, которая может оптимизировать для этого случая?
Спасибо!
решение1
Мне удалось выяснить, как это исправить, используя эту ссылкуhttp://bencane.com/2012/08/06/troubleshooting-high-io-wait-in-linux/
В общем, я запустил, iotopи это вывело, какой процесс вызывал высокую нагрузку ввода-вывода. Там я узнал, что нагрузка была из-за чтения базы данных, а не записи. Так я понял, что делаю что-то глупое: я много запрашивал всю базу данных, подсчитывая количество записей, проверяя, записывалась ли она. Это было в среднем 500 МБ/с чтения. Поэтому я изменил код, чтобы проверять номер первичного ключа последней записи вместо подсчета записей, и... сработало. Средняя нагрузка теперь составляет 0,01. Спасибо @match за наводку