私は、postgresql、nginx、gunicorn を使って django アプリを実行しています。DB 内の 1 つのテーブルからデータを取得し、変更した後、その 1 つのテーブル内の既存のデータを置き換える必要があるスクリプトがあります。同じスクリプトで、いくつかのテーブルも更新されています。
スクリプトを実行すると、502 Bad Gatewayスクリプト内の何かが原因でサーバーがタイムアウトになるため、常に という結果になります。このトピックは比較的新しいため、次のエラーで何が起こっているのか把握するのに苦労しています。
postgres から操作できるログは次のものだけです。
2020-08-22 14:57:59 UTC::@:[8228]:LOG: checkpoint starting: time
2020-08-22 14:57:59 UTC::@:[8228]:LOG: checkpoint complete: wrote 1 buffers (0.0%); 0 WAL file(s) added, 0 removed, 1 recycled; write=0.101 s, sync=0.005 s, total=0.132 s; sync files=1, longest=0.005 s, average=0.005 s; distance=65536 kB, estimate=70182 kB
2020-08-22 14:58:50 UTC:address-ip(45726):pierre@dbexostock:[25618]:LOG: could not receive data from client: Connection reset by peer
2020-08-22 14:58:50 UTC:address-ip(45724):pierre@dbexostock:[25617]:LOG: could not receive data from client: Connection reset by peer
問題はスクリプト内のデータベースへの接続内にあると思います。
#connect to db
engine = create_engine('postgresql+psycopg2://user:[email protected]',
connect_args={'options': '-csearch_path={}'.format(dbschema)})
#access the data in the historical_data table
conn = engine.connect()
metadata = sqlalchemy.MetaData()
histoo = sqlalchemy.Table('uploadfiles_historical_data', metadata, autoload=True, autoload_with=engine)
query = sqlalchemy.select([histoo])
resultproxy = conn.execute(query)
result_set = resultproxy.fetchall()
#update the historical table
histo = histo2.head(0).to_sql('uploadfiles_histoo', engine, if_exists='replace')
cur = conn.cursor()
output = io.StringIO()
histo2.to_csv(output, sep='\t', header=False, encoding='utf8')
output.seek(0)
cur.copy_from(output,'uploadfiles_histoo')
conn.commit()
#update other tables (example)
itemmdb = df559.to_sql('dashboard_item', engine, if_exists='replace')
私は本当に混乱していて、しばらくこの問題に頭を悩ませていますが、何も解決していないようです。誰かが私がどこで失敗しているのか気付いてくれることを願っています。