同一フィードのURL重複でON CONFLICT DO UPDATEが21000で全断した
20時間前・2分で読める
1本のON CONFLICT DO UPDATEで複数記事をupsertするジョブが、同一フィードの同じURLで "ON CONFLICT DO UPDATE command cannot affect row a second time"(21000)となり、fail-softなcatchで無音skipしていた。
1本のINSERT文でまとめてupsertしていると、同じconflict targetの行が2件混じっただけで文全体が失敗します。 ニュース記事を取得してDBへ保存するジョブが、1フィード分の記事を1本のINSERT ... ON CONFLICT (source, url) DO UPDATEで発行していたところ、同一フィード内に同じURLの記事が2件あるとPostgresの21000エラー「ON CONFLICT DO UPDATE command cannot affect row a second time」で失敗し、そのフィードだけが無音で更新されなくなっていました。
手順の詳しい説明・確かめ方・よくある質問は、元の記事にまとめています。
→ 同一フィードのURL重複でON CONFLICT DO UPDATEが21000で全断した|Rebounder Tech Blog