PostgreSQLの
COPY
コマンドは、テーブルデータをCSVファイルなどの形式でインポート／エクスポートする機能です。
COPYと\copyがあり、COPYはサーバー側、\copyはpsqlクライアント側で動作します。
参照するファイルをどちらのマシンで扱うかにより使い分けます。
典型的なコマンド例は以下のとおりです。
\copy <table_name> FROM|TO <file_path> CSV DELIMITER ',' HEADER;
FROMとTOはインポート／エクスポートの選択です。CSV以降はオプションです。
CSVはフォーマット指定。デフォルトはtextDELIMITER ','はファイルのフィールド区切り文字
CSVのデフォルトはカンマ区切りであるため省略可能- タブ区切りファイルなどでは指定が意味を持つ
HEADERはCSVの先頭行をヘッダーとして扱うオプション
- インポート時の
HEADERは1行目を読み飛ばすだけで、カラムを自動で割り当てる挙動はとらない
CSVのカラム指定
HEADERオプションは期待と異なる挙動でしょう。
同じスキーマのテーブルであっても、別DBにインポートすると順序が異なることがあります。
CSVとカラムのマップは、次のようにテーブル名のあとにカンマ区切りのカラム名を指定します。
\copy <table_name> (columns) FROM ...
このカラム定義は、既存DBからエクスポートしたCSVであればそのまま流用できるでしょう。
エクスポート時のクエリ
用途のバリエーションとして、エクスポート時にはテーブルのほか次のようにSELECTクエリを書けます。
\copy (SELECT ...) TO <file_path> ...
分析用のファイル出力に活用できます。
⁋ 2022/10/24↻ 2022/10/24
sqldef は RDBMS のスキーマを config に沿って更新する CLI ツールです。
先行実装 ridgepole の Go クローンと言えます。
Web フレームワークで標準的なマイグ …
PostgreSQLはリファレンスが非常に充実していますが、サポートする機能が多彩であるため個別のケースの挙動が自明ではないことがあります。
ストアド関数は複雑なケースを扱うことが多く、挙動の観察が重 …
PostgreSQLのパーティショニングはバージョンアップごとに強化されてきています。
アプリケーションに合わせてデータアクセスを局所化できれば、データが成長しても性能を維持しやすくなります。
パーテ …
複数行を一括でINSERTする際、配列を利用できます。配列型のカラムではなく、複数行を投入する方法です。
PostgreSQLにはunnest()という関数があり、配列を行に変換できます。
たとえば、 …
DBMSにはユニークインデックスがあり、重複レコードをINSERTしようとするとエラーで保護する機能があります。
そして最低限、主キーはユニークです。
テストなどの場合、主キーも含めて同じデータをセッ …
ネストしたテーブル設計では、1:Nの構造になるレコードが頻発します。
その場合の素朴なSQLは以下のような記述になるでしょう。
SELECT categories.name, …
ストアドプロシージャ、ストアドファンクションは、DBに登録(stored)する関数で、PostgreSQLの標準機能を利用する場合、PL/pgSQLで書きます。
ストアドプロシージャの使いどころ スト …
特定のセットアップデータに依存するテストを実行したい場合、テストランナーから直接データベースを操作する構成が手軽です。
JestなどJavascriptプロジェクトでは、node-postgres を …
RustでDB接続するcrate(Rustパッケージ)にはいくつかのプロダクトがありますが、非同期処理を重視した非ORマッパーのcrateとしては、tokio-postgresを使えます。
接続 …
PostgreSQlのロジカルレプリケーションは、ALTER PUBLICATION / ALTER SUBSCRIPTIONを利用して、運用開始後にテーブル追加などの変更を行えます。
（セットアップ …
PostgreSQLのアップグレードには、公式ツール pg_upgrade を利用できます。
ただし、pg_upgradeを実行する前提に以下の条件があり、 公式コンテナイメージ では実行できません。 …
ロジカルレプリケーション機能を利用すると、テーブル単位でレプリケーション構成をとれます。
一般的なRead/Writeスプリット構成のほか、アプリケーションフレームワークから見て単一DB内に外部マスタ …
レコード数の多いアプリケーションの場合、データベースの一部を切り出して取得したいケースがあります。
このような場合、一度バックアップ用のミニテーブルを作成する手順が手軽です。
PostgreSQLのバ …
PostgreSQLやMySQLなどのデータベースのバックアップ＆リストアにはいくつか方法がありますが、SQL形式の論理バックアップを取得する方法が一般的です。
とくに、DBMSを別のサーバーに構築し …
kubernetesでシステム構築する際に、意外に難しいのがデータベースの構築やバックアップ＆リストアです。
DBインスタンスのコンテナを立てることじたいは簡単なのですが、論理バックアップでデータを移 …
EN contents
sqldef is a CLI tool to maintain RDBMS schema along with corresponding configs.
It is a ridgepole …
While PL/pgSQL has LOOP flow for recursive operations, SQL or psql doesn’t have one.
If you want to …
DBMS has the unique index feature that protects against INSERTing duplicate records, and at a …
