テーブルのマージ
データ書込In-DB ツールは、Databricks Unity Catalogに接続されたワークフローのテーブルマージ機能をサポートしています。このオプションは、入力レコード(ソース)に基づいた一連の更新または削除をターゲットのDeltaテーブル(ターゲット)にマージします。
Databricksのドキュメント で説明されているように、MERGE INTOステートメントが使用されます。
データ書込In-DBツールでテーブルのマージを設定するには:
[In-DB接続の管理] ダイアログを使用して、Databricks Unity Catalog接続を作成します。
ソースデータを作成するには、次のオプションのいずれかを選択します。
接続In-DBツール をDatabricks Unity Catalog接続に接続し、テーブルマージのソースデータとして使用されるテーブルにマップします。
データストリーム入力ツール を使用して、外部データセットのデータをDatabricksに取り込み、ソースデータとして使用します。
データ書込In-DBツール をワークフローに接続し、出力モードとして [テーブルのマージ] を選択します。
[テーブルのマージ] は、ツールがDatabricks Unity Catalog接続を検出できる場合にのみ使用できます。
ターゲットテーブル名 を入力します。これは変更するテーブルです。このテーブルはDeltaテーブルである必要があります。
[適用] を選択して、ターゲットテーブル名を保存し、マージフィールドを更新します。
ドロップダウンから [マージフィールド] を選択します。マージフィールドのセットを少なくとも1つ選択する必要があります。
一致アクション を選択します。
削除: ターゲットテーブル内の一致するテーブル行をすべて削除します。
更新: 一致するターゲットテーブル行をソースデータで更新します。
名前による自動設定: ソースデータのフィールドをターゲットテーブルに自動的にマッピングします。ソースデータの余分なフィールドは無視されます。フィールドが見つからないと、ワークフローは失敗します。
カスタム: ソースデータのフィールドをターゲットテーブルに手動で一致させます。すべてのフィールドをマッピングする必要があります。ターゲットフィールドを [
なし] にすることはできません。フィールドが見つからないと、ワークフローは失敗します。