技術的なメモ書き

はじめにAzure Data Factory (ADF) を使ってデータの変換や加工を行う際、派生列 (derived column) の追加は非常に有用です。派生列を使うことで、既存のデータに基づいて新しい列を作成し、データの分析や処理を...

はじめに異なるデータソースからのデータを一つにまとめることは、データ分析やビジネスインテリジェンスにおいて不可欠です。本記事では、Azure Data Factoryを使用して、共用体(union)を利用してデータを連結する方法について詳し...

たまによくわかんないけど、デバッグできないとき。設定も悪くないはずなのに…ってとき。ちょっと確認してみて。動かないときに確認することデバッグセッションが切れてたりする。デバッグをする際にデバッグのセッションを張らないといけない。セッションを...

はじめにAzure Data Factory (ADF) の既存アクティビティは、データの存在確認を効率的に行うための機能です。本記事では、既存アクティビティの基本的な使い方とその利点について詳しく解説します。データの存在確認は、データパイ...

はじめにAzure Data Factory (ADF) を使ってデータを効率的に処理する方法の一つに「条件分割」があります。この記事では、ADF初心者向けに、条件分割の基本的な概念と実際の手順を詳しく解説します。条件分割を活用することで、...

はじめにファイルの結合は、データ統合の基本的な作業の一つです。Azure Data Factory (ADF) を使用すると、複数のデータソースからのファイルを簡単に結合し、効率的にデータを処理することができます。本記事では、ADFを使って...

Azure Data Factory でファイルをマージします。マージする際キー項目でキー項目がマッチすればUpdate、マッチしなければInsertします。

Azure Data Factoryでファイル一覧をループさせて処理させます。GetMetadataでファイル一覧を作成して、ForEachでループさせながら処理します。

Azure Data Factoryで汎用的なデータセットの作り方を説明します。