生の値を保持せずにエントリを重複排除できるよう、文字列の安定した識別子を生成する必要があります。

この機能は入力文字列から安定した識別子を生成し、元のテキストを保存することなく、繰り返される値を認識および重複排除できるようにします。これにより、マッチングやグループ化のための整合性のある参照を維持しつつ、機密データの保持を削減できます。

この機能は、特定の文字列に対して安定した識別子を生成するため、同じ入力からは常に同じ出力識別子が生成されます。これは、生の文字列を永続化せずに繰り返される値を検出したい重複排除ワークフローをサポートするように設計されています。この識別子は、実行やシステム間でレコードを挿入、マージ、または比較する際のサロゲートキーとして使用できます。識別子のみを保存することで、機密情報や独自の値を公開するリスクを最小限に抑えつつ、同一の入力を照合する機能を維持できます。識別子は、分析のグループ化、一意性制約の強制、または重複送信の防止に使用できます。また、生のフィールドが保存前に一貫した参照に変換されるデータ正規化パイプラインもサポートしています。一般的なユースケースには、電子メール、ユーザー名、デバイスID、製品SKU、またはフリーテキストラベルの重複排除が含まれ、生の値を保持することを回避できます。この機能は、元の文字列を保存することが望ましくないプライバシーを重視する環境で特に役立ちます。一貫した照合が必要な場所であれば、取り込み、ETL、およびアプリケーション層のロジックに統合できます。