Azure Data Lake Storage (ADLS)

{ヒント style="info" %}。 Destination only

このコネクタは、生成したデータの書き込み先としてのみ使用できます。

  • 対応ファイル形式: パルケ

  • 対応パーティション: 書き込みバッチサイズに基づく水平パーティショニング(すなわち、各バッチは別々のファイルに書き込まれる)。ファイル出力構造の例も示してください。

ファイル出力構造の例も示してください。

始める前に

始める前に, 次のリストの項目を見直す。:

  • のURLを取得する。 Azure ストレージ・エンドポイント。

  • 接続方法によって, のいずれかを用意する。:

    • ストレージアカウント名とストレージアカウントキー, _それとも

    • 接続文字列。

  • 使用するストレージ・コンテナに読み取り/書き込み権限を与える(すなわち, ストレージコンテナ名)。

  • リモートパスを取得する, これは、使用するストレージ・コンテナへの相対パスである。

ファイルフォーマット

サポートされているファイル形式は以下の通り。:

  • パルケ

  • ORC

出力フォーマット

Syntho の ADLS 出力コネクターは、生成されたすべてのデータを以下に書き込みます。 Parquet ファイルは次のようになる。:

  • 生成された各テーブルは、以下のフォーマットでParquetファイルに書き込まれる。: {schema-name}-{table_name}_part_{part_number}.parquet

  • 1つのParquetファイル(パート)の行数は batch_generate サイズになります。1つのテーブルのすべてのParquetパートは、それぞれのディレクトリに格納されます。, これはその特定のテーブル専用である。

  • 各フォルダ名には以下の形式が使用されます。:

    {schema_name}.{table_name}

ワークスペースの接続と設定

Syntho を起動し Connect to a database, 以下 Create workspace > Destination Database, 選ぶ ADLS.データ接続の完全なリスト, 選ぶ More アンダー From database.そして、次のようにする。:

1.リモートパスを入力する。 2.ストレージコンテナ名を入力する。 3.以下のいずれかを入力する。:

  • ストレージ・アカウント名とストレージ・アカウント・キーを入力する。, または:

  • ストレージ接続文字列を入力する。 4.を選択する。 Create Workspace. シンセが接続できない場合, 認証情報が正しいことを確認してください。それでも接続できない場合は, コンピュータがサーバーを見つけられない。ネットワーク管理者またはデータベース管理者に連絡してください。

制限事項

  • ORCファイルの場合, カラムは Char 型の None 値でいっぱいです。, StringまたはVarcharは、Noneの代わりに "None"(すなわち文字列値)として宛先データベースに書き込まれます。

  • サポートされていないデータタイプが含まれる場合、ORCファイルへの書き込み時にデータ変換中にエラーが発生することがあります。 Supported Data Types: ORCファイルのサポートされるデータ型は、Apache Arrowのドキュメントで指定されています。

    Logical typeマップされた矢印のタイプ

    BOOLEAN

    ブーリアン

    BYTE

    イント8

    SHORT

    Int16|(英語

    INT

    Int32|(イント

    LONG

    Int64|(英語

    FLOAT

    フロート32

    DOUBLE

    Float64|フロート

    STRING

    String/LargeString|ストリング/ラージストリング

    BINARY

    バイナリ/ラージバイナリー/フィックスサイズバイナリー

    TIMESTAMP

    タイムスタンプ/Date64

    TIMESTAMP_INSTANT

    タイムスタンプ

    LIST

    リスト/ラージリスト/サイズ固定リスト

    MAP

    地図

    STRUCT

    構造

    UNION

    SparseUnion/DenseUnion|スパースユニオン/デンスユニオン

    DECIMAL

    Decimal128/Decimal256|Decimal128/Decimal256|Decimal256

    DATE

    日付|32

    VARCHAR

    ストリング

    CHAR

    ストリング

このコネクタに関する制限の可能性については、Syntho の担当者にお問い合わせください。

Last updated