Azure Data Lake Storage (ADLS)

Bron en Bestemming Databases

Destination only

Deze connector kan alleen worden gebruikt als bestemming voor het schrijven van je gegenereerde gegevens.

• ondersteunde bestandstypen: Parket

• Ondersteunde partitionering: Horizontale partitionering op basis van de grootte van de schrijfbatch (d.w.z. elke batch wordt naar een apart bestand geschreven). Geef ook een voorbeeld van de uitvoerstructuur van het bestand

Voordat je begint

Bekijk voordat u begint de items in de volgende lijst:

• Verkrijg de URL voor uw Azure opslag eindpunt.

• Afhankelijk van hoe u verbinding wilt maken, bereidt u ofwel:

  • de opslagaccountnaam en opslagaccountsleutel, of

  • de verbindingsstring.

• Geef lees-/schrijfrechten voor de gebruikte opslagcontainer (d.w.z. de naam van de opslagcontainer).

• Haal het externe pad op, wat het relatieve pad is naar de gebruikte opslagcontainer.

Bestandsindelingen

Ondersteunde bestandstype formaten zijn onder andere:

• Parket

• ORC

Uitvoerformaat

Syntho's ADLS uitvoerconnector schrijft alle gegenereerde gegevens naar Parquet bestanden als volgt:

• Elke gegenereerde tabel wordt geschreven naar een parketbestand in het volgende formaat:▪ {schema-name}-{table_name}_part_{part_number}.parquet. {schema-naam}-{tabel_naam}_deel_{deel_nummer}.parket.

• Het aantal rijen in een enkel Parquet bestand (part) wordt gedefinieerd door de batch_generate grootte. Alle Parket-onderdelen van een tabel worden opgeslagen in hun eigen map, die is gewijd aan die specifieke tabel.

• Elke mapnaam heeft het volgende formaat:

  {schema_naam}.{tabel_naam}

Verbind en stel de werkruimte in

Start Syntho en selecteer Connect to a databaseof onder Create workspace > Destination Databasekiezen ADLS. Selecteer voor een volledige lijst van gegevensverbindingen More onder From database. Doe dan het volgende:

1. Voer het externe pad in.

2. Voer de naam van de opslagcontainer in.

3. Ofwel:

   • Voer de opslagaccountnaam en de opslagaccountsleutel in, of:

   • Voer de string voor de opslagverbinding in.

4. Selecteer Create Workspace. Als Syntho geen verbinding kan maken, controleer dan of je gegevens correct zijn. Als je nog steeds geen verbinding kunt maken, heeft je computer problemen met het vinden van de server. Neem contact op met uw netwerkbeheerder of databasebeheerder.

Beperkingen

• Voor ORC-bestanden worden kolommen vol met Geen-waarden die van het type Char, String of Varchar zijn, geschreven als "Geen" (d.w.z. een tekenreekswaarde) naar de doeldatabase in plaats van Geen.

• Er kunnen fouten optreden tijdens de gegevensconversie bij het schrijven naar ORC-bestanden als het om niet-ondersteunde gegevenstypen gaat. Supported Data Types: De ondersteunde datatypes voor ORC-bestanden worden gespecificeerd in de Apache Arrow documentatie.

  Logisch type	Afgebeeld pijltype
  BOOLEAN Boolean
  BYTE	Int8
  SHORT	Int16
  INT	Int32
  LONG	Int64
  FLOAT	Float32
  DUBBEL	Float64
  STRING	String/LargeString
  BINARY	Binair/LargeB binair/Vaste grootteB binair
  TIMESTAMP	Tijdstempel/Datum64
  TIMESTAMP_INSTANT	Tijdstempel
  LIST	Lijst/GroteLijst/VasteGrootteLijst
  MAP
  Struct
  UNION	SparseUnion/DenseUnion
  DECIMAL	Decimal128/Decimal256
  DATUM	Date32
  VARCHAR	String
  CHAR	String

Neem contact op met uw Syntho contactpersoon om mogelijke beperkingen met betrekking tot deze connector te bespreken.