Amazon Simple Storage Service (S3)

Bron en Bestemming Databases

Destination only

Deze connector kan alleen worden gebruikt als bestemming voor het schrijven van je gegenereerde gegevens.

• ondersteunde bestandstypen: Parket

• Ondersteunde partitionering: Horizontale partitionering op basis van de grootte van de schrijfbatch (d.w.z. elke batch wordt naar een apart bestand geschreven). Geef ook een voorbeeld van de uitvoerstructuur van het bestand

Voordat je begint

Verzamel deze verbindingsinformatie voordat je begint:

• Verkrijg de verbindingsgegevens om verbinding te maken met je S3 bucket

Bestandsindelingen

Ondersteunde bestandsindelingen zijn onder andere:

• Parket

• ORC

Uitvoerformaat

Syntho's S3 uitvoerconnector schrijft alle gegenereerde gegevens als volgt naar bestanden:

• Elke gegenereerde tabel zal worden geschreven naar een Parquet bestand in het volgende formaat:¦. {schema-naam}-{tabel_naam}_deel_{deel_nummer}.parket.

• Het aantal rijen in een enkel Parquet bestand (part) wordt gedefinieerd door de batch_generate grootte. Alle Parket-onderdelen van een tabel worden opgeslagen in hun eigen map, die is gewijd aan die specifieke tabel.

• Elke mapnaam heeft het volgende formaat:

  {schema_naam}.{tabel_naam}

Verbind en stel de werkruimte in

Start Syntho en selecteer Connect to a databaseof onder Create workspace > Destination Databasekiezen S3. Selecteer voor een volledige lijst van gegevensverbindingen More onder From database. Doe dan het volgende:

1. Voer de naam van de emmer in.

2. Voer de regionaam in.

3. Voer het poortnummer in.

4. Voer de AWS-toegangssleutel id in.

5. Voer de geheime AWS-toegangssleutel in.

6. Voer de prefix in. Als Syntho geen verbinding kan maken, controleer dan of je gegevens correct zijn. Als u nog steeds geen verbinding kunt maken, heeft uw computer problemen met het vinden van de server. Neem contact op met uw netwerkbeheerder of databasebeheerder.

Beperkingen en overwegingen

Neem contact op met uw Syntho contactpersoon om mogelijke beperkingen met betrekking tot deze connector te bespreken.

• Voor ORC bestanden, kolommen vol met Geen waarden die van het type Char, String of Varchar zijn, worden geschreven als "Geen" (d.w.z. een string waarde) naar de bestemmingsdatabase in plaats van Geen.

• Er kunnen fouten optreden tijdens de gegevensconversie bij het schrijven naar ORC-bestanden als het om niet-ondersteunde gegevenstypen gaat. Supported Data Types: De ondersteunde datatypes voor ORC-bestanden worden gespecificeerd in de Apache Arrow documentatie.

  Logisch type	Afgebeeld pijltype
  BOOLEAN Boolean
  BYTE	Int8
  SHORT	Int16
  INT	Int32
  LONG	Int64
  FLOAT	Float32
  DUBBEL	Float64
  STRING	String/LargeString
  BINARY	Binair/LargeB binair/Vaste grootteB binair
  TIMESTAMP	Tijdstempel/Datum64
  TIMESTAMP_INSTANT	Tijdstempel
  LIST	Lijst/GroteLijst/VasteGrootteLijst
  MAP
  Struct
  UNION	SparseUnion/DenseUnion
  DECIMAL	Decimal128/Decimal256
  DATUM	Date32
  VARCHAR	String
  CHAR	String

Neem contact op met uw Syntho contactpersoon om mogelijke beperkingen met betrekking tot deze connector te bespreken.