Amazon Simple Storage Service (S3)
Last updated
Last updated
Destination only
Ce connecteur ne peut être utilisé que comme destination pour l'écriture des données générées.
Types de fichiers pris en charge : Parquet
partitionnement pris en charge : Partitionnement horizontal basé sur la taille du lot d'écriture (c'est-à-dire que chaque lot sera écrit dans un fichier séparé). Veuillez également donner un exemple de structure de sortie de fichier
Avant de commencer, rassemblez ces informations de connexion :
Obtenez les détails de connexion pour vous connecter à votre S3 bucket
Les formats de fichiers pris en charge sont les suivants :
Parquet
ORC
Le connecteur de sortie S3 de Syntho écrira toutes les données générées dans des fichiers comme suit :
Chaque table générée sera écrite dans un fichier Parquet au format suivant:\N-{nom-du-schéma}-{nom-de-la-table}partie{nom-de-la-partie}.parquet.
{nom du schéma}-{nom de la table}partie{nom de la partie}.parquet`
Le nombre de lignes dans un seul fichier Parquet (partie) est défini par la taille de batch_generate
. Toutes les parties Parquet d'une table unique seront stockées dans leur propre répertoire, qui est dédié à cette table particulière.
Chaque nom de répertoire utilisera le format suivant :
{nom_du_schema}.{nom_de_la_table}
Lancer Syntho et sélectionner Connect to a databaseou sous Create workspace > Destination Database, sélectionner S3. Pour obtenir une liste complète des connexions de données, sélectionnez More sous From database. Procédez ensuite comme suit :
Saisissez le nom du seau.
Saisissez le nom de la région.
Saisissez le numéro de port.
Saisissez l'identifiant de la clé d'accès AWS.
Saisissez la clé d'accès secrète AWS.
Saisir le préfixe. Si Syntho n'arrive pas à se connecter, vérifier que les informations d'identification sont correctes. Si vous n'arrivez toujours pas à vous connecter, votre ordinateur a du mal à localiser le serveur. Contacter l'administrateur réseau ou l'administrateur de la base de données.
Contacter la personne de contact Syntho pour discuter des limitations éventuelles de ce connecteur.
Pour les fichiers ORC, les colonnes remplies de valeurs None qui sont de type Char, String ou Varchar seront écrites comme "None" (c'est-à-dire une valeur de chaîne) dans la base de données de destination au lieu de None.
Des erreurs peuvent se produire pendant la conversion des données lors de l'écriture dans des fichiers ORC si des types de données non pris en charge sont impliqués. Supported Data Types: Les types de données pris en charge pour les fichiers ORC sont spécifiés dans la documentation Apache Arrow.
Type logique | Type de flèche mappée |
---|---|
BOOLEAN | Booléen |
BYTE | Int8 |
SHORT | Int16 |
INT | Int32 |
LONG | Int64 |
FLOAT | Float32 |
DOUBLE | Float64 |
BINARY - Binaire/Grand Binaire/Fixe | |
BINARY - Binary/LargeBinary/FixedSizeBinary - Binaire/LargeBinary/FixedSizeBinary - Binaire/LargeBinary/FixedSizeBinary | |
Binary/LargeBinary/FixedSizeBinary | TIMESTAMP |
TIMESTAMP_INSTANT | Horodatage |
Liste des noms de domaine - Liste des noms de domaine - Liste des noms de domaine - Liste des noms de domaine - Liste des noms de domaine - Liste des noms de domaine - Liste des noms de domaine - Liste des noms de domaine | |
LIST/LargeList/FixedSizeList | MAP |
STRUCT | Struct |
UNION | SparseUnion/DenseUnion |
DECIMAL | Décimale128/Décimale256 |
Date32 | Date32 |
VARCHAR | Chaîne de caractères |
VARCHAR | Chaînes de caractères |
Contactez votre interlocuteur Syntho pour discuter des limitations éventuelles concernant ce connecteur.