Azure Data Lake Storage (ADLS)

Destination only

Ce connecteur ne peut être utilisé que comme destination pour l'écriture des données générées.

Types de fichiers pris en charge : Parquet
partitionnement pris en charge : Partitionnement horizontal basé sur la taille du lot d'écriture (c'est-à-dire que chaque lot sera écrit dans un fichier séparé). Veuillez également donner un exemple de structure de sortie de fichier

Avant de commencer

Avant de commencer, passez en revue les éléments de la liste suivante :

Obtenez l'URL de votre Azure point de terminaison du stockage.
En fonction de la manière dont vous souhaitez vous connecter, préparez soit :
- le nom et la clé du compte de stockage, ou
- la chaîne de connexion.
Fournir des autorisations de lecture/écriture pour le conteneur de stockage utilisé (c'est-à-dire le nom du conteneur de stockage).
Obtenir le chemin d'accès distant, qui est le chemin d'accès relatif au conteneur de stockage utilisé.

Formats de fichiers

Les formats de fichiers pris en charge sont les suivants :

Parquet
ORC

Format de sortie

Le connecteur de sortie ADLS de Syntho écrira toutes les données générées dans le format Parquet comme suit :

Chaque table générée sera écrite dans un fichier Parquet au format suivant {nom-schéma}-{nom-table}_partie_{nom_de_la_partie}.parquet
Le nombre de lignes dans un seul fichier Parquet (partie) est défini par la taille de batch_generate. Toutes les parties Parquet d'une table unique seront stockées dans leur propre répertoire, qui est dédié à cette table particulière.
Chaque nom de répertoire utilisera le format suivant :
{nom_du_schema}.{nom_de_la_table}

Connexion et configuration de l'espace de travail

Lancer Syntho et sélectionner Connect to a databaseou sous Create workspace > Destination Database, sélectionner ADLS. Pour obtenir une liste complète des connexions de données, sélectionnez More sous From database. Procédez ensuite comme suit :

Saisissez le chemin d'accès à distance.
Saisissez le nom du conteneur de stockage.
Soit :
- Saisissez le nom du compte de stockage et la clé du compte de stockage, ou:
- Saisissez la chaîne de connexion du stockage.
Sélectionnez Create Workspace. Si Syntho ne parvient pas à établir la connexion, vérifiez que vos informations d'identification sont correctes. Si vous n'arrivez toujours pas à vous connecter, votre ordinateur a du mal à localiser le serveur. Contactez votre administrateur réseau ou votre administrateur de base de données.

Limitations

Pour les fichiers ORC, les colonnes remplies de valeurs None qui sont de type Char, String ou Varchar seront écrites comme "None" (c'est-à-dire une valeur de chaîne) dans la base de données de destination au lieu de None.
Des erreurs peuvent se produire pendant la conversion des données lors de l'écriture dans des fichiers ORC si des types de données non pris en charge sont impliqués. Supported Data Types: Les types de données pris en charge pour les fichiers ORC sont spécifiés dans la documentation Apache Arrow.

Contactez votre interlocuteur Syntho pour discuter des limitations éventuelles concernant ce connecteur.

PreviousSAP Sybase NextAmazon Simple Storage Service (S3)

Last updated 3 months ago

Avant de commencer

Avant de commencer, passez en revue les éléments de la liste suivante :

Obtenez l'URL de votre Azure point de terminaison du stockage.

En fonction de la manière dont vous souhaitez vous connecter, préparez soit :

le nom et la clé du compte de stockage, ou
la chaîne de connexion.

Fournir des autorisations de lecture/écriture pour le conteneur de stockage utilisé (c'est-à-dire le nom du conteneur de stockage).

Obtenir le chemin d'accès distant, qui est le chemin d'accès relatif au conteneur de stockage utilisé.

Format de sortie

Le connecteur de sortie ADLS de Syntho écrira toutes les données générées dans le format Parquet comme suit :

Chaque table générée sera écrite dans un fichier Parquet au format suivant {nom-schéma}-{nom-table}_partie_{nom_de_la_partie}.parquet

Le nombre de lignes dans un seul fichier Parquet (partie) est défini par la taille de batch_generate. Toutes les parties Parquet d'une table unique seront stockées dans leur propre répertoire, qui est dédié à cette table particulière.

Chaque nom de répertoire utilisera le format suivant :

{nom_du_schema}.{nom_de_la_table}

Connexion et configuration de l'espace de travail

Saisissez le chemin d'accès à distance.

Saisissez le nom du conteneur de stockage.

Soit :

Saisissez le nom du compte de stockage et la clé du compte de stockage, ou:
Saisissez la chaîne de connexion du stockage.

Sélectionnez Create Workspace. Si Syntho ne parvient pas à établir la connexion, vérifiez que vos informations d'identification sont correctes. Si vous n'arrivez toujours pas à vous connecter, votre ordinateur a du mal à localiser le serveur. Contactez votre administrateur réseau ou votre administrateur de base de données.

Limitations

Pour les fichiers ORC, les colonnes remplies de valeurs None qui sont de type Char, String ou Varchar seront écrites comme "None" (c'est-à-dire une valeur de chaîne) dans la base de données de destination au lieu de None.

Des erreurs peuvent se produire pendant la conversion des données lors de l'écriture dans des fichiers ORC si des types de données non pris en charge sont impliqués. Supported Data Types: Les types de données pris en charge pour les fichiers ORC sont spécifiés dans la documentation Apache Arrow.

Type logique

Type de flèche mappée

Contactez votre interlocuteur Syntho pour discuter des limitations éventuelles concernant ce connecteur.