LogoLogo
Go to Syntho.AI
Dutch (AI Translated)
Dutch (AI Translated)
  • Welcome to Syntho
  • Overzicht
    • About Syntho
    • Get started
      • Introduction to data generation methods
      • Use Case: AI-generated synthetic data
      • Use Case: AI-generated synthetic time series data
      • Use Case: Database de-identification
    • Frequently asked questions
  • Werkruimten instellen
    • View workspaces
    • Create a workspace
      • Connect to a database
        • PostgreSQL
        • MySQL / MariaDB
        • Oracle
        • Microsoft SQL Server
        • DB2
        • Databricks
        • Hive
        • SAP Sybase
        • Azure Data Lake Storage (ADLS)
        • Amazon Simple Storage Service (S3)
    • Edit a workspace
    • Delete a workspace
    • Share a workspace
    • Transfer workspace ownership
  • Een gegevensgeneratietaak configureren
    • Configure table settings
    • Configure column settings
      • AI-powered generation
        • Sequence model
          • Prepare your sequence data
      • Mockers
        • Consistent mapping
        • Supported languages
      • Duplicate
      • Exclude
      • Hashing
      • Calculated columns
      • Primary Key / Foreign Key
    • Manage personally identifiable information (PII)
      • Discover and de-identify PII columns
        • Identify PII columns manually
        • Automatic PII discovery with PII scanner
      • Remove columns from PII list
      • Automatic PII discovery and de-identification in free text columns
      • Supported PII & PHI entities
    • Manage foreign keys
      • Foreign key inheritance
      • Add virtual foreign keys
        • Add virtual foreign keys
        • Use foreign key scanner
        • Import foreign keys via JSON
        • Export foreign keys via JSON
      • Delete foreign keys
      • Circular foreign key references
    • Validate and Synchronize workspace
    • View and adjust generation settings
    • Table relationships
      • Verify foreign keys
      • Synthesize individual tables with automatic key matching
      • De-identify PII columns
  • Syntho implementeren
    • Introduction
      • Syntho architecture
      • Requirements
        • Requirements for Docker deployments
        • Requirements for Kubernetes deployments
      • Access Docker images
        • Using internet
        • Without internet
    • Deploy Syntho using Docker
      • Preparations
      • Deploy using Docker Compose
      • Run the application
      • Manually saving logs
    • Deploy Syntho using Kubernetes
      • Preparations
      • Deploy Ray using Helm
        • Troubleshooting
      • Deploy Syntho using Helm
      • Validate the deployment
      • Troubleshooting
      • Upgrading the applications
    • Manage users and access
      • Single Sign-On (SSO) in Azure
      • Manage admin users
      • Manage non-admin users
    • Logs and monitoring
  • Subsetting
    • What is subsetting
    • Verify foreign keys
    • Configure subsetting
  • Syntho API
    • Syntho REST API
Powered by GitBook
On this page
  • Voordat je begint
  • Bestandsindelingen
  • Uitvoerformaat
  • Verbind en stel de werkruimte in
  • Beperkingen en overwegingen

Was this helpful?

  1. Werkruimten instellen
  2. Create a workspace
  3. Connect to a database

Amazon Simple Storage Service (S3)

PreviousAzure Data Lake Storage (ADLS)NextEdit a workspace

Last updated 10 months ago

Was this helpful?

Bron en Bestemming Databases

Destination only

Deze connector kan alleen worden gebruikt als bestemming voor het schrijven van je gegenereerde gegevens.

  • ondersteunde bestandstypen: Parket

  • Ondersteunde partitionering: Horizontale partitionering op basis van de grootte van de schrijfbatch (d.w.z. elke batch wordt naar een apart bestand geschreven). Geef ook een voorbeeld van de uitvoerstructuur van het bestand

Voordat je begint

Verzamel deze verbindingsinformatie voordat je begint:

  • Verkrijg de verbindingsgegevens om verbinding te maken met je S3 bucket

Bestandsindelingen

Ondersteunde bestandsindelingen zijn onder andere:

  • Parket

  • ORC

Uitvoerformaat

Syntho's S3 uitvoerconnector schrijft alle gegenereerde gegevens als volgt naar bestanden:

  • Elke gegenereerde tabel zal worden geschreven naar een Parquet bestand in het volgende formaat:¦. {schema-naam}-{tabel_naam}_deel_{deel_nummer}.parket.

  • Het aantal rijen in een enkel Parquet bestand (part) wordt gedefinieerd door de batch_generate grootte. Alle Parket-onderdelen van een tabel worden opgeslagen in hun eigen map, die is gewijd aan die specifieke tabel.

  • Elke mapnaam heeft het volgende formaat:

    {schema_naam}.{tabel_naam}

Verbind en stel de werkruimte in

Start Syntho en selecteer Connect to a databaseof onder Create workspace > Destination Databasekiezen S3. Selecteer voor een volledige lijst van gegevensverbindingen More onder From database. Doe dan het volgende:

  1. Voer de naam van de emmer in.

  2. Voer de regionaam in.

  3. Voer het poortnummer in.

  4. Voer de AWS-toegangssleutel id in.

  5. Voer de geheime AWS-toegangssleutel in.

  6. Voer de prefix in. Als Syntho geen verbinding kan maken, controleer dan of je gegevens correct zijn. Als u nog steeds geen verbinding kunt maken, heeft uw computer problemen met het vinden van de server. Neem contact op met uw netwerkbeheerder of databasebeheerder.

Beperkingen en overwegingen

Neem contact op met uw Syntho contactpersoon om mogelijke beperkingen met betrekking tot deze connector te bespreken.

  • Voor ORC bestanden, kolommen vol met Geen waarden die van het type Char, String of Varchar zijn, worden geschreven als "Geen" (d.w.z. een string waarde) naar de bestemmingsdatabase in plaats van Geen.

  • Er kunnen fouten optreden tijdens de gegevensconversie bij het schrijven naar ORC-bestanden als het om niet-ondersteunde gegevenstypen gaat. Supported Data Types: De ondersteunde datatypes voor ORC-bestanden worden gespecificeerd in de Apache Arrow documentatie.

    Logisch type
    Afgebeeld pijltype

    BOOLEAN Boolean

    BYTE

    Int8

    SHORT

    Int16

    INT

    Int32

    LONG

    Int64

    FLOAT

    Float32

    DUBBEL

    Float64

    STRING

    String/LargeString

    BINARY

    Binair/LargeB binair/Vaste grootteB binair

    TIMESTAMP

    Tijdstempel/Datum64

    TIMESTAMP_INSTANT

    Tijdstempel

    LIST

    Lijst/GroteLijst/VasteGrootteLijst

    MAP

    Struct

    UNION

    SparseUnion/DenseUnion

    DECIMAL

    Decimal128/Decimal256

    DATUM

    Date32

    VARCHAR

    String

    CHAR

    String

Neem contact op met uw Syntho contactpersoon om mogelijke beperkingen met betrekking tot deze connector te bespreken.