LogoLogo
Go to Syntho.AI
Japanese (AI Translated)
Japanese (AI Translated)
  • Welcome to Syntho
  • 概要
    • About Syntho
    • Get started
      • Introduction to data generation methods
      • Use Case: AI-generated synthetic data
      • Use Case: AI-generated synthetic time series data
      • Use Case: Database de-identification
    • Frequently asked questions
  • ワークスペースの設定
    • View workspaces
    • Create a workspace
      • Connect to a database
        • PostgreSQL
        • MySQL / MariaDB
        • Oracle
        • Microsoft SQL Server
        • DB2
        • Databricks
        • Hive
        • SAP Sybase
        • Azure Data Lake Storage (ADLS)
        • Amazon Simple Storage Service (S3)
    • Edit a workspace
    • Delete a workspace
    • Share a workspace
    • Transfer workspace ownership
  • データ生成ジョブの設定
    • Configure table settings
    • Configure column settings
      • AI-powered generation
        • Sequence model
          • Prepare your sequence data
      • Mockers
        • Consistent mapping
        • Supported languages
      • Duplicate
      • Exclude
      • Hash
      • Calculated columns
      • Primary Key / Foreign Key
        • Key generators
    • Manage personally identifiable information (PII)
      • Discover and de-identify PII columns
        • Identify PII columns manually
        • Automatic PII discovery with PII scanner
      • Remove columns from PII list
      • Automatic PII discovery and de-identification in free text columns
      • Supported PII & PHI entities
    • Manage foreign keys
      • Foreign key inheritance
      • Add virtual foreign keys
        • Add virtual foreign keys
        • Use foreign key scanner
        • Import foreign keys via JSON
        • Export foreign keys via JSON
      • Delete foreign keys
      • Circular foreign key references
    • Validate and Synchronize workspace
    • View and adjust generation settings
    • Table relationships
      • Verify foreign keys
      • Synthesize individual tables with automatic key matching
      • De-identify PII columns
  • デプロイ・シント
    • Introduction
      • Syntho architecture
      • Requirements
        • Requirements for Docker deployments
        • Requirements for Kubernetes deployments
      • Access Docker images
        • Using internet
        • Without internet
    • Deploy Syntho using Docker
      • Preparations
      • Deploy using Docker Compose
      • Run the application
      • Manually saving logs
    • Deploy Syntho using Kubernetes
      • Preparations
      • Deploy Ray using Helm
        • Troubleshooting
      • Deploy Syntho using Helm
      • Validate the deployment
      • Troubleshooting
      • Upgrading the applications
    • Manage users and access
      • Single Sign-On (SSO) in Azure
      • Manage admin users
      • Manage non-admin users
    • Logs and monitoring
  • サブセット
    • What is subsetting
    • Verify foreign keys
    • Configure subsetting
  • シンセAPI
    • Syntho REST API
Powered by GitBook
On this page
  • 始める前に
  • ファイル形式
  • 出力フォーマット
  • ワークスペースの接続と設定
  • 制限と考慮事項

Was this helpful?

  1. ワークスペースの設定
  2. Create a workspace
  3. Connect to a database

Amazon Simple Storage Service (S3)

PreviousAzure Data Lake Storage (ADLS)NextEdit a workspace

Last updated 9 months ago

Was this helpful?

{ヒント style="info" %}。 Destination only

このコネクタは、生成したデータの書き込み先としてのみ使用できます。

  • 対応ファイル形式: パルケ

  • 対応パーティション: 書き込みバッチサイズに基づく水平パーティショニング(すなわち、各バッチは別々のファイルに書き込まれる)。ファイル出力構造の例も示してください。

ファイル出力構造の例も示してください。

始める前に

始める前に, この接続情報を収集する:

  • 接続の詳細を取得し S3 bucket

ファイル形式

サポートされているファイル形式:

  • パルケ

  • ORC

出力フォーマット

Syntho の S3 出力コネクターは、生成されたすべてのデータを以下のようにファイルに書き込みます。:

  • 生成された各テーブルは、以下のフォーマットでParquetファイルに書き込まれる。: {schema-name}-{table_name}_part_{part_number}.parquet

  • 1つのParquetファイル(パート)の行数は batch_generate サイズになります。1つのテーブルのすべてのParquetパートは、それぞれのディレクトリに格納されます。, これはその特定のテーブル専用である。

  • 各フォルダ名には以下の形式が使用されます。:

    {schema_name}.{table_name}

ワークスペースの接続と設定

Syntho を起動し Connect to a database, 以下 Create workspace > Destination Database, 選ぶ S3.データ接続の完全なリスト, 選ぶ More アンダー From database.そして、次のようにする。:

1.バケツ名を入力します。 2.リージョン名を入力します。 3.ポート番号を入力する。 4.AWSアクセスキーIDを入力します。 5.AWSシークレットアクセスキーを入力します。 6.プレフィックスを入力します。 Synthoが接続できない場合, 認証情報が正しいことを確認してください。それでも接続できない場合は, コンピュータがサーバーを見つけられない。ネットワーク管理者またはデータベース管理者に連絡してください。

制限と考慮事項

このコネクターに関する制限事項については、Syntho の担当者にお問い合わせください。

  • ORCファイルの場合, カラムは Char 型の None 値でいっぱいです。, StringまたはVarcharは、Noneの代わりに "None"(すなわち文字列値)として宛先データベースに書き込まれます。

  • サポートされていないデータタイプが含まれる場合、ORCファイルへの書き込み時にデータ変換中にエラーが発生することがあります。 Supported Data Types: ORCファイルのサポートされるデータ型は、Apache Arrowのドキュメントで指定されています。

    Logical type
    マップされた矢印のタイプ

    BOOLEAN

    ブーリアン

    BYTE

    イント8

    SHORT

    Int16|(英語

    INT

    Int32|(イント

    LONG

    Int64|(英語

    FLOAT

    フロート32

    DOUBLE

    Float64|フロート

    STRING

    String/LargeString|ストリング/ラージストリング

    BINARY

    バイナリ/ラージバイナリー/フィックスサイズバイナリー

    TIMESTAMP

    タイムスタンプ/Date64

    TIMESTAMP_INSTANT

    タイムスタンプ

    LIST

    リスト/ラージリスト/サイズ固定リスト

    MAP

    地図

    STRUCT

    構造

    UNION

    SparseUnion/DenseUnion|スパースユニオン/デンスユニオン

    DECIMAL

    Decimal128/Decimal256|Decimal128/Decimal256|Decimal256

    DATE

    日付|32

    VARCHAR

    ストリング

    CHAR

    ストリング

このコネクタに関する制限の可能性については、Syntho の担当者にお問い合わせください。

ソース・データベースとデスティネーション・データベース