Büyük hacimli tablo biçimindeki verileri S3'te depolayın
Amazon S3 Tabloları, yerleşik Apache Iceberg desteğine sahip ilk bulut nesne depolamasını sunar ve büyük ölçekli tablo biçimindeki verileri depolamayı kolaylaştırır. Sürekli tablo optimizasyonu, arka planda tablo verilerini otomatik olarak tarayıp yeniden yazar. Bu sayede, yönetilmeyen Iceberg tablolarına kıyasla 3 kata kadar daha hızlı sorgu performansı sağlar. Bu performans optimizasyonları zamanla gelişmeye devam edecektir. Ayrıca S3 Tabloları, genel amaçlı S3 bucket'larında depolanan Iceberg tablolarına kıyasla saniyede 10 kata kadar daha fazla işlem sağlayan Iceberg iş yüklerine özel optimizasyonlar içerir. S3 Tabloları'nın sorgu performansı iyileştirmeleri hakkında ayrıntılı bilgi için bloga bakın.
Apache Iceberg standardı için S3 Tablolar desteğiyle tablo verileriniz, popüler AWS ve üçüncü taraf sorgu altyapıları ile kolayca sorgulanabilir. Günlük satın alma işlemleri, sensör verisi akışı veya reklam gösterimleri gibi tablo biçimindeki verileri S3'te bir Iceberg tablosu olarak depolamak için S3 Tabloları'nı kullanın ve otomatik tablo bakımından yararlanarak verileriniz değiştikçe performansı ve maliyeti optimize edin. Daha fazla bilgi edinmek için blogu okuyun.
Avantajlar
Nasıl çalışır?
S3 Tabloları, yapılandırılmış verilerin Apache Parquet biçiminde depolanması için amaca yönelik S3 depolama alanı sağlar. Doğrudan S3'te bir tablo bucket'ı içinde birinci sınıf kaynaklar olarak tablolar oluşturabilirsiniz. Bu tablolar, kimlik veya kaynak tabanlı politikalarda tanımlanan tablo düzeyinde izinlerle güvence altına alınabilir ve Apache Iceberg standardını destekleyen uygulamalar veya araçlar tarafından erişilebilir. Tablo bucket'ınızda bir tablo oluşturduğunuzda S3'teki temel veriler Parquet verileri olarak depolanır. S3 daha sonra bu Parket verilerini uygulamalarınız tarafından sorgulanabilir hale getirmek için gerekli meta verileri tutar. Tablo bucket'ları, sorgu altyapıları tarafından tablo bucket'ınızdaki tabloların Iceberg meta verilerinde gezinmek ve bunları güncellemek için kullanılan bir istemci kitaplığı içerir. Bu kitaplık, tablo işlemleri için güncellenmiş S3 API'leri ile birlikte, birden fazla istemcinin verileri güvenli bir şekilde okumasına ve tablolarınıza yazmasına olanak tanır. S3 zamanla nesnelerinizi yeniden yazarak veya "sıkıştırarak" temel Parquet verilerini otomatik olarak optimize eder. Sıkıştırma, sorgu performansını iyileştirmek ve maliyetleri en aza indirmek için S3'teki verilerinizi optimize eder. Daha fazla bilgi edinmek için kullanıcı kılavuzunu okuyun

Müşteriler
-
Genesys
Genesys, Yapay Zeka Destekli Deneyim Düzenleme alanında küresel bir bulut lideridir. Gelişmiş yapay zeka, dijital ve iş gücü etkileşim yönetimi yetenekleri aracılığıyla Genesys, gelişmiş iş çevikliği ve sonuçlarından avantaj sağlarken 100'den fazla ülkede 8.000'den fazla kuruluşa kişiselleştirilmiş, empatik müşteri ve çalışan deneyimleri sunmaları konusunda yardımcı oluyor.
Amazon S3 Tabloları, çeşitli veri analizi ihtiyaçları için bir gerçekleştirilmiş görünüm katmanını etkili şekilde oluşturan yönetilen Iceberg desteği başta olmak üzere, veri mimarimize dönüştürücü bir katkı sağlayacaktır. Bu teklif, Genesys'in ekstra tablo yönetimi katmanlarını ortadan kaldırarak karmaşık veri iş akışlarını basitleştirmesine yardımcı olma potansiyeline sahiptir ve S3; sıkıştırma, anlık yedek yönetimi ve referanssız dosya temizleme gibi temel bakım görevlerini otomatik olarak ele alır. Iceberg Tablolarını doğrudan S3'ten okuma ve yazma yeteneği, performansı artırmamıza ve verileri analiz ekosistemimizde sorunsuz bir şekilde entegre etmek için yeni olanaklar yaratmamıza yardımcı olacaktır. Performans geliştirmeleriyle birleşen bu birlikte çalışabilirlik; hızlı, esnek ve güvenilir veri öngörüleri sunmak üzere S3 Tabloları'nı gelecekteki stratejimizin önemli bir parçası olarak konumlandırıyor.
Glenn Nethercutt, Teknoloji Direktörü, Genesys -
Pendulum
Video, ses ve metin içerikleri konusunda dünyanın en geniş kapsamına sahip Marka Zekası platformu olan Pendulum, riskleri ve fırsatları proaktif şekilde tespit ederek kuruluş genelinde daha iyi karar alma ve izleme analizi sağlar.
Pendulum Intelligence olarak yüz milyonlarca sosyal kanal ve kaynaktan gelen verileri analiz ediyoruz. Amazon S3 Tabloları, hem binlerce saatlik analiz edilmiş video ve ses içeriğini işleyen hem de tescilli makine öğrenimi araçlarımızı kullanarak görüntülerden ve diğer ortamlardan neredeyse gerçek zamanda bağlam ayıklayan veri gölümüzü yönetme şeklimizi değiştirdi. Sıkıştırma, anlık yedekler ve dosya temizleme dahil olmak üzere tablo yönetimi yükünü ortadan kaldırması sayesinde, ekibimiz en önemli şeye, yani devasa veri kümelerinden eyleme geçirilebilir öngörüler elde etmeye odaklanabiliyor. Amazon Athena, AWS Glue ve Amazon EMR'den oluşan analiz yığınımızla sorunsuz entegrasyon kurması, karmaşık verileri geniş ölçekte işleme kabiliyetimizi önemli ölçüde artırdı.
Abdurrahman Elbuni, Bulut Büyük Veri Mimarı - Pendulum -
SnapLogic
SnapLogic, yapay zeka liderliğindeki entegrasyonda öncüdür. SnapLogic Üretken Entegrasyon Platformu, görevleri otomatikleştiren, gerçek zamanlı kararlar veren ve mevcut iş akışlarına zahmetsizce entegre olan yapay zeka temsilcileri ve entegrasyonlar tasarlamak, dağıtmak ve yönetmek üzere kuruluş genelinde dijital dönüşümü hızlandırır.
Yerleşik Apache Iceberg desteğine ve AWS Analiz hizmetleri entegrasyonuna sahip Amazon S3 Tabloları, şirketlerin veri analizi maliyetlerini optimize etmelerine yardımcı olurken, iş verilerini analiz, uyumluluk ve yapay zeka girişimleri için kullanma biçimlerini dönüştürmelerine yardımcı olur. Karmaşık veri yönetimi görevlerini otomatikleştirerek ve veri değişikliklerinin eksiksiz denetim izlerini sağlayarak, ekipler geçmiş verileri anında analiz edebilir, mevzuata uygunluğu sürdürebilir ve teknoloji maliyetlerini önemli ölçüde azaltırken iş öngörülerini hızlandırabilir.
Dominic Wellington, Kurumsal Mimar, SnapLogic -
Zus Health
Zus; API, gömülü bileşenler ve doğrudan EHR entegrasyonları aracılığıyla kullanımı kolay hasta verileri sağlayarak sağlık verilerinin birlikte çalışabilirliğini hızlandırmak üzere tasarlanmış, paylaşılan bir sağlık verileri platformudur.
Sık sık değişen hasta verilerini ele alan bir sağlık şirketi olarak Apache Iceberg'e yatırım yapmaya karar verdik çünkü bölümleme ve otomasyon konularında Apache Hive ile ilişkili pek çok sorun noktasını daha kapsamlı bir birlikte çalışabilirlik ek avantajıyla çözümledi. Iceberg ile ilgili en büyük zorluklarımızdan biri tablo optimizasyonunu anlamak ve yönetmek oldu. Bu nedenle S3 Tabloları ve yönetilen optimizasyon yetenekleri konusunda heyecanlıyız. Tablo bakımına ilişkin geliştirici iş yükünü azaltabilmek, müşterilerimize yüksek kaliteli veriler ve değerli öngörüler temin etmeye daha fazla odaklanmamızı sağlayacaktır.
Sonya Huang, Danışman Yazılım Mühendisi, Zus Health
Çözüm ortakları ve entegrasyonlar
-
Daft
Veri mühendisliği, analiz ve ML/AI için birleşik bir altyapı olan ve Rust dilinde yazılmış olan Daft, hem SQL hem de Python DataFrame arabirimlerine birinci sınıf destek sunar. Hızlı ve keyifli bir yerel etkileşimli deneyim sunan Daft, petabayt ölçeğinde dağıtılmış iş yüklerine sorunsuz bir şekilde ölçeklenebilir.
Amazon S3 Tabloları, Daft'ın Apache Iceberg desteğinin mükemmel bir tamamlayıcısıdır. Bu hizmetin AWS Lake Formation ve AWS Glue ile entegrasyonlarından yararlanarak hem mevcut Iceberg okuma ve yazma kabiliyetlerimizi Amazon S3 Tablolarına kolayca genişlettik hem de optimize edilmiş performanstan yararlandık. Bu yeni hizmetin evrimini dört gözle bekliyoruz ve Python Veri Mühendisliği ve ML/AI ekosistemi için sınıfının en iyisi S3 Tabloları desteğini sağlamaktan heyecan duyuyoruz.
Sammy Sidhu, CEO ve Kurucu Ortak - Daft -
Dremio
Dremio; pazar lideri bir SQL altyapısı, açık ve birlikte çalışabilir bir veri kataloğu ve güvenli, ölçeklenebilir ve kullanımı kolay bir platform sunarak yapay zekayı ve analizleri hızlandıran akıllı göl evi platformudur. Apache Iceberg, Apache Polaris (erken geliştirme aşamasında) ve Apache Arrow topluluklarındaki liderliğimiz, kuruluşlara esneklikten ve kontrolden taviz vermeden tamamen açık ve yüksek performanslı göl evi mimarileri oluşturma gücünü vererek tek bir satıcıya bağımlılık riskini ortadan kaldırıyor.
Dremio, Amazon S3 Tablolarının genel kullanılabilirliğini desteklemekten memnuniyet duyar. Apache Iceberg REST Kataloğu (IRC) teknik özelliklerini desteklemesi sayesinde Dremio ile sorunsuz birlikte çalışabilirlik sağlayan S3 Tabloları, kullanıcılara optimize edilmiş S3 tablo bucket'larında yönetilen Apache Iceberg tablolarını sorgulama kabiliyetine sahip yüksek performanslı bir SQL altyapısından yararlanma olanağı tanır. Göl evi ekosistemindeki açık standartların önemini pekiştiren bu iş birliği, entegrasyon karmaşıklığını ortadan kaldırıyor ve müşterilerin benimsemesini hızlandırıyor. Amazon S3 Tabloları ve IRC desteği sayesinde kuruluşlar, yapay zeka çağında birleşik bir göl evi mimarisi oluşturmak için gereken esnekliği ve seçenekleri elde ediyor.
James Rowland-Jones, Üründen Sorumlu Başkan Yardımcısı - Dremio -
DuckDB Labs
DuckDB Labs, popüler bir evrensel veri hazırlama aracı olan DuckDB'nin yaratıcıları tarafından kurulan şirkettir. Şirket, DuckDB sistemine önemli katkılarda bulunanları istihdam ediyor. DuckDB, MIT lisansı altında Ücretsiz ve Açık Kaynaklı bir yazılımdır ve kâr amacı gütmeyen bağımsız DuckDB Foundation tarafından yönetiliyor. DuckDB projesi, kullanım kolaylığı ve taşınabilirliği sayesinde hızlı analiz işlemeyi geniş bir kitlenin erişimine açıyor.
Amazon S3 Tabloları, DuckDB'nin açık dosya formatlarını kullanarak veri analizini demokratikleştirme vizyonuyla mükemmel uyum sağlıyor. AWS ile DuckDB Labs arasındaki iş birliği, DuckDB'deki Iceberg desteğini daha geniş bir alana yaymamıza ve S3 Tabloları ile sorunsuz entegrasyon geliştirmemize olanak tanıyor. Hem DuckDB'nin hem de S3 Tablolarının benimsediği piller kutuya dahildir felsefesinin, giriş gereksinimlerini inanılmaz derecede düşük tutarken çok çeşitli iş yüklerini ele alabilen güçlü bir analiz yığınında birleştiğine inanıyoruz.
Hannes Mühleisen, İcra Kurulu Başkanı (CEO) - DuckDB Labs -
HighByte
HighByte, küresel üreticilerin dijital dönüşüm sürecinde karşılaştıkları veri mimarisi ve entegrasyon zorluklarını ele alan endüstriyel bir yazılım şirketidir. Şirketin kanıtlanmış Endüstriyel Veri Operasyonları yazılımı olan HighByte Intelligence Hub, kodsuz bir arabirim kullanarak, entegrasyon süresini kısaltmak ve analizleri hızlandırmak için AWS bulut hizmetlerine modellenmiş ve kullanıma hazır veriler sağlar.
Amazon S3 Tabloları, analiz iş yükleri için tablo verilerinin yönetimini, performansını ve depolanmasını optimize eden yeni ve güçlü bir özelliktir. HighByte Intelligence Hub'ın Amazon S3 Tabloları ile doğrudan entegrasyonu, küresel üreticilerin endüstriyel verileri için açık bir işlemsel veri gölü oluşturmalarını kolaylaştırır. S3 Tablolarının ham Parquet verileri için anında sorgulama imkanı sunması, müşterilere herhangi bir ek işleme veya dönüşüm gerçekleştirmeden bağlamsal bilgileri anında kullanım için uçtan buluta gönderme olanağı tanır. Bu olanak, ortak müşterilerimiz için hem performans hem de maliyet optimizasyonu üzerinde büyük bir etkiye sahiptir.
Aron Semle, Teknoloji Direktörü (CTO) - HighByte -
PuppyGraph
İlk gerçek zamanlı, sıfır-ETL grafik sorgu altyapısı olan PuppyGraph, masraflı taşıma veya bakım gerektirmeden veri ekiplerine mevcut göl evini birkaç dakika içinde grafik olarak sorgulama olanağı tanır. Petabayt boyutundaki veri kümelerine ölçeklenmesi ve çok noktalı karmaşık sorguları saniyeler içinde yürütmesi sayesinde, dolandırıcılık algılamadan siber güvenliğe ve yapay zeka temelli öngörülere kadar birçok kullanım örneğine güç verir.
Amazon S3 uzun zamandır modern veri altyapısının temeli olmuştur ve S3 Tablolarının kullanıma sunulması Apache Iceberg'i veri ve yapay zeka için evrensel standart haline getirerek önemli bir kilometre taşını temsil edilmektedir. Kuruluşların S3 üzerinde yüksek performanslı, açık tablo formatlarından yararlanmasına olanak tanıyan bu yenilik, veri çoğaltma olmadan çok altyapılı analizleri mümkün kılar. PuppyGraph müşterileri için bu yenilik, bundan böyle gerçek zamanlı grafik sorgularını doğrudan S3 verileri üzerinde çalıştırarak, karmaşık ETL yükü olmadan taze ve ölçeklenebilir öngörüleri sürdürebilecekleri anlamına gelir. Grafik analizlerini verilerin kendisi kadar sorunsuz hale getiren bu evrimin bir parçası olmaktan heyecan duyuyoruz.
Weimo Liu, Kurucu Ortak ve CEO - PuppyGraph -
Snowflake
Snowflake, kurumsal yapay zekayı kolay, bağlantılı ve güvenilir hale getirir. Dünyanın en büyük şirketlerinden yüzlercesi de dahil olmak üzere dünyanın dört bir yanındaki binlerce şirket; verileri paylaşmak, uygulamalar oluşturmak ve işlerini yapay zeka ile güçlendirmek için Snowflake'in Yapay Zeka Veri Bulutunu kullanıyor.
Snowflake'in büyüsünü Amazon S3 Tablolarına getirmekten heyecan duyuyoruz. Bu iş birliği, Snowflake müşterilerine mevcut Snowflake kurulumlarını kullanarak S3 Tablolarında depolanan verileri sorunsuz bir şekilde okuma ve işleme imkanı sağlayarak karmaşık veri taşıma veya çoğaltma ihtiyaçlarını ortadan kaldırıyor. Kuruluşlar, Snowflake'in birinci sınıf performans analizi kabiliyetlerini Amazon S3 Tablolarının Apache Iceberg tablolarını verimli bir şekilde depolama kabiliyetiyle birleştirerek Amazon S3'te depolanan tablo verilerini kolayca sorgulayabilir ve analiz edebilir.
Rithesh Makkena, Çözüm Ortağı Çözümleri Mühendisliği Küresel Direktörü - Snowflake -
Starburst
Starburst; analiz, yapay zeka ve veri uygulamalarının ihtiyaç duyduğu temel veri mimarisine güç verir. Büyük ölçekte erişim, iş birliği ve yönetişim sağlamak için Apache Iceberg tarafından desteklenen hibrit bir veri gölü ortamı kullanır.
Amazon S3'ün, Iceberg Açık Veri Göl Evi ekosistemini daha da ileriye taşıyarak S3 Tabloları ile Apache Iceberg için yerleşik destek sunmasından heyecan duyuyoruz. S3 tablo bucket'ları sayesinde AWS ile iş birliği yaparak, ortak müşterilerimizin önde gelen bir açık kaynaklı MPP SQL altyapısı olan optimize edilmiş Trino tarafından desteklenen Açık Göl Evi'nin gücünü çeşitli analiz ve yapay zeka kullanım örneklerinde Amazon S3'teki verilere taşımasına yardımcı olmayı dört gözle bekliyoruz.
Matt Fuller, Üründen Sorumlu Başkan Yardımcısı - Starburst -
StreamNative
StreamNative, yapay zekayı ve analizleri uygun maliyetli ve yüksek performanslı veri alımı ile destekleyen bir mesajlaşma ve akış platformudur. StreamNative Ursa altyapısı, işletmelerin Kafka uyumluluğu, lidersiz mimari ve göl evi temelli depolama sayesinde toplam sahip olma maliyetini (TCO) %90 oranında azaltmasını sağlayarak yapay zekaya hazır verileri geniş ölçekte erişilebilir hale getiriyor.
Amazon S3 Tablolarıyla entegrasyonumuz, yapay zekaya hazır gerçek zamanlı verileri her zamankinden daha açık ve erişilebilir hale getiriyor. Ursa'nın S3 üzerindeki lidersiz mimarisi depolama maliyetlerini zaten düşürürken, S3 Tabloları ile doğrudan entegrasyon performansı ve verimliliği daha da artırıyor. Yapay zeka odaklı bir dünyada, veri yönetişimi büyük önem taşıyor. StreamNative olarak bir yandan işletmelerin toplam sahip olma maliyetlerini (TCO) %90 oranında azaltmalarına yardımcı olurken bir yandan da yönetişim kapsamındaki gerçek zamanlı verilerle yapay zeka destekli uygulamalar oluşturmayı zahmetsiz ve uygun maliyetli hale getirmek için elimizden gelenin en iyisini yapıyoruz.
Sijie Guo, CEO ve Kurucu Ortak - StreamNative