Veri Yönetimi Nedir?

Veri yönetimi uygulaması, verilere erişimi kontrol etmek için veri yönetimine ek olarak yüksek kaliteli verilerin toplanmasını ve dağıtımını kapsar.

Veri kalitesi yönetimi

Veri kullanıcıları, verilerin her kullanım durumu için yeterince güvenilir ve tutarlı olmasını bekler.

Veri kalitesi yöneticileri, bir kuruluşun veri kalitesini ölçer ve iyileştirir. Hem mevcut hem de yeni verileri inceler ve standartları karşıladığını doğrularlar. Ayrıca düşük kaliteli verilerin sisteme girmesini engelleyen veri yönetimi süreçleri de oluşturabilirler. Veri kalitesi standartları genel olarak aşağıdakileri ölçer:

• Önemli bilgiler eksik mi yoksa veriler tamamlandı mı? (Örneğin müşteri, önemli iletişim bilgilerini dışarıda bırakmıştır)
• Veriler temel veri kontrol kurallarını karşılıyor mu? (örneğin, bir telefon numarası 10 haneli olmalıdır)
• Aynı veriler sistemde ne sıklıkla görünür? (örneğin, aynı müşterinin yinelenen veri girişleri)
• Veriler doğru mu? (örneğin, müşteri yanlış e-posta adresini girmiştir)
• Veri kalitesi sistem genelinde tutarlı mı? (Örneğin doğum tarihi, bir veri kümesinde gg/aa/yyyy biçimindedir ancak başka bir veri kümesinde aa/gg/yyyy biçimindedir)

Veri dağıtımı ve tutarlılığı

Veri dağıtımı için uç noktalar

Çoğu kuruluş için verilerin, gerekli olduğu çeşitli uç noktalara (veya yakınına) dağıtılması gerekir. Bunlara operasyonel sistemler, veri gölleri ve veri ambarları dâhildir. Veri dağıtımı, ağ gecikmeleri nedeniyle gereklidir. Operasyonel kullanım için veri ihtiyacı olduğunda ağ gecikmesi, zamanında teslim etmek için yeterli olmayabilir. Verilerin bir kopyasını yerel bir veri tabanında saklanması ağ gecikmesi sorununu çözer.

Veri dağıtımı, veri birleştirme için de gereklidir. Veri ambarları ve veri gölleri, birleştirilmiş bir bilgi görünümü sunmak için çeşitli kaynaklardan gelen verileri birleştirir. Veri ambarları analiz ve karar verme amacıyla kullanılırken veri gölleri, çeşitli kullanım durumları için verilerin çıkarılabileceği birleştirilmiş bir merkezdir.

Veri çoğaltma mekanizmaları ve tutarlılık üzerindeki etkisi

Veri dağıtım mekanizmalarının veri tutarlılığı üzerinde olası bir etkisi vardır ve bu, veri yönetiminde önemli bir husustur.

Güçlü tutarlılık, verilerin zaman uyumlu şekilde çoğaltılmasından kaynaklanır. Bu yaklaşımda, bir veri değeri değiştirildiğinde tüm uygulamalar ve kullanıcılar verilerin değişen değerini görürler. Verilerin yeni değeri henüz çoğaltılmadıysa tüm kopyalar güncellenene kadar verilere erişim engellenir. Zaman uyumlu çoğaltma, performansa ve verilere erişime göre tutarlılığa öncelik verir. Zaman uyumlu çoğaltma, çoğunlukla finansal veriler için kullanılır.

Nihai tutarlılık, verilerin zaman uyumlu şekilde çoğaltılmasından kaynaklanır. Veriler değiştirildiğinde kopyalar niahi olarak güncellenir (genellikle saniyeler içinde) ancak eski kopyalara erişim engellenmez. Bu, birçok kullanım durumu için bir sorun teşkil etmez. Örneğin, sosyal medya gönderileri, beğeniler ve yorumlar güçlü tutarlılık gerektirmez. Başka bir örnek de, bir müşteri bir uygulamada telefon numarasını değiştirirse bu değişikliğin zaman uyumsuz olarak basamaklandırılabiliyor olmasıdır.

Akışı toplu güncellemelerle karşılaştırma

Veri akışları, meydana geldikçe veri değişikliklerini basamaklandırır. Bu, neredeyse gerçek zamanlı verilere erişim gerekiyorsa tercih edilen yaklaşımdır. Veriler çıkarılır, dönüştürülür ve değiştirilir değiştirilmez hedefine teslim edilir.

Toplu güncellemeler, verilerin teslim edilmeden önce toplu olarak işlenmesi gerektiğinde daha uygundur. Verilerin istatistiksel analizini özetlemek veya gerçekleştirmek ve sadece sonucu göndermek buna bir örnektir. Toplu güncellemeler, tüm veriler belirli bir zamanda çıkarılırsa verilerin zaman içindeki iç tutarlılığını da koruyabilir. Bir ayıklama, dönüştürme, yükleme (ETL veya ELT) işlemi yoluyla yapılan toplu güncellemeler, genellikle veri gölleri, veri ambarları ve analiz için kullanılır.

Büyük veri yönetimi

Büyük veri, bir kuruluşun kısa bir süre içinde yüksek hızda topladığı büyük hacimli verilerdir. Sosyal medyadaki video haber akışları ve akıllı sensörlerden gelen veri akışları büyük verilere örnektir. Operasyonların hem ölçeği hem de karmaşıklığı, büyük veri yönetiminde zorluklar yaratır. Örneğin bir büyük veri sistemi, aşağıdaki gibi verileri depolar:

• Tablo biçiminde iyi şekilde temsil eden yapılandırılmış veriler
• Belgeler, resimler ve videolar gibi yapılandırılmamış veriler
• Önceki iki türü birleştiren yarı yapılandırılmış veriler

Büyük veri yönetimi araçları, verileri analiz için işlemek ve hazırlamak zorundadır. Büyük veri için gerekli araçlar ve teknikler, genel olarak şu işlevleri yerine getirir: veri entegrasyonu, veri depolama ve veri analizi.

Veri mimarisi ve veri modelleme

Veri mimarisi

Veri mimarisi, bir kuruluşun veri varlıklarını tanımlar ve veri akışı oluşturup yönetmek için bir ayrıntılı plan sağlar. Veri yönetimi planı, veri yönetimi stratejisinin uygulanmasına en uygun operasyonel veri tabanları, veri gölleri, veri ambarları ve sunucular gibi teknik ayrıntıları içerir.

Veri modelleme

Veri modelleme, iş akışlarını ve farklı veri türleri arasındaki ilişkileri görselleştiren kavramsal ve mantıksal veri modelleri oluşturma sürecidir. Veri modelleme işe genellikle verileri kavramsal olarak sunarak ve ardından seçilen teknolojiler bağlamında tekrar sunarak başlar. Veri yöneticileri, veri tasarımı aşamasında birkaç farklı türde veri modeli oluşturur.

Veri yönetişimi

Veri yönetimi, bir kuruluşun veri güvenliğini, bütünlüğünü ve sorumlu veri yardımcı programını yönetmek için uyguladığı politika ve prosedürleri içerir. Veri yönetimi stratejisini tanımlar ve kimin hangi verilere erişebileceğini belirler. Veri yönetimi politikaları, aynı zamanda ekiplerin ve bireylerin verilere erişme ve kullanma biçiminde sorumluluk sağlar. Veri yönetimi işlevleri genel olarak şunları içerir:

Mevzuata uygunluk

Veri yönetimi politikaları, düzenleyici para cezaları veya eylem riskini azaltır. Çalışan eğitimine odaklanırlar, böylece yasalara bağlılık her düzeyde gerçekleşir. Örneğin bir kuruluş, veri sistemlerini iyileştirmek için şirket dışından bir geliştirme ekibiyle iş birliği yapar. Veri yönetimi yöneticileri, tüm kişisel verilerin test amacıyla kullanılmak üzere şirket dışı ekibe iletilmeden önce kaldırıldığını doğrular.

Veri güvenliği ve erişim denetimi

Veri yönetimi, verilere yetkisiz erişimi önler ve verileri bozulmaya karşı korur. Aşağıda belirtildiği gibi, korumanın tüm yönlerini içerir:

• Yanlışlıkla veri hareketini veya silinmesini önleme
• Ağ saldırıları riskini azaltmak için ağ erişimini güvence altına alma
• Verileri depolayan fiziksel veri merkezlerinin güvenlik gereksinimlerini karşıladığını doğrulama
• Çalışanlar kişisel cihazlardan eriştiğinde bile verileri güvende tutma
• Kullanıcı kimlik doğrulaması, yetkilendirme ve veriler için erişim izinlerinin ayarlanması ve uygulanması
• Depolanan verilerin, depolandığı ülkedeki yasalara uygun olmasını sağlama
   

En iyi veri yönetimi uygulamaları, başarılı bir veri stratejisinin temelini oluşturur. Aşağıdakiler, yaygın olarak kullanılan en iyi uygulamalardır.

Ekip işbirliği

Bir kuruluşun veri gereksinimlerinin karşılandığından emin olmak için iş kullanıcıları ve teknik ekipler iş birliği yapmalıdır. Tüm veri işleme ve analiz, iş zekâsı gereksinimlerine öncelik vermelidir. Aksi takdirde, kötü planlanmış veri yönetimi projelerinde boşa harcanan kaynaklar ile toplanan veriler kullanılmadan kalacaktır.

Automation

Başarılı bir veri yönetimi stratejisi, veri işleme ve hazırlama görevlerinin çoğunda otomasyonu içerir. Veri dönüştürme görevlerini manuel olarak gerçekleştirmek zahmetlidir ve ayrıca sistemde hataların oluşmasına neden olur. Haftalık toplu işleri yürütmek gibi sınırlı sayıda manuel görev bile sistem darboğazlarına neden olabilir. Veri yönetimi yazılımı daha hızlı ve daha verimli ölçeklendirmeyi destekleyebilir.

Bulut bilgi işlem

İşletmeler, geniş bir yetenek yelpazesi sunan modern veri yönetimi çözümlerine ihtiyaç duyar. Bir bulut çözümü, performanstan ödün vermeden veri yönetiminin tüm yönlerini uygun ölçekte yönetebilir. Örneğin AWS, tek bir hesaptan veri tabanları, veri gölleri, analizler, veri erişilebilirliği, veri yönetişimi ve güvenlik gibi çok çeşitli işlevler sunar.