Data mesh dilepaskan - memperkayakan data dengan pakar

Data yang disimpan di mana-mana organisasi mempunyai nilai yang sangat besar, dan pengetahuan yang diperoleh daripadanya boleh membezakan satu syarikat daripada pesaingnya. Tidak mempunyai strategi yang kukuh untuk memecahkan silo data adalah kesilapan strategik.

Walaupun kaedah tradisional seperti saluran paip ETL dan tasik data adalah perkara biasa, pendekatan teragih yang lebih inovatif seperti jaringan data dan fabrik data semakin menarik. Matlamat akhir strategi ini adalah untuk mendemokrasikan akses data, memupuk model layan diri dan mempromosikan budaya yang lebih kolaboratif dan dipacu data. Organisasi mesti kekal tangkas, menyesuaikan diri dengan konsep dan teknologi yang berkembang ini untuk mengekalkan kelebihan daya saing.

Membongkar evolusi jaringan data & fabrik data

Data Mesh ialah seni bina data yang direka bentuk untuk memudahkan perkongsian data merentas organisasi. Jaringan data ialah agnostik teknologi dan ditakrifkan oleh empat prinsip.

Pemilikan Domain

Fungsi perniagaan yang mengumpul data memegang kuasa ke atasnya.

Produk Data

Data dibungkus ke dalam produk data, memudahkan perkongsian merentas organisasi.

Layan Diri

Data dan produk data mesti boleh diakses oleh orang bukan teknikal untuk analisis bebas tanpa memerlukan bantuan daripada IT atau domain yang berkongsinya.

Tadbir Urus Bersekutu

Tanggungjawab untuk mentadbir dan melindungi data dikongsi antara domain dan pihak berkuasa IT pusat.

Untuk mengetahui lebih lanjut tentang data mesh, baca blog kami tentang apa itu data mesh dan sebab anda memerlukannya.

Gartner mentakrifkan fabrik data sebagai konsep reka bentuk yang berfungsi sebagai lapisan penyepaduan data dan proses penghubung. Ia menggunakan analitik berterusan ke atas aset metadata yang boleh ditemui dan disimpulkan sedia ada untuk menyokong reka bentuk, penggunaan dan penggunaan data bersepadu dan boleh guna semula merentas semua persekitaran. Sesungguhnya, kedua-dua konsep Data Mesh dan Data Fabrics berkongsi matlamat yang sama: untuk menangani cabaran silo data dan meningkatkan akses kepada data dalam organisasi.

Menukar strategi data teragih

Sejak permulaan konsep Data Mesh, strategi telah berkembang. Pada masa awal, terdapat kecenderungan untuk memberikan domain kuasa untuk menggunakan sebarang alat untuk mencipta produk data untuk dikongsi. Konsep ini telah matang apabila kebimbangan mengenai penyeragaman dan kesalingoperasian timbul. Memperkukuh konsep silo data dan tidak mentakrifkan cara produk data saling beroperasi mungkin bukan pendekatan terbaik, walaupun pemimpin domain mempunyai pemahaman terbaik tentang data. Pelaksanaan jaringan data hari ini menekankan proses dan platform piawai, memastikan penciptaan, perkongsian dan penyepaduan produk data yang mudah.

Pada masa yang sama, seni bina fabrik Data juga telah muncul, memfokuskan pada teknologi, automasi dan kawalan tadbir urus pusat. Walaupun jaringan data dan fabrik data mungkin tidak bersaing, mereka mempengaruhi satu sama lain, mendorong penyesuaian untuk memenuhi keperluan pasaran. Pengamal data moden meneroka cara seni bina fabrik data boleh menyokong konsep jaringan data seperti tadbir urus bersekutu, produk data dan pemilikan domain. Persimpangan ini mencerminkan evolusi berterusan dalam strategi pengurusan data.

Data Mesh lwn. Data Fabric

Penyepaduan data adalah kunci kepada kedua-dua pendekatan, Data mesh dan fabrik data, dengan pendemokrasian data melalui virtualisasi muncul sebagai seni bina pilihan. Virtualisasi membolehkan data kekal dalam domain sumber mereka dan memayakan set data untuk membolehkan pendemokrasian data. Walau bagaimanapun, konsep fabrik data dan jaringan data berbeza dari segi tadbir urus, automasi dan penggunaan/penemuan.

Automasi

Fabrik data memanfaatkan automasi untuk membolehkan layan diri, manakala data mesh bergantung pada pakar domain untuk membenamkan kepakaran mereka dalam produk data.

Tadbir urus

Fabrik data bergantung pada kawalan tadbir urus pusat, manakala data mesh menggunakan pendekatan bersekutu dengan domain yang bertanggungjawab untuk mengawal data mereka sendiri.

Penggunaan

Fabrik data menyatukan aset data dalam katalog data atau menggunakan graf pengetahuan untuk memetakan aset data merentas organisasi. Pendekatan data mesh mendedahkan data melalui produk data ciptaan domain, biasanya diterbitkan melalui pasaran produk data.

Memandangkan konsep jaringan data dan teknologi fabrik data ini berkembang, mereka telah mula berkumpul. Pengamal sedang bereksperimen dengan pelbagai peringkat kawalan, penyatuan data dan automasi. AI memainkan peranan penting dalam membolehkan penumpuan ini.

Apabila pasaran berkembang, ia menjadi kurang tentang automasi lwn. persekutuan orang lwn tadbir urus pusat atau aset data lwn. produk data dan sebaliknya tentang strategi yang menggabungkan semua ciri terbaik dan memanfaatkan alat yang sesuai untuk tugas yang betul. Platform pengurusan data dan gerbang analitik menyokong pendekatan bersepadu ini.

Automasi – orang & mesin

Dalam mesh data moden dan pendekatan fabrik data, kedua-dua strategi mencapai keseimbangan antara pakar domain dan automasi, menggabungkan sumber ini dengan cara yang berbeza. Fabrik data menggunakan automasi untuk menyepadukan data dalam masa nyata. Manusia memainkan peranan yang lebih pasif dalam menangani isu yang dikenal pasti oleh makluman AI.

Data mesh memfokuskan pada produk data yang dibuat oleh pengeluar data. AI membantu pengeluar mengautomasikan tugasan berulang, menghapuskan keperluan untuk kemahiran pengekodan; bagaimanapun, manusia yang memahami nuansa data tetap menjadi pusat kepada proses tersebut. Proses perbalahan data automatik dan klasifikasi data berbantukan AI adalah contoh hubungan simbiotik ini.

Pendekatan boleh wujud bersama dalam strategi yang sama dengan peserta yang berbeza dalam proses bergantung pada automasi dalam cara yang berbeza. Kuncinya ialah mencari keseimbangan yang betul antara kepakaran manusia dan automasi untuk mengoptimumkan proses data dengan berkesan.

Penggunaan & penemuan - produk data lwn aset data

Dalam pengurusan data, seni bina fabrik Data menghasilkan aset data, manakala jaringan data menghasilkan produk data. Kedua-dua pendekatan penemuan dan penggunaan boleh wujud dalam strategi gabungan dengan jaringan data, menambah lebih banyak kawalan untuk membungkus aset data ke dalam produk data.

Pendekatan data mesh memberi tumpuan kepada produk data sebagai kenderaan utama untuk berkongsi data. Produk data yang diterbitkan di pasaran produk data lebih kaya dan boleh dikatakan lebih berharga. Ia biasanya terdiri daripada aset data yang telah digabungkan dan dinormalisasi di bawah bimbingan pakar domain yang berpengetahuan. Produk data boleh diguna semula, lebih kekal dan lebih baik untuk kegunaan luaran melangkaui domain data tertentu.

Pendekatan gabungan mungkin mendedahkan katalog data yang disatukan kepada pengguna data yang kurang teknikal, membolehkan mereka mencipta produk data untuk perkongsian. Memanfaatkan AI untuk mendedahkan aset data ini kepada pengguna data, serupa dengan fabrik data, mengurangkan kemahiran teknikal yang diperlukan untuk mengakses data. LLM memperkasakan pengguna data dengan kepakaran SQL yang terhad untuk meneroka dan menanyakan aset data dengan berkesan.

Sama ada ia adalah fabrik data atau jaringan, katalog data menjadi bahagian strategi yang sangat penting. Platform Gateway mencipta katalog data bersatu yang merangkumi keseluruhan organisasi dan mengatur aset data dengan cekap. Platform ini juga memanfaatkan alat GenAI untuk mengurangkan kerja manual, membantu dalam klasifikasi data dan normalisasi data untuk menyokong model data yang teguh dan glosari perniagaan.

Kemajuan yang berterusan dalam AI akan terus meningkatkan kecekapan pengeluar data untuk mencipta produk data yang memanfaatkan automasi. Selain itu, pakar berpeluang melatih AI untuk membantu pengguna data memanfaatkan sepenuhnya data mereka. Sinergi antara manusia mahir dan mesin berkuasa ini mewakili pendekatan terbaik dari kedua-dua dunia dalam landskap pengurusan data yang berkembang.

Tadbir Urus Data – bersekutu vs. berpusat

Platform dan alat yang baru muncul membolehkan persekutuan tadbir urus yang lebih besar. Alat tadbir urus memudahkan IT pusat untuk melepaskan lebih banyak kawalan sambil mengekalkan pengawasan yang berkesan.

Penyepaduan kawalan tadbir urus data ke dalam platform pengurusan data memperkasakan semua ahli pasukan data untuk mengambil bahagian secara aktif dan bertanggungjawab ke atas tadbir urus.

Penyepaduan automasi ke dalam tadbir urus data sedang berkembang dengan kemunculan tadbir urus data yang aktif - teknologi yang memantau aset data dan menyampaikan makluman kepada pengeluar dan pengguna apabila timbul isu.

Dalam konteks jaringan data, tadbir urus melangkaui aset data untuk meliputi kitaran hayat data hujung ke hujung, daripada sumber kepada produk data. Mengurus tadbir urus dan kualiti data tidak berakhir dengan aset data dalam jaringan data. Produk data awam terus ditambah baik dan dipantau melalui gelung maklum balas manusia. Proses berulang ini memastikan produk data kekal relevan dan bernilai kepada pengguna.

Dengan keupayaan fabrik data dan jaringan data menumpu, terdapat fleksibiliti yang semakin meningkat dalam mengakses data. Pengguna boleh mengakses dan menemui data melalui pendekatan yang selaras dengan kemahiran teknikal dan pemahaman data mereka. Masa depan berkemungkinan akan menyaksikan gabungan data mesh dan elemen fabrik data, menghasilkan gabungan unik yang memanfaatkan kekuatan orang, mesin, tadbir urus dan taktik penggunaan. Perbezaan antara jaringan data dan fabrik data mungkin pudar, menimbulkan strategi pengurusan data yang lebih diperibadikan dan boleh disesuaikan.