Takrifan data mesh: apakah itu dan mengapa saya memerlukannya?

Data amat penting untuk membuat keputusan dalam mana-mana perusahaan. Tetapi apabila pembuat keputusan perlu menunggu IT membina saluran paip data untuk mengaksesnya, peluang terlepas dan keputusan tidak optimum. Inilah cabaran yang dihadapi oleh kebanyakan perusahaan besar yang cuba menjadi lebih dipacu data untuk meningkatkan prestasi mereka.

Salah satu cabaran pengurusan data terbesar ialah teknologi semalam tidak dapat menyokong permintaan data yang semakin meningkat hari ini. Pendekatan ETL sudah berusia beberapa dekad dan struktur tadbir urus terpusat yang berfungsi dalam masa yang lebih mudah tidak dapat berskala untuk memenuhi kerumitan zaman AI.

Pendekatan inovatif yang lebih teragih, tangkas dan fleksibel mula hadir ke pasaran. Strategi jaringan data adalah satu contoh.

Apakah itu Data Mesh?

Jaringan data ialah strategi penyepaduan data moden. Ia berdasarkan seni bina data teragih yang beralih daripada storan dan pengurusan data yang disatukan dan terpusat kepada pendekatan yang lebih dikongsi dan bersekutu. Ia adalah alternatif kepada saluran paip data ETL dan tasik data yang dibina pada seni bina monolitik dan bergantung pada banyak kebergantungan.

Seni bina jaringan data adalah lebih daripada teknologi, ia adalah strategi komprehensif yang menggabungkan perubahan dalam peranan penyumbang dalam pengurusan data dan penggunaan data. Terdapat 4 penyewa strategi Data Mesh. Strategi jaringan data sebenar mesti

Jadilah dipacu domain

Manfaatkan tadbir urus data bersekutu

Anggap data sebagai produk

Jadilah diri sendiri

Seni bina dipacu domain

Seni bina data mesh mengagihkan semula lebih banyak arahan dan kawalan ke atas data kepada domain bebas. Domain ialah kumpulan yang terlibat dalam fungsi perniagaan tertentu. Ini boleh menjadi operasi serantau, barisan perniagaan atau fungsi perniagaan seperti jualan, pemasaran, HR atau kewangan.

Domain ini mengumpul sejumlah besar data semasa menjalankan operasi perniagaan harian mereka. Pendekatan dipacu domain meletakkan lebih banyak tanggungjawab untuk mengawal dan mengurus data ini di tangan mereka yang mengumpulnya, bukan pihak berkuasa berpusat.

Tadbir urus data bersekutu

Dengan jaringan data, domain mempunyai autonomi yang lebih besar, tetapi mereka tidak bebas melakukan apa sahaja yang mereka suka. Dalam pendekatan tadbir urus data bersekutu, tanggungjawab untuk tadbir urus data dikongsi antara pihak berkuasa IT pusat dan pihak berkuasa di peringkat domain. IT mengendalikan penciptaan rangka kerja dan dasar yang digunakan secara seragam merentas semua domain manakala setiap domain individu mengurus peraturan yang digunakan hanya pada data dan proses perniagaan mereka sendiri. Ketahui lebih lanjut tentang tadbir urus data bersekutu di sini

Data sebagai produk

Apabila anda beralih kepada seni bina data mesh anda bertukar daripada mentaliti projek kepada pendekatan berasaskan produk. Daripada membuat saluran paip ETL ad-hoc setiap kali set data baharu diperlukan, pasukan domain berusaha untuk secara proaktif membina produk data boleh guna semula yang menyampaikan data yang diperlukan oleh pembuat keputusan.

Untuk menjadi berkesan, produk ini mestilah boleh ditemui, boleh ditangani, boleh dipercayai dan menggambarkan diri. Ini bermakna;

• Pengguna data mesti dapat mencari produk data dengan mudah
• Setiap produk mesti mempunyai alamat unik supaya ia boleh disepadukan ke dalam aplikasi perisian
• Data mestilah boleh dipercayai
• Pengguna data mesti dapat memahami data dalam produk data dan perkara yang diwakilinya

Analisis layan diri

Seni bina jaringan data mesti boleh diakses oleh pengguna data bukan teknikal tanpa bantuan daripada profesional teknikal. Ini mungkin melalui pasaran produk data atau melalui teknologi yang membolehkan akses terus kepada produk data daripada alat analitik atau pemodelan. Salah satu titik kesakitan terbesar yang diselesaikan oleh jaringan data ialah memecahkan halangan teknikal antara data dan yang menggunakannya. Layan diri meningkatkan kualiti dan kelajuan membuat keputusan. Ia juga melegakan permintaan ke atas jurutera data yang terharu dengan memenuhi permintaan data.

Mengapa saya memerlukan satu?

Dalam persekitaran hari ini, permintaan untuk data mengatasi keupayaan operasi IT untuk menyampaikannya. Organisasi tahu bahawa lebih banyak keputusan berdasarkan data membawa kepada hasil dan prestasi yang lebih baik namun cabaran untuk membekalkan akses kepada data yang betul yang sesuai untuk tujuan dan boleh dipercayai adalah mencabar dari segi teknikal dan budaya.

Pendekatan semasa tidak boleh berskala untuk permintaan masa hadapan

Dalam organisasi biasa, data dikumpul dan disimpan dalam silo data. Sama ada aplikasi transaksi warisan atau CRM SaaS. Berkongsi data merentas silo ini adalah sukar. Untuk memenuhi permintaan untuk berkongsi data pengaturcara yang berpengetahuan mesti membina saluran paip untuk memindahkan data merentasi silo ini. Pembangun ini mesti mahir dalam teknologi seperti Python, SQL, R dan Java untuk menyampaikan permintaan data. Malangnya, terdapat tidak cukup pembangun mahir untuk memenuhi permintaan. Dalam banyak kes, apabila permintaan data dipenuhi, keperluan itu tidak ada lagi menyebabkan peluang terlepas. Dengan keputusan perniagaan telah dibuat pada kadar yang pantas dan kedudukan AI untuk meningkatkan kadar itu pada kadar eksponen, pendekatan ini tidak akan berfungsi pada masa hadapan.

Data mesh membolehkan komuniti menyediakan akses yang lebih mudah kepada data yang lebih baik

Jaringan data membolehkan orang ramai dan teknologi canggih bekerjasama supaya pembuat keputusan di seluruh organisasi boleh mendapatkan data yang mereka perlukan apabila mereka memerlukannya.

Dari perspektif budaya, strategi jaringan data memperkasakan individu dengan menyediakan lebih banyak pemilikan dan tanggungjawab untuk mengurus data dalam domain mereka. Ini menjadikan mereka lebih terlibat dalam memastikan data boleh diakses dan boleh dipercayai. Setiap pemegang kepentingan dalam proses mempunyai peranan.

Keupayaan layan diri bagi jaringan data dan katalog data yang mantap membolehkan penganalisis data meneroka dan menggunakan data yang mereka perlukan melalui produk data. Penganalisis ini tidak lagi terpaksa bergelut dengan tugas manual atau menunggu IT untuk mengakses data. Mereka boleh menyampaikan lebih banyak cerapan dan analisis kepada pembuat keputusan dengan kemahiran yang mereka ada.

Pengurus domain, yang memahami data yang mereka kumpulkan lebih daripada pihak berkuasa tadbir urus pusat, diberi kuasa untuk mengurusnya. Pemahaman yang lebih mendalam tentang konteks di sekeliling data mereka ini meletakkan mereka dalam kedudukan terbaik untuk mengurusnya dan meningkatkan nilainya.

Dengan beralih kepada jaringan data, profesional IT dan jurutera data menjadi diberi kuasa untuk meningkatkan nilai yang mereka sediakan dengan menyampaikan perkhidmatan yang lebih strategik. Jurutera data boleh menghabiskan lebih sedikit masa pengekodan proses ETL dan bekerja lebih rapat dengan pengeluar produk data untuk mengakses data berkualiti dengan lebih cekap. Mereka boleh menasihati peraturan tadbir urus peringkat domain dan menguatkuasakan metrik kualiti. Jurutera data juga boleh memainkan peranan yang lebih besar dalam mengurus infrastruktur untuk memperkasakan rakan sekerja mereka.

Teknologi yang diedarkan mengurangkan kos dan meningkatkan ketangkasan.

Jaringan data berjalan pada seni bina yang diedarkan. Daripada membuang data ke dalam tasik data, data kekal dalam sistem yang mengumpulnya. Apabila data diperlukan, ia ditarik daripada sumber dan bukannya disalin ke pangkalan data lain di mana ia dianalisis. Ini bermakna kos storan dikurangkan dan percanggahan merentas pelbagai stor data berlebihan diminimumkan.

Sistem teragih juga lebih berskala, tangkas dan boleh diakses. Walaupun data sebenar kekal di tempatnya, data meta disatukan ke dalam satu pangkalan data. Dengan mengasingkan data meta daripada data yang diterangkan, aset data boleh ditemui dalam satu katalog dan pertanyaan data boleh dibina bebas daripada data. Ini membolehkan;

Pertanyaan data bersekutu

Pertanyaan data tunggal boleh dibuat yang boleh mengakses data dalam berbilang sistem berbeza secara serentak menggunakan model data yang sama.

Data untuk kekal di tempat

Data juga tidak perlu dialihkan melalui proses kelompok tetapi boleh digabungkan dalam masa nyata dan perubahan boleh dibuat dengan cepat.

Skala yang lebih besar

Dengan memisahkan data daripada logik, kebergantungan yang dicipta oleh saluran paip data yang tidak berkesudahan boleh dikurangkan membolehkan skalabiliti yang lebih besar.

Tadbir urus dan keselamatan lebih cekap

Pihak berkuasa yang lebih tinggi tidak selalu bermakna keselamatan yang lebih baik. Para profesional yang mengumpul data berada dalam kedudukan yang lebih baik untuk memahami sensitivitinya. Ini meletakkan mereka dalam kedudukan untuk melaksanakan dasar tadbir urus data yang lebih bijak daripada pihak berkuasa pusat.

Hierarki tadbir urus rangka kerja yang fleksibel juga boleh menjadi lebih berkesan dalam memastikan data adalah tepat, selamat dan boleh diakses. Dengan memberi domain autonomi untuk berfungsi dalam rangka kerja yang lebih luas, mereka boleh membuat dasar yang paling sesuai untuk mereka tetapi masih memenuhi piawaian tadbir urus organisasi. Menjadi lebih dekat dengan data, mereka juga berada dalam kedudukan yang lebih baik untuk membuat perubahan apabila ancaman dan tuntutan berubah.

Lebih banyak autonomi juga mengurangkan kecenderungan penganalisis untuk menggunakan penyelesaian yang tidak dibenarkan. Jika peraturan terlalu ketat dan atau tidak boleh digunakan pada kes penggunaan tertentu, pengendali akan mencari jalan untuk mengatasinya. Ini mewujudkan kelemahan legap yang boleh membawa kepada ancaman serius kepada keselamatan.

Apabila teknologi dan sistem semakin matang, mereka biasanya menjadi lebih canggih, kompleks dan diedarkan. Dengan sistem data kawalan yang kurang terpusat boleh berkembang dengan cepat dan menjadi lebih tangkas dan berdaya tahan. Dengan mempercayakan data kepada orang tetapi mencipta pagar yang sesuai untuk memastikan ketertiban, data menjadi lebih mudah diakses dan berguna.