Датаг шинжилгээнд бэлтгэх шинэ аргачлал 

September 08, 2021

Датанд суурилсан шийдвэр гаргалтын гол цөм нь чанартай датаг сонгон, зөв аргаар дүн шинжилгээ хийснээр гарч ирдэг. Гэхдээ энэхүү процесс нь сонсогдож байгаа шигээ тийм ч хялбар биш. Үүний цаана олон тооны дэд ажилбарууд хийгддэгийн нэг нь датаг цэвэрлэх, бэлтгэх процесс юм. 

Форбес сэтгүүлээс явуулсан нэгэн судалгаанд “Дата шинжээчид ажлынхаа ихэнх цагийг буюу 80%-ийг дата цэвэрлэх, бэлтгэхэд зарцуулдаг” гэсэн үр дүн байдаг. Дундаж нэг байгууллага үйл ажиллагаандаа 15-25 төрлийн систем, программ ашигладаг гэж тооцъё. Эдгээр системүүд дэх  өгөгдлүүдээс чухал шаардлагатай мэдээллээ гарган авахын тулд өөр хооронд нь холбох (union), нийлүүлэх (join), хүнээс хамаарсан алдаануудыг шүүх, засварлах, солих гээд маш олон үйл явцыг зайлшгүй хийх шаардлагатай. Ялангуяа датаны төрөл, эх үүсвэрийн цар хүрээ огцом өсөх болсон энэ үед эдгээр процесс нь байгууллагын мэдээллийн технологи (МТ)-ийн багт маш их ачааллыг үүсгэх болсон. 

Энэхүү асуудлыг илүү ухаалгаар шийдвэрлэх нэгэн дэвшилтэт шийдэл саяхнаас танилцуулагдах болсон нь Self-Service Data Preparation буюу Өөртөө үйлчлэх дата бэлтгэлийн шийдэл юм. МТ мэдлэг “сулхан” ч хүссэнээрээ датагаа бэлтгэх боломжийг  бүх түвшний дата шинжээчдэд олгох болсон Өөртөө үйлчлэх дата бэлтгэлийн систем нь МТ багт ирэх ачааллыг эрс буруулаад зогсохгүй, дата бэлтгэх эсвэл дата бэлтгэгдэж ирэхийг хүлээх зэрэг үр ашиггүй цагийг арилгаж, байгууллагын хэмжээнд гол суудалд төвлөрөх чадавхыг сайжруулдаг олон давуу талтай болжээ. 

Энэ удаа бид энэхүү шийдлийн төлөөлөл болгон Tableau компанийн Tableau Prep шийдлийг онцлон танилцуулахаар бэлтгэлээ. Tableau Prep нь уламжлалт дата бэлтгэлийн аргачлалыг бүхэлд нь өөрчилж, датагаа нэгтгэх, хэлбэржүүлэх, цэвэрлэх зэрэг үйлдлүүдийг дэлгэц дээрээсээ бодитоор харж гүйцэтгэх боломжийг олгодог нь ижил төрлийн шийдлүүдээс ялгаруулдаг юм. 

Уг шийдэл нь дотроо хоёр үндсэн үүрэг бүхий хоёр төрлийн системээс бүрддэг. Эдгээр үйлчилгээ нь одоогийн Tableau дата аналитикийн платформтой бүрэн уялдаж ажилладаг тул дата бэлтгэл, анализ хоёрын үр дүнд зөрүү гарахгүй байхад тусалдаг. 

1. Tableau Prep Builder – Дата бэлтгэх, дата урсгалыг удирдах зориулалттай. 

  • Өгөгдөл нэгтгэлийн бүрэн зураглалыг харах, 

  • Өгөгдөл дээр шууд засвар хийх, 

  • Давтагддаг таскуудыг нэг товшилтоор гүйцэтгэх, 

  • Код бичих шаардлагагүйгээр байгууллагын дотоод болон гадна байрлах датаг холбох, 

  • Нэгтгэсэн датагаа Tableau Online, Tableau Server, Tableau Desktop зэрэг программаар дамжуулах хялбар хуваалцах боломжтой. 

2. Tableau Prep Conductor – Байгууллага доторх дата урсгалыг хянаж, удирдах, төлөвлөх зориулалттай. 

  • Tableau Online болон Tableau Desktop-оор дамжуулан Сервер дэх дата урсгалаа аюулгүй хуваалцах боломжтой учир байгууллага доторх хүмүүст шинжилгээнд бэлтгэсэн, хамгийн сүүлийн шинэчлэгдсэн дата ашиглах боломжийг олгоно. 

  • Дата урсгалаа өөрийн хүссэн цагт төлөвлөх боломжтой ба дата бэлтгэлийн процессоо автоматаар тохируулснаар үргэлж шинжилгээнд бэлэн, шинэчлэгдсэн дататай байх боломжтой. 

  • Серверийн урсгалын түүхээ хянаж, аливаа алдаа гарахаас урьдчилан сэргийлэх боломжтой. 

Г.Цэнгэл

Контент менежерМэдээллийн Технологийн салбарын хэрэглэгчид болон харилцагч байгууллагуудад зориулсан контент бүтээх, Дижитал, Сошиал медиа, Контент маркентинг хариуцсан менежер