Tin tức

MANTA là một giải pháp về quy trình theo truy vết dữ liệu (data lineage) giúp doanh nghiệp theo dõi luồng dữ liệu khi nó được sử dụng và di chuyển. Phần mềm này rất quan trọng giúp doanh nghiệp hoàn toàn tin tưởng vào nguồn gốc và xuất xứ của dữ liệu, cũng như hiểu được các tác động của việc thực hiện các thay đổi đối với tài sản dữ liệu chính. Các tính năng có trong phiên bản 4.5 bao gồm

• Tự động khám phá các luồng dữ liệu từ cơ sở dữ liệu, tích hợp dữ liệu và công cụ báo cáo
• Phân tích code của stored procedures và ETL job để nắm bắt các chuyển đổi
• Truy vết dữ liệu kỹ thuật bằng cách trực quan hóa các luồng dữ liệu chi tiết
• Truy vết dữ liệu lịch sử tại các thời điểm
• Truy vết dữ liệu gián tiếp: cho biết các cột khác có thể tác động gián tiếp đến lịch sử dữ liệu
• Các quy tắc để lọc những đối tượng liên quan trong truy vết dữ liệu
• Khả năng cung cấp truy vết dữ liệu thủ công

Dựa trên các connectors sẵn có với cơ sở dữ liệu, báo cáo và các công cụ ETL, MANTA khi cài đặt trên IBM Cloud Pak for Data sẽ được tích hợp với IBM Watson® Knowledge Catalog. Hệ thống cho phép người dùng trực quan hóa dữ liệu ở cấp độ bảng và cột, qua đó hiểu được dữ liệu đến từ đâu, biến đổi như thế nào và được sử dụng ở đâu. Ngoài việc truy vết dữ liệu kỹ thuật, Manta hỗ trợ các chế độ xem truy vết dữ liệu lịch sử và gián tiếp giúp người dùng phân tích tác động và phân tích nguyên nhân gốc rễ của các vấn đề dữ liệu đang gặp phải.

Việc tích hợp với Watson Knowledge Catalog làm tăng khả năng truy vết dữ liệu, cung cấp một công cụ danh mục dữ liệu hỗ trợ việc tự khám phá dữ liệu và mô hình thông minh. Người dùng nghiệp vụ tự khai phá dữ liệu sẽ giúp giảm tải cho các đơn vị IT. Kho lưu trữ dữ liệu metadata của doanh nghiệp dạng cloud-based sẽ đem lại các thông tin giá trị cho AI, máy học (ML) và học sâu. Sự kết hợp giữa Watson Knowledge Catalog và khả năng truy vết dữ liệu của MANTA cho phép các nhóm làm việc truy cập, sắp xếp, phân loại và chia sẻ dữ liệu, tài sản tri thức và các mối quan hệ của chúng hiệu quả hơn, bất kể dữ liệu được lưu ở đâu.

Quá trình quét tự động và phân tích mã cho phép ghi lại vết dữ liệu một cách nhất quán và chính xác, Manta cung cấp cho người dùng nguồn dữ liệu đáng tin cậy khi cho phép họ hiểu nguồn gốc dữ liệu và theo dõi các biến đổi có thể đã xảy ra trong toàn bộ vòng đời trước khi hiển thị trên các báo cáo BI. Người dùng cũng có thể định kỳ quét lại để giúp đảm bảo vết dữ liệu luôn được cập nhật mới nhất. Với mỗi lần quét, MANTA nắm bắt các thay đổi để duy trì truy vết dữ liệu lịch sử. Điều này rất quan trọng khi so sánh cách các luồng dữ liệu thay đổi theo thời gian, khi tổ chức khắc phục sự cố hoặc hướng tới một kiến ​​trúc dữ liệu mới.

Khả năng tự động thu thập vết dữ liệu giúp giảm thời gian và công sức cần thiết để tạo biểu đồ truy vêt mà người sử dụng dữ liệu có thể truy cập bất kỳ lúc nào. Nếu không có khả năng tự động này, ánh xạ truy vết dữ liệu sẽ không được cập nhật kịp thời vì quy trình thủ công điều tra cách dữ liệu di chuyển qua các hệ thống đối với khối lượng dữ liệu lớn sẽ tốn nhiều thời gian và dẫn đến quá trình truy vết tổng thể không đạt hiệu quả mong muốn.

Truy vết dữ liệu hữu ích trong các trường hợp sau đây:

• Tuân thủ các quy định của ngành: Các quy định như BCBS 239, GDPR, CCPA, v.v. yêu cầu các tổ chức hiểu cách dữ liệu di chuyển qua các hệ thống khác nhau tại các thời điểm khác nhau.
• Hiểu tác động của một thay đổi đối với dữ liệu. Các kỹ sư dữ liệu có thể sử dụng truy vết dữ liệu để đánh giá mức độ thay đổi đối với ứng dụng hoặc công cụ phía đầu nguồn có thể ảnh hưởng đến tất cả dữ liệu phía cuối nguồn như ứng dụng AI và nội dung báo cáo.
• Chẩn đoán vấn đề về dữ liệu. Khi hai báo cáo cho thấy dữ liệu bị sai lệch, người dùng có thể sử dụng truy vết dữ liệu để điều tra từng chuyển đổi ngược dòng từ các báo cáo đó.
• Hiện đại hóa ứng dụng. Truy vết dữ liệu giúp doanh nghiệp đánh giá toàn diện các đối tượng trong hệ thống cơ sở dữ liệu, ưu tiên các ứng dụng nào có thể di chuyển lên đám mây trước hoặc quyết định các ứng dụng nào không nên di chuyển.

Tham khảo:

 https://www.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/3/899/ENUSLP22-0243/index.html