Dynatrace Grail là nền tảng dữ liệu lakehouse nằm ở trung tâm của Dynatrace, được thiết kế để xử lý khối lượng dữ liệu quan sát và bảo mật khổng lồ ở quy mô exabyte. Grail kết hợp tính tiết kiệm chi phí của data lake với khả năng phân tích mạnh mẽ của data warehouse, và nhờ kiến trúc xử lý song song, Grail cho phép bạn phân tích dữ liệu đa dạng như logs, metrics, traces, hành vi người dùng, sự kiện bảo mật… và tự động liên kết chúng theo quan hệ nhân quả để tìm nhanh nguyên nhân gốc rễ sự cố, lần theo các cuộc tấn công hay phân tích dữ liệu kinh doanh.
Giờ đây, với hệ thống lưu trữ tệp mới trong Grail, bạn có thể dễ dàng bổ sung ngữ cảnh cho dữ liệu quan sát và dữ liệu bảo mật bằng cách lưu trữ và truy vấn dữ liệu tra cứu (lookup data) — không cần ingest thêm hay xử lý dữ liệu phức tạp. Thay vì phải tìm kiếm thủ công từ các nguồn bên ngoài, bạn có thể truy vấn và xem ngay thông tin bổ sung tại chỗ, giúp nâng cao chất lượng dữ liệu, ra quyết định nhanh và khắc phục sự cố hiệu quả hơn.
Trong bài viết này, bạn sẽ biết cách nạp và dùng dữ liệu tra cứu (lookup data) để bổ sung ngữ cảnh cho dữ liệu quan sát, từ đó cải thiện quy trình làm việc, phân tích nguyên nhân gốc rễ và xử lý sự cố nhanh hơn.
1. Cách ingest (nạp) dữ liệu tra cứu (lookup data)
Các tệp dữ liệu tra cứu có thể được tải lên dưới các định dạng như CSV, JSON hoặc XML.
Bạn có thể tải lên các tệp dữ liệu này thông qua Dynatrace Workflows, qua API, hoặc bằng cách tạo ứng dụng tùy chỉnh của riêng mình.
Sau khi đã ingest thành công, bạn có thể truy vấn dữ liệu tra cứu giống như bất kỳ dữ liệu Dynatrace Grail nào khác, bằng cách sử dụng các lệnh của Dynatrace Query Language (DQL) như lookup và join, hoặc thông qua các ứng dụng tích hợp sẵn trong Dynatrace như Dashboards, Notebooks và Security Investigator để thực hiện các phân tích khám phá (exploratory analytics).
Hình 1. Kiến trúc Dynatrace Grail: Dữ liệu quan sát dạng luồng (streaming observability data) — bao gồm log, metric, trace và event — được lưu trữ trong các bucket và được tổ chức thành các bảng (tables). Các tệp tĩnh (chẳng hạn như dữ liệu tra cứu – lookup data) sẽ bổ sung ngữ cảnh cho dữ liệu thông qua Dynatrace Query Language (DQL).
Bên cạnh tệp dữ liệu đã tải lên, bạn cũng cần cung cấp một mẫu phân tích cú pháp (parse pattern) được viết bằng Dynatrace Pattern Language (DPL) để xác định cấu trúc của dữ liệu tra cứu (lookup data).
Sau khi đã tải lên, bạn có thể truy cập các bảng tra cứu thông qua lệnh load.
Lưu ý rằng các tệp được tổ chức theo cấu trúc giống như thư mục trong Dynatrace Grail.
Để giúp việc tìm kiếm các tệp đã lưu trở nên dễ dàng hơn, chúng tôi đã giới thiệu tính năng tự động gợi ý (autocomplete) — bạn chỉ cần bắt đầu gõ tên tệp, các mục phù hợp sẽ hiện ra và bạn có thể nhảy trực tiếp đến tệp tương ứng.
Hình 2. Với tính năng gợi ý tự động, bạn chỉ cần gõ tên tệp, các tệp trùng khớp sẽ hiện ra ngay để bạn mở nhanh tệp mình cần.
Để tìm hiểu thêm về các loại tệp được hỗ trợ, các thuộc tính có thể dùng khi nạp dữ liệu, hoặc cách cấu trúc mẫu phân tích, hãy xem tài liệu hướng dẫn:
https://docs.dynatrace.com/docs/discover-dynatrace/platform/grail/lookup-data
2. Các tình huống sử dụng thực tế
Việc bổ sung dữ liệu tra cứu là một cách tuyệt vời để làm giàu dữ liệu với nhiều ngữ cảnh bổ sung trong một số trường hợp như:
- Chuyển đổi các mã lỗi trong log thành văn bản dễ đọc để đơn giản hóa quá trình xử lý sự cố.
- Bổ sung thông tin tên tài khoản cho các địa chỉ IP hoặc ID, giúp biến các mã định danh vô nghĩa thành thông tin có ý nghĩa, hỗ trợ phân loại và phân tích nguyên nhân gốc nhanh hơn.
- Đẩy nhanh quá trình điều tra bảo mật bằng cách sử dụng danh sách cho phép (allow list) cho dữ liệu bảo mật.
3. Làm giàu dữ liệu với ngữ cảnh kinh doanh
Hãy tưởng tượng rằng các sự kiện liên quan đến hoạt động kinh doanh của hệ thống bạn, được ghi lại trong Dynatrace Grail, chỉ chứa các mã sản phẩm (product ID). Bạn muốn bổ sung cho những ID này tên nhà cung cấp và một số thông tin khác từ nguồn dữ liệu bên ngoài.
Điều này có thể được thực hiện rất dễ dàng bằng bảng tra cứu (lookup table): chỉ cần nạp vào Dynatrace Grail một tập dữ liệu có chứa thông tin về sản phẩm và nhà cung cấp.
Trong ví dụ dưới đây, chúng ta sử dụng product ID làm khóa tra cứu, và làm giàu các sự kiện kinh doanh bằng cách ghép thêm giá trị tên nhà cung cấp từ bảng tra cứu.
Hình 3. Bổ sung ngữ cảnh cho dữ liệu quan sát (observability): Bằng cách thêm dữ liệu tra cứu tùy chỉnh (ví dụ: thông tin nhà cung cấp), chúng ta có thể tăng khả năng liên kết dữ liệu sâu hơn và rút ra thông tin nhanh hơn.
4. Cải thiện khả năng phân tích khi làm việc với dữ liệu bảo mật
Trong một tình huống khác, hãy tưởng tượng một chuyên viên bảo mật cần tìm các lần đăng nhập đáng ngờ vào mạng công ty diễn ra ngoài giờ làm việc. Giả sử chính sách công ty cho phép kỹ sư CNTT làm việc tại nhà bất kỳ ngày nào, nhưng điều này không áp dụng cho nhân viên kế toán. Chuyên viên bảo mật muốn biết tên người dùng nào thuộc về vai trò nào.
Nếu làm thủ công, họ sẽ phải mất rất nhiều thời gian để đối chiếu tên người dùng với vai trò tương ứng, rồi tạo các bộ lọc theo tên người dùng.
Việc tạo bảng tra cứu (lookup table) chứa tên người dùng và vai trò của nhân viên có thể đơn giản hóa đáng kể quy trình này, cho phép chuyên viên sử dụng dữ liệu bên ngoài để lọc và tổng hợp kết quả chính xác hơn.
Lọc các địa chỉ IP độc hại
Giả sử chuyên viên bảo mật có một danh sách các địa chỉ IP độc hại lấy từ nguồn tình báo mối đe dọa (threat intelligence feed) — danh sách này theo dõi các hoạt động IP nguy hiểm, liên quan tới spam, phần mềm độc hại, botnet hoặc các hành vi độc hại khác có thể đe dọa ứng dụng của bạn.
Họ có thể lưu danh sách IP đáng ngờ này dưới dạng dữ liệu tra cứu (lookup data) trong Dynatrace Grail, cập nhật nó bất cứ khi nào cần, dùng nó để phát hiện và gắn cờ các yêu cầu từ những địa chỉ IP nằm trong danh sách, và khai thác dữ liệu này để phân tích sâu hơn trong Security Investigator.
Gắn cờ các TOR exit nodes
Tiến xa hơn, chuyên viên bảo mật còn có thể xác định, gắn cờ và theo dõi các yêu cầu từ mạng Tor (mạng ẩn danh The Onion Router). Đây là một công cụ ẩn danh, che giấu dấu vết trực tuyến của người dùng. Tor chuyển tiếp hoạt động Internet của người dùng qua ít nhất ba nút trung gian khác trước khi đến trang web của bạn, làm mờ nguồn gốc của các yêu cầu, cho phép kẻ xấu ẩn danh và hoạt động với mục đích xấu.
Chuyên viên sẽ tạo một bảng tra cứu chứa danh sách các TOR exit nodes mới nhất và cập nhật thường xuyên. Dữ liệu này sẽ được dùng để phân tích thêm, ví dụ: trong Security Investigator để phát hiện các lần đăng nhập bắt nguồn từ Tor.
Để tận dụng tối đa sức mạnh của nền tảng Dynatrace và đặt dữ liệu TOR trong ngữ cảnh, chuyên viên có thể tự động hóa việc lấy, ghi và tải danh sách địa chỉ IP bằng Workflows, rồi trực quan hóa dữ liệu này bằng Dashboards.
Hình 4. Dữ liệu tra cứu trong Security Investigator: Sử dụng truy vấn Dynatrace Query Language (DQL) để lọc các bản ghi nhật ký (log) và đối chiếu các địa chỉ IP với bảng tra cứu chứa danh sách các địa chỉ IP độc hại đã biết.
Tiếp theo là gì?
Bảng tra cứu (lookup tables) mang đến một cách hiệu quả để bổ sung ngữ cảnh cho bất kỳ loại dữ liệu nào được lưu trữ trong Dynatrace Grail. Chúng có thể được dùng để tích hợp dữ liệu vận hành và dữ liệu giao dịch, hỗ trợ người dùng trong công việc hằng ngày.
Hãy đón chờ các bản cập nhật tiếp theo, chẳng hạn như: nâng cấp Snowflake Workflow Connector hiện có bằng cách bổ sung khả năng tạo và quản lý bảng tra cứu, cũng như cho phép sử dụng Security Investigator để tạo mới, xem và lọc các bảng tra cứu hiện có.
Bạn có muốn thử sử dụng bảng tra cứu trong môi trường của riêng mình không?
Tính năng mới này hiện có sẵn dưới dạng bản xem trước công khai (public preview) cho tất cả khách hàng đang dùng phiên bản mới nhất của Dynatrace SaaS với gói đăng ký Dynatrace Platform Subscription (DPS) đang hoạt động.
Việc kích hoạt cực kỳ đơn giản — hãy truy cập tài liệu hướng dẫn https://docs.dynatrace.com/docs/discover-dynatrace/platform/grail/lookup-data, để biết cách thực hiện.
Nguồn tài liệu: https://www.dynatrace.com/news/blog/enrich-your-dynatrace-data-with-the-newly-introduced-lookup-tables/
