IBM Information Server 8.X (DataStage): Kiến trúc và các thành phần của nó

IBM Information Server 8.X (DataStage): Kiến trúc và các thành phần của nó
– Cập nhật kiến thức mới nhất năm 2023

DataStage là gì?

  • Một công cụ ETL để Trích xuất, Chuyển đổi và Tải dữ liệu vào kho dữ liệu hoặc kho dữ liệu
  • Được sử dụng cho các dự án tích hợp dữ liệu như kho dữ liệu, ODS (Operational Data Store) và có thể kết nối với các cơ sở dữ liệu lớn như Teradata, Oracle, DB2, SQL Server, v.v.
  • Các công việc ETL được thiết kế có thể di chuyển trong các môi trường khác nhau như Dev, UAT và Prod bằng cách nhập và xuất các thành phần DataStage
  • Có thể quản lý siêu dữ liệu trong công việc
  • Có thể lên lịch, thực hiện và giám sát các công việc trong DataStage

Kiến trúc DataStage:

DataStage cho phép chúng tôi phát triển các công việc trong phiên bản Máy chủ hoặc Phiên bản song song. Phiên bản song song sử dụng khả năng xử lý song song để xử lý dữ liệu và lý tưởng cho khối lượng dữ liệu lớn.

Các thành phần:

  • Nhà thiết kế
  • Giám đốc
  • Người quản lý

Người quản lý:

Các tác vụ sau đây được thực hiện bằng cách sử dụng quản trị viên.

  • Thêm, xóa và di chuyển dự án
  • Thiết lập quyền người dùng cho các dự án
  • Dọn dẹp tệp nhật ký công việc
  • Đặt khoảng thời gian chờ trên động cơ
  • Theo dõi hoạt động của động cơ
  • Đặt mặc định tham số công việc
  • Phát hành lệnh WebSphere DataStage Engine từ máy khách Quản trị
  • Định cấu hình cài đặt công việc xử lý song song.
  • Tạo/thiết lập các biến môi trường.

Kích hoạt quản lý công việc trong ứng dụng khách Director:

Các tính năng này cho phép người vận hành WebSphere DataStage giải phóng các tài nguyên của một công việc đã bị hủy bỏ hoặc bị treo, và do đó đưa công việc trở lại trạng thái mà nó có thể chạy.

Quy trình này kích hoạt hai lệnh trong menu Director.

  • Tài nguyên dọn dẹp
  • Xóa tệp trạng thái

Nhà thiết kế:

  • Thiết kế và phát triển bằng công cụ thiết kế đồ họa
  • Các giai đoạn khác nhau như Chung, Cơ sở dữ liệu, Tệp, Giai đoạn xử lý được sử dụng trong khi phát triển công việc
  • Định nghĩa bảng có thể được nhập trực tiếp từ nguồn dữ liệu hoặc bảng kho dữ liệu
  • Các công việc được biên dịch bằng trình thiết kế và nó kiểm tra mọi lỗi biên dịch trong đầu vào chính, đầu ra tham chiếu, biểu thức khóa, biến đổi, v.v.
  • Nhập và/hoặc xuất các dự án từ các môi trường khác nhau
  • Máy chủ, máy tính lớn và các công việc song song có thể được tạo bằng trình thiết kế
  • Xác định các tham số trong trang tham số bên dưới các thuộc tính và sẽ được sử dụng tương ứng trong giai đoạn phát triển
  • Có thể tạo thói quen tùy chỉnh
  • Có thể chọn nhiều công việc để biên dịch và cung cấp báo cáo sau khi biên dịch xong

Giám đốc:

  • Xác thực, lên lịch, chạy và giám sát các công việc do Máy chủ DataStage điều hành
  • Trạng thái công việc hiển thị trạng thái hiện tại như đang chạy, đã biên dịch, đã hoàn thành, đã hủy bỏ và chưa biên dịch
  • Nhật ký công việc hiển thị tệp nhật ký cho công việc đã chọn
  • Đặt lại công việc nếu trạng thái bị hủy bỏ hoặc dừng trước khi chạy lại.
  • Cung cấp thời gian thực hiện các công việc
  • Khả năng dọn sạch tài nguyên (nếu quản trị viên đã bật tùy chọn này)

Cùng với các công việc này, DataStage cung cấp các bộ chứa (bộ chứa cục bộ và bộ chứa dùng chung) và các công việc trình tự cho phép chỉ định một trình tự các công việc máy chủ hoặc song song để chạy.

Kết thúc

Ngoài các bài viết tin tức, bài báo hàng ngày của SEMTEK, nguồn nội dung cũng bao gồm các bài viết từ các cộng tác viên chuyên gia đầu ngành về chuỗi kiến thức Kinh doanh, chiến lược tiếp thị, kiến thức quản trị doanh nghiệp và kiến thức quản lý, phát triển tổ chức doanh nghiệp,.. được chia sẽ chủ yếu từ nhiều khía cạnh liên quan chuỗi kiến thức này.

Bạn có thể dành thời gian để xem thêm các chuyên mục nội dung chính với các bài viết tư vấn, chia sẻ mới nhất, các tin tức gần đây từ chuyên gia và đối tác của Chúng tôi. Cuối cùng, với các kiến thức chia sẻ của bài viết, hy vọng góp phần nào kiến thức hỗ trợ cho độc giả tốt hơn trong hoạt động nghề nghiệp cá nhân!

* Ý kiến được trình bày trong bài viết này là của tác giả khách mời và không nhất thiết phải là SEMTEK. Nhân viên tác giả, cộng tác viên biên tập sẽ được liệt kê bên cuối bài viết.

Trân trọng,

Các chuyên mục nội dung liên quan