- Tham gia
- 23/5/20
- Bài viết
- 560
- Thích
- 0
- Điểm
- 16
Đại học Durham chia sẻ cách họ đang sử dụng DPU NVIDIA BlueField trên con đường dẫn đến exascale.
Chi phí di chuyển dữ liệu — cả về thời gian chạy và năng lượng — có thể là yếu tố cản trở trên con đường chuyển sang tỷ lệ exascale. Khi các siêu máy tính và trang trại máy học phát triển, một cách để cải thiện hiệu suất và hiệu quả là hướng dẫn mạng cách định tuyến các luồng dữ liệu, đáp ứng các ràng buộc bảo mật và thậm chí thực hiện các tác vụ cụ thể. Các thiết bị mạng thông minh có thể sở hữu chuyển động dữ liệu, đưa dữ liệu vào định dạng phù hợp trước khi được phân phối, đồng thời góp phần bảo mật và khả năng phục hồi.
Môi trường NIC thông minh Durham (DINE), một phần của dịch vụ chuyên sâu bộ nhớ DiRAC tại Đại học Durham, là một cụm 16 nút được trang bị máy chủ Dell EMC PowerEdge C6525 với DPU NVIDIA® BlueField®. Các thẻ giao diện mạng thông minh (smartNIC) này cho phép xử lý và định tuyến thông báo một cách thông minh để cải thiện hiệu suất của các mã song song lớn nhằm chuẩn bị cho các hệ thống exascale trong tương lai. Họ cũng cung cấp cho các nhà nghiên cứu một cơ sở thử nghiệm để phát triển các mô hình mạng và máy tính mới.
>>> Xem thêm: dell t360
Cụm DINE được lưu trữ cùng với siêu máy tính COSMA và được sử dụng bởi các nhà nghiên cứu khoa học máy tính, nhà nghiên cứu DiRAC và cộng tác viên quốc tế. Nhóm máy tính nghiên cứu đã triển khai công nghệ BlueField trong các thẻ smartNIC nửa chiều cao, nửa chiều rộng. Mỗi thẻ được định cấu hình để hoạt động ở chế độ tách biệt với máy chủ, cung cấp quyền truy cập trực tiếp vào lõi Arm. Sau đó, các nhà nghiên cứu có thể khởi chạy mã giao diện truyền thông báo HPC (MPI) trên toàn cụm, sử dụng cả bộ xử lý máy chủ AMD® EPYC™ và bộ xử lý Arm. Đổi lại, điều này giải phóng các nút tính toán khỏi các nhiệm vụ truyền dữ liệu và nhiệm vụ liên lạc.
Tiến sĩ Alastair Basden cho biết: “Siêu máy tính DINE sẽ cho phép các nhà nghiên cứu thăm dò các công nghệ mới để chuẩn bị chạy các mã nâng cao trên các máy exascale. “Nó sẽ cho phép thay đổi một bước độ phân giải mô hình trong các lĩnh vực như dự báo thời tiết, biến đổi khí hậu và vũ trụ học, với lợi ích khoa học to lớn.”
Để kiểm tra công nghệ BlueField, nhóm Durham đã phải biên dịch hai phiên bản mã của họ — một phiên bản thực thi trên bộ xử lý máy chủ và một phiên bản thực thi trên lõi Arm. Nhóm đã báo cáo rằng việc biên dịch lại mã cho lõi Cánh tay mất vài giây. Khi họ chạy một công việc trên cụm DINE, họ chỉ đạo các công việc MPI chạy trên smartNIC thay vì CPU, điều này cho phép CPU tiếp tục thực hiện các tác vụ của chúng mà không bị gián đoạn MPI. Các smartNIC cũng có thể xử lý các thông báo không mong muốn (bộ đệm), thực hiện cân bằng quá tải hoặc quản lý sao chép thông báo để hỗ trợ các thuật toán linh hoạt.
>>> Xem thêm: dell t650
Đồng thời, giảng viên, nhân viên, sinh viên, cộng tác viên và những người khác sẽ được hưởng lợi từ việc làm việc với các công nghệ tiên tiến. Theo Tobias Wenzierl, Điều tra viên chính dự án của DINE, những công nghệ này cho phép họ thiết kế các thuật toán và điều tra các ý tưởng giúp xác định lại tương lai của HPC cho các cơ sở trên toàn thế giới.
Weinzierl cho biết: “Chúng tôi đã bị thiếu tiến độ MPI và do đó, độ trễ thuật toán trong một thời gian khá dài và chúng tôi đã đầu tư nỗ lực tính toán đáng kể để quyết định cách đặt các tác vụ của mình trên hệ thống”. “Chúng tôi hy vọng rằng BlueField sẽ giúp chúng tôi hiện thực hóa hai điều này một cách hiệu quả hơn. Trên thực tế, chúng tôi đã bắt đầu viết phần mềm thực hiện điều này cho chúng tôi trên BlueField.”
Dựa trên kết quả tại Đại học Durham, các DPU NVIDIA BlueField đang trên hành trình hướng tới trung tâm dữ liệu cơ sở hạ tầng dưới dạng mã, nơi người dùng có thể gửi một công việc ra ngoài và để công việc đó chạy ở bất cứ đâu được tối ưu hóa nhất về hiệu suất và hiệu quả. Hệ thống DINE cũng được tận dụng bởi chương trình ExCALIBUR, nhằm mục đích thiết kế lại các mã và thuật toán mô phỏng có mức độ ưu tiên cao để khai thác triệt để sức mạnh của các siêu máy tính trong tương lai, giữ cho nghiên cứu và phát triển của Vương quốc Anh đi đầu trong khoa học mô phỏng hiệu suất cao. Xem thêm chi tiết trong phiên NVIDIA GTC của Tiến sĩ Basden có sẵn theo yêu cầu .
Công ty cổ phần thương mại Máy Chủ Hà Nội
- Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa
Hotline mua hàng Hà Nội: 0979 83 84 84 Điện thoai: 024 6296 6644
- CN Hồ Chí Minh: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10
Hotline mua hàng Hồ Chí Minh: 0945 92 96 96 Điện thoai: 028 2244 9399
- Email: hotro@maychuhanoi.vn
Chi phí di chuyển dữ liệu — cả về thời gian chạy và năng lượng — có thể là yếu tố cản trở trên con đường chuyển sang tỷ lệ exascale. Khi các siêu máy tính và trang trại máy học phát triển, một cách để cải thiện hiệu suất và hiệu quả là hướng dẫn mạng cách định tuyến các luồng dữ liệu, đáp ứng các ràng buộc bảo mật và thậm chí thực hiện các tác vụ cụ thể. Các thiết bị mạng thông minh có thể sở hữu chuyển động dữ liệu, đưa dữ liệu vào định dạng phù hợp trước khi được phân phối, đồng thời góp phần bảo mật và khả năng phục hồi.
Môi trường NIC thông minh Durham (DINE), một phần của dịch vụ chuyên sâu bộ nhớ DiRAC tại Đại học Durham, là một cụm 16 nút được trang bị máy chủ Dell EMC PowerEdge C6525 với DPU NVIDIA® BlueField®. Các thẻ giao diện mạng thông minh (smartNIC) này cho phép xử lý và định tuyến thông báo một cách thông minh để cải thiện hiệu suất của các mã song song lớn nhằm chuẩn bị cho các hệ thống exascale trong tương lai. Họ cũng cung cấp cho các nhà nghiên cứu một cơ sở thử nghiệm để phát triển các mô hình mạng và máy tính mới.
>>> Xem thêm: dell t360
Cụm DINE được lưu trữ cùng với siêu máy tính COSMA và được sử dụng bởi các nhà nghiên cứu khoa học máy tính, nhà nghiên cứu DiRAC và cộng tác viên quốc tế. Nhóm máy tính nghiên cứu đã triển khai công nghệ BlueField trong các thẻ smartNIC nửa chiều cao, nửa chiều rộng. Mỗi thẻ được định cấu hình để hoạt động ở chế độ tách biệt với máy chủ, cung cấp quyền truy cập trực tiếp vào lõi Arm. Sau đó, các nhà nghiên cứu có thể khởi chạy mã giao diện truyền thông báo HPC (MPI) trên toàn cụm, sử dụng cả bộ xử lý máy chủ AMD® EPYC™ và bộ xử lý Arm. Đổi lại, điều này giải phóng các nút tính toán khỏi các nhiệm vụ truyền dữ liệu và nhiệm vụ liên lạc.
Tiến sĩ Alastair Basden cho biết: “Siêu máy tính DINE sẽ cho phép các nhà nghiên cứu thăm dò các công nghệ mới để chuẩn bị chạy các mã nâng cao trên các máy exascale. “Nó sẽ cho phép thay đổi một bước độ phân giải mô hình trong các lĩnh vực như dự báo thời tiết, biến đổi khí hậu và vũ trụ học, với lợi ích khoa học to lớn.”
Để kiểm tra công nghệ BlueField, nhóm Durham đã phải biên dịch hai phiên bản mã của họ — một phiên bản thực thi trên bộ xử lý máy chủ và một phiên bản thực thi trên lõi Arm. Nhóm đã báo cáo rằng việc biên dịch lại mã cho lõi Cánh tay mất vài giây. Khi họ chạy một công việc trên cụm DINE, họ chỉ đạo các công việc MPI chạy trên smartNIC thay vì CPU, điều này cho phép CPU tiếp tục thực hiện các tác vụ của chúng mà không bị gián đoạn MPI. Các smartNIC cũng có thể xử lý các thông báo không mong muốn (bộ đệm), thực hiện cân bằng quá tải hoặc quản lý sao chép thông báo để hỗ trợ các thuật toán linh hoạt.
>>> Xem thêm: dell t650
Đồng thời, giảng viên, nhân viên, sinh viên, cộng tác viên và những người khác sẽ được hưởng lợi từ việc làm việc với các công nghệ tiên tiến. Theo Tobias Wenzierl, Điều tra viên chính dự án của DINE, những công nghệ này cho phép họ thiết kế các thuật toán và điều tra các ý tưởng giúp xác định lại tương lai của HPC cho các cơ sở trên toàn thế giới.
Weinzierl cho biết: “Chúng tôi đã bị thiếu tiến độ MPI và do đó, độ trễ thuật toán trong một thời gian khá dài và chúng tôi đã đầu tư nỗ lực tính toán đáng kể để quyết định cách đặt các tác vụ của mình trên hệ thống”. “Chúng tôi hy vọng rằng BlueField sẽ giúp chúng tôi hiện thực hóa hai điều này một cách hiệu quả hơn. Trên thực tế, chúng tôi đã bắt đầu viết phần mềm thực hiện điều này cho chúng tôi trên BlueField.”
Dựa trên kết quả tại Đại học Durham, các DPU NVIDIA BlueField đang trên hành trình hướng tới trung tâm dữ liệu cơ sở hạ tầng dưới dạng mã, nơi người dùng có thể gửi một công việc ra ngoài và để công việc đó chạy ở bất cứ đâu được tối ưu hóa nhất về hiệu suất và hiệu quả. Hệ thống DINE cũng được tận dụng bởi chương trình ExCALIBUR, nhằm mục đích thiết kế lại các mã và thuật toán mô phỏng có mức độ ưu tiên cao để khai thác triệt để sức mạnh của các siêu máy tính trong tương lai, giữ cho nghiên cứu và phát triển của Vương quốc Anh đi đầu trong khoa học mô phỏng hiệu suất cao. Xem thêm chi tiết trong phiên NVIDIA GTC của Tiến sĩ Basden có sẵn theo yêu cầu .
Công ty cổ phần thương mại Máy Chủ Hà Nội
- Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa
Hotline mua hàng Hà Nội: 0979 83 84 84 Điện thoai: 024 6296 6644
- CN Hồ Chí Minh: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10
Hotline mua hàng Hồ Chí Minh: 0945 92 96 96 Điện thoai: 028 2244 9399
- Email: hotro@maychuhanoi.vn