AWS đã có một thập kỷ kinh nghiệm thiết kế chip nhằm đảm bảo hiệu năng và khả năng mở rộng trên đám mây với chi phí thấp nhất. Trong khoảng thời gian đó, AWS đã giới thiệu các thiết kế chip đặc biệt, cho phép khách hàng chạy những ứng dụng có yêu cầu ngày càng cao với các đặc tính biến đổi, đòi hỏi xử lý nhanh hơn, dung lượng bộ nhớ cao hơn, I/O lưu trữ nhanh hơn và băng thông mạng lớn hơn. Từ khi phát hành hệ thống AWS Nitro System năm 2013, AWS đã phát triển nhiều loại chip sáng tạo do chính AWS thiết kế, bao gồm 5 thế hệ của Nitro System, ba thế hệ chip Graviton được tối ưu hoá về hiệu năng và chi phí, dành cho nhiều loại tải công việc, hai thế hệ chip Inferentia dùng cho máy học (ML) và chip Trainium để huấn luyện. AWS sử dụng tự động hoá thiết kế điện tử trên đám mây trong chu kỳ phát triển linh hoạt để thiết kế và xác minh các chip do AWS sáng tạo, giúp cho đội ngũ đẩy nhanh đổi mới sáng tạo và đưa sản phẩm chip tới tay khách hàng nhanh hơn. AWS có thể cung cấp một loại chip mới theo quy trình chip hiện đại, sử dụng hiệu quả năng lượng hơn, với tốc độ nhanh và khả năng dự báo tốt hơn. Với mỗi thế hệ chip mới, AWS cải thiện đáng kể chức năng của chip về các phương diện hiệu năng, chi phí và hiệu suất cho các máy chủ ảo Amazon EC2 sử dụng các chip này, cung cấp khách hàng nhiều lựa chọn hơn về chip và các tổ hợp chip và máy chủ ảo, được tối ưu hoá theo yêu cầu đặc thù của ứng dụng.

David Brown, Phó Chủ tịch bộ phận Amazon EC2 của AWS cho biết: "Mỗi thế hệ chip do AWS thiết kế - từ Graviton tới Trainium và Inferentia và Nitro Cards - đều có hiệu năng cao hơn, chi phí thấp hơn và tiết kiệm năng lượng hơn, đáp ứng nhu cầu của nhiều loại hình tải công việc của khách hàng. Khả năng phát triển chip toàn diện của chúng tôi và năng lực đem lại hiệu quả cao hơn về giá thành cho khách hàng chính là động lực thường xuyên thúc đẩy chúng tôi đổi mới sáng tạo. Các máy chủ ảo Amazon EC2 được chúng tôi giới thiệu ngày hôm nay giúp cải thiện đáng kể các loại ứng dụng tính toán hiệu năng cao, các ứng dụng tiêu thụ nhiều tài nguyên mạng và ứng dụng suy luận học máy, mang lại cho khách hàng nhiều lựa chọn máy chủ ảo hơn để đáp ứng nhu cầu cụ thể của mình."

Máy chủ ảo Hpc7g là máy chủ ảo chuyên biệt có hiệu quả giá thành tốt nhất để chạy các ứng dụng HPC quy mô lớn trên Amazon EC2

Các tổ chức thuộc nhiều lĩnh vực ứng dụng công nghệ HPC để giải quyết các vấn đề học thuật, khoa học và kinh doanh phức tạp nhất. Ngày nay, những khách hàng như AstraZeneca, Formula 1 và Maxar Technologies chạy các ứng dụng HPC thông thường như xử lý gien, tính toán động lực học chất lỏng (CFD) và mô phỏng dự báo thời tiết trên AWS để tận dụng các tính năng vượt trội như an ninh bảo mật, khả năng mở rộng và tính linh hoạt mà dịch vụ này cung cấp. Các kỹ sư, nhà nghiên cứu và nhà khoa học chạy các ứng dụng HPC của mình trên các loại máy chủ ảo Amazon EC2 được tối ưu hoá cho HPC (ví dụ Hpc6a, Hpc6id, C5n, R5n, M5n và C6gn) có khả năng cung cấp năng lực tính toán gần như vô hạn và băng thông kết mạng lớn giữa các máy chủ thực hiện xử lý và trao đổi dữ liệu giữa hàng ngàn lõi xử lý. Mặc dù hiệu năng của các máy chủ này đáp ứng được nhu cầu của hầu hết các phương án sử dụng hiện tại, các ứng dụng đang dần nổi lên như trí tuệ nhân tạo (AI) và xe tự lái đòi hỏi các loại máy chủ ảo được tối ưu hoá cho HPC có khả năng mở rộng hơn nữa để giải quyết các bài toán ngày càng khó khăn và giảm chi phí của các ứng dụng HPC có thể mở rộng tới hàng chục ngàn lõi xử lý hoặc nhiều hơn.

Máy chủ ảo Hpc7g sử dụng các bộ xử lý AWS Graviton3E mới, mang lại hiệu quả giá thành cao nhất cho các ứng dụng HPC của khách hàng (chẳng hạn CFD, mô phỏng thời tiết, giải mã gien và động lực học phân tử) trên Amazon EC2. Các máy chủ ảo Hpc7g cung cấp hiệu năng FLOPS cao gấp đôi máy chủ ảo C6gn thế hệ hiện tại sử dụng các bộ xử lý Graviton2 và hiệu năng cao hơn tới 20% so với máy chủ Hpc6a thế hệ hiện tại, tạo điều kiện cho khách hàng thực hiện các phép tính toán phức tạp xuyên suốt các cụm HPC với hàng chục ngàn lõi xử lý. Máy chủ ảo Hpc7g còn cung cấp băng thông bộ nhớ cao và băng thông mạng cao nhất trên một CPU so với tất cả các loại máy chủ ảo khác của AWS để giúp rút ngắn thời gian tính toán của các ứng dụng HPC. Khách hàng có thể sử dụng máy chủ ảo Hpc7g cùng với ParallelCluster, một công cụ quản lý cụm máy chủ mã nguồn mở, để cấp phát các máy chủ ảo Hpc7g cùng với các loại máy chủ ảo khác, giúp khách hàng có thể linh hoạt chạy các loại ứng dụng khác nhau trong cùng một cụm HPC. Để có thêm thông tin về máy chủ ảo Hpc7g, vui lòng truy cập  aws.amazon.com/ec2/instance-types/hpc7g.

Máy chủ ảo C7gn có hiệu năng tốt nhất cho các ứng dụng tiêu thụ nhiều tài nguyên mạng, với băng thông kết nối mạng cao hơn, tốc độ truyền gói tin cao hơn và độ trễ thấp hơn.

Khách hàng có thể sử dụng các máy chủ ảo được tối ưu hoá cho kết nối mạng của Amazon EC2 để chạy những ứng dụng yêu cầu nhiều tài nguyên mạng nhất, chẳng hạn như các thiết bị chuyên dụng mạng ảo (tường lửa, bộ định tuyến ảo và các bộ cân bằng tải) và mã hoá dữ liệu. Khách hàng cần nâng cao hiệu năng của những ứng dụng này để xử lý lưu lượng mạng tăng cao vào những giờ cao điểm hoặc giảm thời gian xử lý để cung cấp trải nghiệm tốt hơn cho người dùng cuối. Ngày nay, khách hàng sử dụng các loại máy chủ ảo kích thước lớn hơn để có băng thông cao hơn, triển khai tài nguyên tính toán nhiều hơn cần thiết, dẫn tới tăng chi phí. Những khách hàng này cần tăng hiệu năng xử lý gói tin trên một giây, băng thông mạng cao hơn và hiệu năng mã hoá cao hơn để giảm thời gian xử lý dữ liệu.

Máy chủ ảo C7gn, được trang bị card mạng AWS Nitro Cards mới sử dụng chip Nitro thế hệ thứ năm với tính năng tăng tốc mạng, cung cấp băng thông mạng và hiệu năng xử lý gói tin cao nhất trong tất cả các loại máy chủ ảo được tối ưu hóa cho mạng của Amazon EC2. Card mạng Nitro Cards giảm tải và tăng tốc xử lý Input/Output cho các chức năng, từ CPU chủ cho tới phần cứng chuyên biệt để cung cấp gần như toàn bộ tài nguyên của một máy chủ ảo Amazon EC2 cho ứng dụng của khách hàng để có hiệu năng nhất quán hơn với mức độ sử dụng CPU thấp hơn. Card mạng AWS Nitro Cards mới tạo điều kiện cho các máy chủ ảo C7gn cung cấp băng thông mạng và hiệu năng xử lý gói tin trên giây trên CPU cao hơn 2 lần, giảm độ trễ mạng qua bộ thích ứng Elastic Fabric Adapter (EFA) so với các loại máy chủ ảo được tối ưu hóa kết nối mạng thế hệ hiện tại của Amazon EC2. Máy chủ ảo C7gn có thể cung cấp hiệu năng tính toán cao hơn 25% và hiệu năng ứng dụng mã hóa nhanh hơn 2 lần so với các máy chủ ảo C6gn. Máy chủ ảo C7gn cho phép khách hàng nâng cao cả hiệu năng, băng thông và giảm độ trễ mạng để tối ưu hóa chi phí của những ứng dụng đòi hỏi nhiều tài nguyên mạng nhất của họ trên Amazon EC2. Các máy chủ ảo C7gn hiện đang được cung cấp dưới dạng xem trước (preview). Để tìm hiểu thêm về máy chủ ảo C7gn, vui lòng truy cập aws.amazon.com/ec2/instance-types/c7gn.

Inf2 là máy chủ ảo chuyên dụng cho các dự án triển khai mô hình học sâu cần nhiều tài nguyên nhất hiện nay, với khả năng hỗ trợ tính năng suy luận phân tán và làm tròn ngẫu nhiên.

Nhằm đáp ứng nhu cầu về ứng dụng tốt hơn và trải nghiệm cá nhân hóa hơn, các nhà khoa học dữ liệu và kỹ sư ML đang xây dựng những mô hình học sâu lớn hơn và ngày càng phức tạp hơn. Chẳng hạn, các mô hình ngôn ngữ lớn (LLM) với hơn 100 tỷ tham số đang trở nên phổ biến, nhưng cần lượng dữ liệu khổng lồ để huấn luyện các mô hình này, dẫn tới nhu cầu chưa từng có về năng lực tính toán. Trong bối cảnh việc huấn luyện đang rất được quan tâm, tính năng suy luận chiếm phần lớn chi phí và mức độ phức tạp (chẳng hạn trong 1 USD đầu tư cho huấn luyện, 9 cent được dành cho suy luận) của quá trình vận hành máy học trong sản xuất, có thể làm hạn chế việc sử dụng tính năng này và làm ngưng trệ quá trình đổi mới sáng tạo của khách hàng. Khách hàng mong muốn sử dụng những mô hình học sâu mới nhất trong các ứng dụng của họ trên quy mô lớn, nhưng gặp cản trở về chi phí tính toán. Năm 2019, khi AWS công bố máy chủ ảo Inf1, các mô hình học sâu có vài triệu tham số. Từ đó đến nay, kích thước và sự phức tạp của các mô hình học sâu đã tăng theo cấp số nhân, với một số mô hình học sâu đã có tới hàng trăm tỷ tham số - tăng 500 lần so với trước đây. Khách hàng làm việc trong các ứng dụng thế hệ sau, sử dụng những tiến bộ mới nhất về học sâu muốn có thiết bị phần cứng có hiệu quả về giá, tiêu thụ ít năng lượng, có thể hỗ trợ suy luận với độ trễ thấp, băng thông cao, với phần mềm linh hoạt có thể tạo điều kiện để đội ngũ kỹ thuật nhanh chóng triển khai những đổi mới sáng tạo của họ trên quy mô lớn.

Máy chủ ảo Inf2 sử dụng bộ xử lý Inferentia2 mới, hỗ trợ các mô hình học sâu lớn (chẳng hạn LLM, tạo hình ảnh và tự động phát hiện giọng nói) với số lượng tham số lên tới 175 tỷ , đồng thời cho chi phí suy luận thấp nhất trong Amazon EC2. Inf2 là máy chủ ảo đầu tiên được tối ưu hóa cho suy luận có thể hỗ trợ suy luận phân tán, là kỹ thuật phân tán các mô hình lớn lên nhiều bộ xử lý để mang lại hiệu năng tốt nhất cho các mô hình học sâu với hơn 100 tỷ tham số. Máy chủ ảo Inf2 cũng là loại máy chủ ảo đầu tiên trên đám mây hỗ trợ làm tròn ngẫu nhiên, một phương pháp làm tròn thống kê có hiệu năng và độ chính xác cao hơn so với các phương pháp làm tròn trước đây. Máy chủ ảo Inf2 hỗ trợ nhiều loại hình dữ liệu, bao gồm CFP8, có khả năng cải thiện băng thông và giảm mức độ tiêu thụ năng lượng trên một đơn vị suy luận, và FP32, nhằm nâng cao hiệu năng của các mô-đun chưa có khả năng khai thác các loại dữ liệu có độ chính xác thấp. Khách hàng có thể bắt đầu từ sử dụng máy chủ ảo Inf2 với AWS Neuron, là bộ phát triển phần mềm (SDK) hợp nhất dành cho suy luận ML. AWS Neuron được tích hợp trong các khung ML phổ biến như PyTorch và TensorFlow để giúp khách hàng nâng cấp các mô hình hiện có lên máy chủ ảo Inf2 chỉ với những thay đổi tối thiểu về mã chương trình. Do việc chia nhỏ các mô hình lớn tới nhiều bộ xử lý đòi hỏi tốc độ truyền tín hiệu cao giữa các bộ xử lý, máy chủ ảo Inf2 hỗ trợ NeuronLink, công nghệ kết nối tốc độ cao giữa các bộ xử lý, cung cấp kết nối mạch vòng với tốc độ 192 GB/s. Máy chủ ảo Inf2 cung cấp băng thông cao gấp 4 lần và độ trễ thấp hơn 10 lần so với máy chủ ảo Inf1 thế hệ hiện tại, và các máy chủ này cũng cung cấp hiệu năng trên một watt cao hơn 45% so với máy chủ ảo sử dụng GPU. Các máy chủ ảo Inf2 hiện đang được cung cấp dưới dạng preview. Để tìm hiểu thêm về máy chủ ảo Inf2, vui lòng truy cập aws.amazon.com/ec2/instance-types/inf2.

Arup là tập thể các nhà thiết kế, tư vấn, cố vấn và chuyên gia toàn cầu về kỹ thuật và tính bền vững tập trung trong lĩnh vực phát triển bền vững và ứng dụng trí tưởng tượng, công nghệ và nỗ lực để định hình một thế giới tốt đẹp hơn. Tiến sỹ Sina Hassanli, Kỹ sư trưởng tại Arup, cho biết: "Chúng tôi sử dụng AWS để chạy những mô phỏng rất phức tạp để giúp khách hàng xây dựng thế hệ tiếp theo của các tòa cao ốc, sân vận động, trung tâm dữ liệu và cơ sở hạ tầng trọng yếu, đồng thời đáng giá và giúp thấu hiểu về vi khí hậu đô thị, tình trạng gia tăng nhiệt độ toàn cầu và biến đổi khí hậu gây tác động đến cuộc sống của rất nhiều người dân trên thế giới. Khách hàng của chúng tôi thường xuyên yêu cầu những mô phỏng nhanh hơn và chính xác hơn với chi phí thấp hơn làm cơ sở cho những thiết kế trong giai đoạn phát triển ban đầu, và chúng tôi kỳ vọng các máy chủ ảo Amazon EC2 Hpc7g với hiệu năng cao hơn sẽ giúp khách hàng của chúng tôi đổi mới sáng tạo nhanh và hiệu quả hơn.”

Rescale là công ty công nghệ phát triển phần mềm và dịch vụ đám mây tạo điều kiện cho các tổ chức mọi quy mô tạo ra những đột phá khoa học kỹ thuật mang lại lợi ích cho nhân loại. "Độ trễ thấp và hiệu năng kết nối tốt hơn giữa các nút là những yếu tố trọng yếu của các ứng dụng HPC. Khả năng nhanh chóng lặp lại và cải thiện thiết kế sản phẩm bằng CFD là yếu tố rất quan trọng đối với khách hàng của chúng tôi, những người ngày càng quan tâm nhiều hơn tới tính bền vững môi trường, ngoài hiệu năng và tính linh hoạt trong quá trình sử dụng đám mây," Mulyanto Poort, Phó Chủ tịch phụ trách bộ phận Điện toán hiệu năng cao tại Rescale, chia sẻ. "Rescale rất phấn khích trước sản phẩm máy chủ ảo Amazone EC2 Hpc7g với hiệu năng dấu chấm động cao hơn và băng thông EFA lớn hơn. Chúng tôi dự báo hiệu quả giá thành tốt hơn của máy chủ ào Hpc7g và hiệu suất sử dụng năng lượng cao hơn của các bộ xử lý AWS Graviton sẽ đưa CFD và nhiều ứng dụng HPC thực tế khác lên một tầm cao mới."