AWS Machine Learning Blog· Shantanu Tripathi·· 3 小时前
SageMaker Inference 支持 NVIDIA MIG 多实例 GPU 分区
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 上线 GPU 分区能力，基于 NVIDIA Multi-Instance GPU（MIG）把单块物理 GPU 切成硬件隔离的多个分区，让一个端点承载比 GPU 数量更多的模型。
来源：AWS Machine Learning Blog · aws.amazon.com