异构计算

| |

2024年云栖大会 | 云网络技术分论坛，浙江大学求是特聘教授，博士生导师，信息技术中心主任 陈文智教授带来《驱动未来：面向大模型的智算网络》主题分享，围绕“大模型智算网络”展开，讨论了大模型快速发展的背景下，数据中心和网络架构的演进需求。提出了高性能网络协议的设计方向，介绍了观止大模型，通过网络融合和异构算力并池，实现高效的计算资源分配，满足未来推理应用和领域大模型的需求。

| | |

2024 云栖大会上，函数计算 FC 为 AI 加码，首发 GPU 极速模式，让 GPU 可以更弹性、更便宜。

| | |

| | |

近期，大模型推理社区（vLLM，SGLang 等）普遍开始关注框架运行时开销，提出了多步调度、异步输出处理、独立 API Server 进程等工作，来分摊或掩盖部分开销。 在我们的实际业务场景中，也观察到高额的框架开销严重限制了系统吞吐，特别是在高并发（>1k）场景下，运行时开销已经接近或高于 GPU 运行时间，导致资源严重浪费和性能下降。为此，BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ，以最大程度提高 GPU 利用率，提升引擎性能。

| | |

本文将深入探讨 NanoFlow 的关键思路和核心技术，分析 NanoFlow 与 阿里云人工智能平台 PAI 在实际工作中应用的潜力。

| |

【9月更文挑战第22天】

| |

【9月更文挑战第22天】

| | |

Polars 最新开发了 GPU 加速执行引擎，支持对超过 100GB 的数据进行交互式操作。本文详细介绍了 Polars 中 DataFrame（DF）的概念及其操作，包括筛选、数学运算和聚合函数等。Polars 提供了“急切”和“惰性”两种执行模式，后者通过延迟计算实现性能优化。启用 GPU 加速后，只需指定 GPU 作为执行引擎即可大幅提升处理速度。实验表明，GPU 加速比 CPU 上的懒惰执行快 74.78%，比急切执行快 77.38%。Polars 的查询优化器智能管理 CPU 和 GPU 之间的数据传输，简化了 GPU 数据处理。这一技术为大规模数据集处理带来了显著的性能提升。

| |

| |

9月20日杭州云栖大会上， NVIDIA DRIVE Orin系统级芯片实现了与阿里云通义千问多模态大模型Qwen2-VL的深度适配。阿里云、斑马智行联合NVIDIA英伟达推出舱驾融合大模型解决方案，基于通义大模型开发“能听会看”的智能座舱助理，让车内人员通过语音交流就能操作座舱内的各类应用，享受极致丰富的交互体验。