派欧算力云推理加速引擎通过一系列自研推理加速算法，使大语言模型（LLM）推理性能提升10倍。同时，PPIO还积极在硬件层构建分布式算力基础设施，将综合推理成本降低90%以上，不仅推理性能超越众多硅谷AI Infra头部企业，还具备显著的成本优势，助力更多开发者使用大模型技术进行应用创新。

图片来源：PPIO微信公众号

为突破显存、算力和带宽对大模型推理性能的限制，PPIO通过算法、系统和硬件的协同创新实践，推出三大核心技术，通过Pyramid Cache稀疏化压缩算法、Hydra Sampling投机采样技术以及端到端FP8推理，打造全球领先的下一代高性价比算力云推理加速引擎。这些技术显著提升推理加速优化的潜能，实现成本与性能之间的最佳平衡，为开发者提供卓越性价比的大模型推理服务。

在三项创新技术支持下，派欧算力云产品基于自研的推理加速引擎能够迅速适配和优化开源大模型，第一时间上架Llama3.1-405B、Mixtral 8x22B等20余个开源高性能大模型，API正常运行时间达99.99% 。与GPT-4o相比，通过派欧算力云产品微调和优化的Llama3.1-70b模型，其Input token价格降低90%，Output token价格降低95%。派欧算力云产品还通过第三方大模型API平台为全球开发者提供高性能推理服务，相比于OctoAI、Lepton、Together、Fireworks等硅谷企业，派欧算力云产品在综合性价比上具有显著优势，确保开发者在享受高性能、稳定的推理服务的同时，获得前所未有的成本效益。

派欧算力云推理加速引擎可广泛应用于多个场景，提供灵活且高效的解决方案。在大模型服务方面，用户只需几行代码即可享受高性价比的推理服务，并且只需为实际消耗的token数量付费。这种方式极大地降低用户使用门槛和成本，帮助企业专注于自身业务的增长和发展。

不仅如此，派欧算力云产品还提供容器化的推理基础设施，满足模型定制和私有部署的需求。用户无需担心底层计算资源管理，只需专注于模型和上层业务，即可自动获得强大的推理性能输出，并按使用时长付费。这种灵活的服务模式使得企业能够快速部署和扩展推理服务，适应不断变化的业务需求。

图片来源：PPIO微信公众号

此外，依托此次CCF分布式计算大会，PPIO联合中国计算机学会分布式计算与系统专业委员会、中国科学院计算技术研究所分布式系统研究中心、鹏城实验室网络智能研究部，举办第一届CCF算力网系统与应用大赛。

PPIO派欧云联合创始人、董事长兼CEO姚欣强调，随着推理需求的不断增长，降低成本是大势所趋。PPIO将继续深耕分布式计算及推理加速技术的研究与应用，不断更新迭代推理加速引擎，力求在性能和成本上实现新的飞跃。PPIO的目标是让推理成本降低90%、99%、甚至99.9%，使更多AI创业企业和开发者能够轻松承担大模型推理的费用，从而真正构建出赋能AIGC应用爆发的基础设施。

云计算作为数字时代的新型基础设施，是整合科技创新资源，加快形成新质生产力的关键要素和构建现代化产业体系的底座支撑。如今，PPIO在全国30余个省，超1000个县市及区域，为客户提供符合低时延、高带宽、海量数据分布处理需求的边缘云计算服务和解决方案。PPIO是云计算能力由中心云向边缘侧的下沉，同时架构上基于边缘云原生技术，可实现与传统中心云的兼容协同，已成为多家互联网巨头、一线云计算服务商、独角兽级创业企业，在边缘云服务领域的主要合作伙伴。

自成立以来，PPIO始终致力于构建高性价比、高效、稳定、安全的分布式云算力网络。近期，凭借卓越的分布式计算技术，PPIO接连获得中国信通院（CAICT）、中国通信标准化协会（CCSA）五项重要殊荣，彰显其在技术创新和行业引领方面的实力。未来，PPIO将继续秉承技术创新与应用实践的理念，为用户提供更加优质、便捷的服务，并推动行业创新发展。

来源｜PPIO官网及微信公众号、中国信通院微信公众号

编辑｜邹杨

审核｜姚远

校对｜办公室