欢迎访问电脑商情在线! 请免费注册
分享到





位置:首页 > HPC > 业界新闻

第六届大学生RDMA编程挑战赛:让竞赛成为人才展现的沃土

作者: 张琳   责任编辑:张琳 2018-06-07 06:07:51
来源:电脑商情在线关键字:第六届,RDMA编程挑战,HPC-AI Advisory Council,RDMA

在云计算与分布式存储普及之前,计算与存储一直算是制约企业IT快速演进的重要瓶颈,而随着技术的不断推移,大数据时代的到来,人工智能技术的快速采用,使得传统的TCP/IP协议下的传统网络成为了下一个重大的阻碍摆在技术人员面前。

值得一提的是,几年之前,在高性能计算以及AI领域,以 RDMA技术为核心的高速网络已经得到了一定范围的应用。而随着大数据与人工智能的持续发展,RDMA也更为广泛的在企业内得到实施。

但与之相对应的是,RDMA技术的推广还不充分,相关的技术人才还有所欠缺。而国际高性能计算及AI咨询委员会(HPC-AI Advisory Council)也一直致力于这一技术的应用和推广,为此已经在国际上多次举办相关的技术竞赛,在国内与之相关的第六届大学生RDMA编程挑战赛也开启战幕。

什么是RDMA?

RDMA是Remote Direct Memory Access的缩写,这一技术全称为远程直接数据存取,是为了解决网络传输中服务器端数据延迟而产生的。其中,在技术上传统意义上的DMA方式,是一种完全由硬件执行I/O交换的工作方式.在这种方式中, DMA 控制器从CPU 完全接管对总线的控制,数据交换不经过CPU ,而直接在内存和IO设备之间进行。

这里必须提到的是,普通的网卡集成了支持硬件校验和的功能,并对软件进行了改进,从而减少了发送数据的拷贝量,但无法减少接收数据的拷贝量,而这部分拷贝量要占用CPU 的大量计算周期。

过去,普通网卡首先需要把收到的数据包缓存到系统上,数据包经过处理后,相应数据被分配到一个TCP 连接;然后,接收系统再把主动提供的TCP 数据同相应的应用程序联系起来,并将数据从系统缓冲区拷贝到目标存储地址。

与普通网卡的工作原理不同,RDMA  是通过网络把资料直接传入计算机的存储区,将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,这样就不需要用到多少计算机的处理功能.它消除了外部存储器复制和文本交换操作,因而能腾出总线空间和CPU 周期用于改进应用系统性能. 通用的做法需由系统先对传入的信息进行分析与标记,然后再存储到正确的区域。

了解HPC-AI Advisory Council

HPC-AI Advisory Council是国际高性能计算及AI咨询委员会,这一协会于2008年在美国成立,据了解已经超过400多的企业和科研机构加入这一学会。作为一个全球性的组织,HPC-AI Advisory Council主要针对HPC与AI领域,并且将其工作地点扩散到了亚洲和欧洲。

国际高性能计算及AI咨询委员会主席Gilad Shainer介绍说,今年在美国、澳大利亚、西班牙和中国HPC-AI Advisory Council都将组织研讨会共同讨论HPC与AI的应用。此外,在全球还会举办几场相关的应用竞赛,第六届中国RDMA学生编程挑战赛就是其中的一场。

Gilad Shainer还表示,在过去的RDMA竞赛中,需要参赛队伍针对Spark在RDMA上进行优化,亦或是Tensorflow、 MXNet等在RDMA上的优化,在中国包括科大讯飞、京东、商汤科技、旷视科技以及中国计算机学会高性能计算专业委员会都建立了良好的合作关系。

此外,Gilad Shainer认为,目前全球数据量正在飞速增长,对于数据处理而言,HPC与AI本质上都是在解决数据处理问题,AI作为一种技术应用到实际场景中才具有意义,而在这一过程中,数据流动也是必不可少的关键一环,所以RDMA的作用也在凸显。

第六届大学生RDMA挑战赛

如今,“人工智能”已呈现出强大的发展势头,如何利用高性能计算推动人工智能是近年来业界聚焦的热点。据了解,第六届大赛的竞赛题目将紧贴世界超算产业的发展趋势,重点围绕数据处理的加速、基于RDMA技术对NoSQL应用进行性能优化和提升等主题展开,强调赛题与实际应用相结合。

此外,今年大赛走入校园的巡讲环节也将全面升级,实现国内主要省市高校的全覆盖。国际高性能计算及AI咨询委员会将邀请资深的RDMA工程师和来自人工智能领域顶尖企业的研发人员为渴望学习RDMA和人工智能相关知识的学生提供免费的培训,机会难得。

第六届RDMA编程大赛由国际高性能计算及AI咨询委员会主办,并获得了包括中国高性能计算专业委员会、China Grid、清华大学,HPCTC、 Mellanox、Microsoft、NVIDIA、SenseTime(商汤科技)等国内外多家知名机构及明星企业的大力支持。大赛评委由来自于国内外HPC和人工智能领域编程专家组成。

中国计算机学会高性能计算专业委员会秘书长张云泉表示,历届RDMA编程挑战赛皆在选拔并培养高校中最顶尖的技术人才,推进RDMA在超算和AI领域的应用和下一代应用技术的开发。作为本届大赛的核心支持机构,高性能计算专业委员会将一如既往地为竞赛提供鼎力支持,共同助力中国超算的发展。

清华大学的陈康副研究员认为,高性能计算领域一直是新思想、新技术的孵化地,各种创新的成果以及应用都在这里产生。RDMA编程挑战赛已成为选拔RDMA相关技术达人的重要平台。通过参加竞赛,学生能够深入接触HPC和AI领域最前沿的各项技术和计算工具,锻炼以技术实践解决热点问题的综合能力和协作沟通能力。

网友评论(0) 评论仅代表网友个人观点,不代表CBINews观点。
CBINews网友您好,欢迎发表评论:(注册 后发表评论,可就本文发起辩论,将会获得更多关注)
 CBINews网友  注册邮箱:  

CBI 友情链接:

至顶网 |  腾讯科技 |  凤凰科技 |  商业伙伴 |  移动信息化 |  企业网 |  中国软件网 |  CIO时代网 |  更多>>

CBI集团其它网站:

电脑商情在线 | 存储伙伴 | 服务器伙伴 | 中小企业IT网

CBI 地方分站:

上海 |  广州 |  成都 |  西安 |  沈阳 |  武汉 |  南京 |  重庆 |  长沙 |  济南 |  太原 |  合肥 |  长春  |  杭州 |  昆明 |  南宁 |  哈尔滨 |  兰州 |  乌鲁木齐 |  福州 |  郑州 |  贵州

整合营销 |  CBINews刊例 |  《电脑商情报》刊例 |  联系方式 |  版权声明 |  友情链接

内容版权所有:电脑商情在线 北京米迪亚广告有限公司

地址:北京市海淀区中关村南大街28号6层 联系电话:(010)62178877-218

商务、内容合作QQ:15528356 客服电话:13699291170

电脑商情信息服务集团 成都华好网景科技有限公司

ICP证:川B2-20070068-5 川预审H8VZ-RBP6-X228-T60Z号 北京市公安局海淀分局备案编号:1101083710