大数据很火,从今天开幕的英特尔年度盛会IDF上就能看出端倪。
与往年一样,重磅主题演讲人之一,英特尔高级副总裁兼数据中心及互联系统事业部总经理柏安娜,在介绍英特尔数据中心战略时特别强调,英特尔将持续投资Hadoop,为开源社区提供代码,面向至强优化发行,提供硬件增强的压缩功能。
据她介绍,早期成果已经在中国有客户部署Hadoop,如中国移动和中国联通等运营商,应对3G甚至4G系统启用之后呼叫数据大幅增长导致传统计费系统出现的难题。
“执行Hadoop的方案背后离不开存储设备的支持,必须有很高的性能和效率。”在中国移动的案例中,最大挑战是提供实时呼叫数据记录,每天实时检索30天的记录,每秒生成30万条记录,每秒35MB,每月计费数据达到90TB。
她提到了数据中心在交付实时信息和服务的个人计算体验中所扮演的重要角色,以及英特尔在提供数据分析所需要的硬件及软件、提高智能设备和数据中心基础设施功能上所迈出的创新步伐。
随后,英特尔副总裁兼平台事业部总经理Jason Waxman在演讲中,介绍数据分析支持浙江智能电网的案例,最大挑战是提高电网效率,内存数据库要支持100TB和100万个并发请求,传感器更是多达1亿个以上,最总不仅决策速度提高了60倍,而且减少了电力浪费和碳排放。
2013年底之前英特尔加速扩展基于22纳米制程工艺的数据中心处理器产品线计划,支持拥有更高成本效益和更高能效的数据中心基础设施。在数据中心产品组合中,面向微型服务器的英特尔凌动S1200处理器发布4个月后,全新专为存储设备定制的英特尔凌动S12x9处理器也随之亮相
谈到所谓的数据中心机架“重塑”,目前腾讯和百度都十分关注提高机架密度和降低运营成本。在数据中心内机架方面,可以将散热和供电等系统进行整合,甚至未来能够把存储和计算等核心资源聚合到一起,提高效能和降低成本。
基于这个设想,腾讯、阿里巴巴、百度和中国电信发起了名为“天蝎”(Scorpio)项目,英特尔担任技术顾问。整机柜的理念把服务器的功能放入机架中,例如把风扇从机柜中移走,做成风扇墙提高效率和加强散热,通过重新设计机架机械尺寸整个机架密度提升一倍甚至更高,从进一步推动标准化。
为什么在数据中心机架重塑这个项目上互联网公司和运营商走在了前面?天蝎项目轮席主席Eric Chen解释说,之前厂商各自有不同的标准,用户之间没有合作,所以提出的需求不同,不仅有多套整机柜,而且国外通用产品无法拿来直接运行。
正式启动天蝎项目之后,厂商和运营商整合各自需求,开发一套通用产品。“2012年是天蝎的元年。去年底,百度采用200个整机柜,天蝎技术每年节省4200万运营费用。今年和明年将有更多整机贵落地。未来的天蝎2.0将充分利用风火水电,从服务器转移到数据中心机架,这个高级阶段中解耦(Disaggregation)是关键技术。”
他表示:“随着整机柜成为主流技术,如Facebook OCP的OpenRack项目,我们非常愿意和Facebook一起合作推动标准化。”
在下午的IDF 2013大数据专场中,记者则更为详尽地了解到与上午主题演讲相关的大数据一体机和Hadoop的信息。
在英特尔大数据一体机方面,参考设计主要针对智慧城市、智能交通、电信、金融和医疗等目标市场,为渠道和本地OEM提供一体化的方案,包括DCSG/PEG、DSD、SSD、NSG和ISG在内的多个英特尔部门参与,负责服务器、一体化集成、Hadoop发行版、优化、固态盘、前端和边缘服务器接入
下午的会场还同时发布了最新的Hadoop发行版2.3版本。演讲人特别介绍了新版本在处理非结构化数据方面的两个应用实例。其一,某市交通管理在线应用中,需要实时存储和获取路口的实时交通状况图片;其二,某银行存储大量交易记录备注或交易证据扫描照片,并允许柜员及客户在线查询这些记录