数据中心

  |  手机版

收藏网站

投稿QQ:1745232315

IT专家网,汇聚专业声音 解析IT潮流 IT专家网,汇聚专业声音 解析IT潮流

网络

专家视点在现场环球瞭望
IT专家网 > 数据中心

HDS主存储重复数据删除使NAS“减肥”

作者:genghz出处:比特网2013-04-09 21:25

  根据日立数据系统(HDS)首席技术官Hu Yoshida表示,该公司已经将主存储重复数据删除加入到他们的网络附加存储(HNAS)和日立统一存储(HUS)中端阵列。

  HNAS是HDS从收购BlueArc获得的硬件加速文件存储,该系统依赖于可编程芯片(FPGA)来加速操作。HUS阵列的文件控制器使用了BlueArc硬件引擎和软件。Hu Yoshida说这种重复数据删除功能可以:

  •实现自动化

  •适时去重数据,而不是只在字节写入时

  •一旦文件工作负载达到阈值就会减慢(去重处理)速度

  •使用密码散列算法,确保数据完整性

  •重复数据删除一台文件设备的整个可用空间,也就是256TB。

  “一旦系统空闲,一个智能重复数据删除进程得知新的数据写入,并自动启动重复数据删除引擎。”这位CTO在他公司的网站上写道。如果系统反应文件读写请求繁忙,那么它会减慢去重的速度。重复数据删除利用文件并使用一个哈希表(hash)数据库来识别数据中重复的块。然后它们会被删除,腾出空间给其它数据使用。

  重复数据删除在其FPGA硬件中加速散列算法和分块,而不是在通用CPU上单纯的软件。Hu Yoshida在本周的博客中提到:“一个基础的散列/分块引擎许可是免费的。三个额外的散列/分块引擎可以(付费获得)许可,重复数据删除的性能提升将近四倍(利用四个引擎)。”

  我们解释下,这个的意思是指HUS文件和对象(严格说应该是基于对象的文件系统,译者注)可以被重复数据删除,而不是HUS块(存储)。

  Hu Yoshida说,一位HDS的客户在16分钟内重复数据删除了120万个文件,但没有透净容量上的获益。关于重复数据删除效率的说法是,“可与其他重复数据删除算法较量”和“去重效率取决于数据集和文件系统块大小”。

相关文章

关键词:统一存储,重复数据删除,数据中心

责任编辑:judy

网警备案