行业资讯

立即注册 咨询客服

当前位置:首页 > 行业资讯> 磁盘并行访问文件系统获得新生

磁盘并行访问文件系统获得新生

发布时间:2018年03月16日 19:50:28    来源: A5互联

最初IBM Spectrum Scale(GPFS)是作为基于磁盘阵列的并行访问文件系统,曾经有些人认为它会在快速访问NVMe SSD和NVMe架构访问阵列时卡死。

但它却在数据管理器的数据结构层面访问NVME阵列时获得新的生机。

最直接的案例就是英国数字视频处理软件和系统业务Pixit Media将NVMe over fabric(NVMEoF)访问存储添加到其使用Spectrum Scale的软件和系统套件中的方式。

数字视频处理系统需要处理海量数据,视频分辨率高达4K,并且视频编辑工程师和创意人员都需要处理非常大的文件和大量小文件。

存储系统必须能够快速访问所有这些视频和基于帧的数据,并且能够经济地存储旧文件,让使用者通过丰富的元数据标签查找并快速从档案中提取它们。

Pixit媒体

同类产品昆腾的StorNext和PIXIT媒体的PixStore提供所需的视频文件的资产存取和归档存储和管理的深度和广度。

在这方面,我们可能会期望NVMeoF阵列取代现有的快速访问存储产品,尤其是那些具有磁盘时代设计基础的存储产品,但由于工作流程集成和元数据处理需求,不一定会出现这种情况。

Pixit Media通过其PixStore产品保留了Spectrum Scale的使用,同时在其下面或旁边使用NVMeoF阵列来证明这一点。

这里设置的系统非常复杂,PixStor网关节点和用于客户端工作站文件访问的存储节点,以及用于访问Spectrum Archive或公共云等长期存储中的文件的Ngenea HSM节点:

Pixit Media产品使用图表

网络使用无损Mellanox以太网IP,而不是光纤通道。

我们可以在概念上用这张图来简化它,它会忽略存档端并折叠网络链接,PixStore网关和存储节点:

运行视频处理软件的客户端系统处理从PixStore读取和写入的文件。在此示例中,Pixit Media软件层使用IBM Spectrum Spectrum并行访问文件管理软件,该软件反过来将其数据存储在底层NetApp E系列全闪存存储上。

本质上,Pixit Media / Spectrum Scale是数据控制路径和数据路径的路径。控制路径处理丰富的元数据,这些元数据有些是文件固有的,有些则由用户添加以帮助进行文件查找,选择和管理。

要使文件从块存储传输到客户端工作站,他们必须遍历网络,速度要快,为10/25/40/50/100 GbitE,但仍具有网络堆栈,并且PixStore和Spectrum中的IO堆栈规模。

NVMe数据结构和DSSD

Pixit Media表示,它的客户希望能够访问和处理更大(更高分辨率)的视频文件,并具有可预测的性能,这意味着网络和存储系统的访问负载持续增长,事情放缓或者大幅减少涉及更多的费用来提高性能。

NVMeoF拥有DSSD D5阵列,有1000万IOPS,100微秒等待时间和100GB /秒的NVMe驱动器和结构带宽,可以通过绕开网络和存储IO堆栈来减少数据访问延迟一种远程直接存储器访问的形式。

然后戴尔接管了EMC,D5被取消了。但Pixit遇到了Excelero的NVMESH。

测试表明,它通过与Spectrum Scale一起使用并有效地替换E系列阵列来加速数据访问。下面是另一个非常简化的图表,能简单的看出这一点:

借助NVMESH代理软件,访问系统上的智能客户端模块驱动程序链接至Excelero阵列,该阵列由Dell PowerEdge服务器构建,具有直连存储。它绕过他们的CPU,直接进入具有远程直接驱动访问(RDDA)功能的驱动器。

Pixit Media MD和联合创始人Ben Leaver将此描述为数据路径,控制路径通过PixStore和Spectrum Scale进行操作。

他认为NVMe和驱动技术是经济实惠和令人兴奋的技术进步。

如果使用16Gbit / s光纤通道SAN,则需要32U机架式全闪存设备才能提供相同的性能,100 x 4K未压缩的原始视频流,作为100GbitE链路上的一个2U NVMESH盒。

性能非常好,能够通过SMB为Apple Mac和Windows工作站提供4K媒体播放。他补充说,它具有多通道功能。

Spectrum Scale和StorNext

Pixit正在与许多StorNext进行交流,让潜在客户进行此比较。

据了解,Pixit向一位尚未准备好上市企业客户出售了NVMESH系统,另外还有两家正在筹备中,预计将于6月底前注册。

NVMe Fabric对NVMe SSD阵列的访问代表了从共享外部阵列获取本地PCIe SSD访问延迟的一种方式。像PixStore / Spectrum Scale一样使用文件系统层可为您提供客户除原始性能之外所需的数据管理/控制路径功能。

控制路径和数据路径被分割以实现这一点,Spectrum Scale仍然是现在速度更快的工作流程的必要组件。

理论上昆腾的StorNext可以采用相同的方式。它可以切换到使用NVMe结构/驱动器阵列作为其数据路径访问的热数据存储库,同时继续将StorNext用于控制路径数据功能。

Quantum当然在为StorNext寻找闪光灯,在2017年闪存峰会(PDF)上见证了这一点,我们将在未来提及关于面料的NVMe。