基于Hadoop企业私有云存储平台的构建
李海涛
[摘 要]Hadoop是以信息技术为基础的计算平台，因其拥有伸缩性强以及容错性高等方面的优势，使其深受广大企业所喜爱，各企业开始利用其对内部云存储平台进行了创建，石油企业也不例外。本文将以石油企业为例，对以Hadoop为前提的云存储核心技术以及平台建设方式展开深度论述，旨在提高企业云存储技术水平，保证企业信息数据管理质量。
[关键词]文件储存；Hadoop；云存储平台；文件加密
中图分类号：TP391 文献标识码：A 文章编号：1009-914X（2018）03-0133-01
现代企业在日常运营过程中会产生大量信息数据，这些数据能够直观或间接反映出企业运行状况与运行潜在隐患，以便管理者能够以此为依据展开一系列举措，进而实现理想化企业管理模式。但由于信息数据规模过大，如果单一依靠人力，很难达到预期信息管理目标，于是企业开始对云储存技术进行了引进，并以Hadoop为基础，对云存储平台进行了构建。
1、基于Hadoop的云存储核心技术
Hadoop（以下简称平台）属于开源分布式计算运行平台，该平台能够向使用者提供分布式系统，利用该系统，使用者能够准确对信息数据进行收集、处理与传输【1】。
1.1 分布式文件系统
该系统英文简称为HDFS，属于平台最底部构成元素，会对平台集群中储存节点文件进行储存。就外部客户设备而言，该系统与分级文件系统较为相似，会对信息文件进行创建以及重命名等处理，但因为该系统架构是以节点构造为基础进行设定的，所以系统会因为节点变化而发生相应改变，节点会在系统内部提供相应数据服务，以维持平台正常运作。
系统重要负责客户写入文件访问，其主要工作原理为：当用户想要将文件写入系统中时，首先会先对文件进行临时存储，若在此过程中系统模块无法达到数据缓存要求，则通过对DataNode相应软件进行借助的方式，进行文件储存模块创建；其次用户会通过对相应软件的运用，将文件块内容输入到系统之中；最后当文件块完成发送任务后，NameNdoe软件会对文件进行建设，并会将其运送到云数据存储之中，从而确保用户能够对写入文件进行访问【2】。
1.2 MapReduec
该应用程序是大数据软件框架运用程序，由map以及main等函数做组成，其中main函数的运用，使文件传输与作业控制两者有机结合在了一起，能够为平台提供更多应用程序开发工具，能够更好地在性能度量以及调试等操作中进行应用。
工作原理：当用户需要对该程序进行启动时，会在对应用程序进行提交后，对HDFS中输出以及输入目录进行查询，并会按照文件位置以及物理量等信息，创建从属任务，并会将任务完成信息与状态上传到程序会中【3】。这一特性会将处理放置到存储之中，会按照集群节点对数据进行处理，整体处理结果效率较为理想。
2、企业云存储技术平台创设
平台创设根本就是实现多项云存储功能，因此企业在进行平台创建时，要重点对平台系统功能实现展开研究。
2.1 整体系统组成
整体云存储系统主要由四部分组成，①客户端属于整体平台前端，用户可以通过客户端以网页浏览的方式对云存储系统进行访问；②云端服务器是以多个云存储中心共同组成的，主要负责系统文件空间管理；③web负责对客户访问需求进行管理，利用其能够实现用户个性化配置模式，更容易达到客户需求；④云存储中心是以hadoop中数据节点所构成，负责实施文件分布式存储操作。
2.2 文件上传
在此主要对加密文件上传功能实现方式进行介绍，一般HDFS所具有的而文件都是以明文形式进行运输的，这种方式虽然较为简便，却容易出现泄密事件，会对企业文件信息安全造成影响，所以在进行云存储平台建设过程中，应对企业重要文件进行加密处理。目前较为常用的加密方式主要以PBE算法为主，此种加密方式是以口令为基础的加密计算方式，整体操作较为简便，用户只要自主对口令进行保管即可，并不需要其他设备进行辅助，能够对数据信息安全进行保证【4】。因为该项功能，石油企业可以实现对加油站人员基本档案以及相关工作信息的登记与储存，可以通过加密方式，对人力资源信息进行保管，以保证人员信息的完整性。
2.3 文件下载
为保证云存储系统使用便利性以及实用性，系统不仅要拥有文件上传功能，同时也要对文件下载以及分享等功能进行开发，尤其要注重文件下载功能，要保证用户文件使用便捷程度。在进行文件下载时，主要分为直接下载与解密下载两种，其中直接下载会通过FileSyste，建立起文件下载体系，确保元数据相应操作可以顺利开展，并会再次利用文件系统对文件进行转流处理，使其能够从系统中直接下载到用户端；在进行解密下载时，基本步骤与直接下载方式基本相同，但在从系统向本地进行文件出流过程中，需要对文件进行解密流处理，之后才可以完成文件下载。
2.4 列表浏览
由于企业信息数据规模较大，在使用文件时逐一对文件进行翻看并不现实，因此云存储平台还需要具有列表浏览功能，需要对存储平台中所具有的文件直观的呈现出来，要确保用户可以通过列表明确文件创建者、创建日期以及时间等内容，以提高文件运用便捷性。
技术人员要通过对listStatus的运用，对目录文件列表信息进行获取，并要利用同类函数将信息传输到统一类型数组之中，此时文件信息都会含有相应原数据，用户可以在此基础上，迅速对文件进行检索。
2.5 文件共享
以往客户在使用云存储系统进行文件操作过程中，使用者一般只能对公共文件或特定文件进行操作，会对文件使用造成一定束缚，会对文件价值挖掘造成一定影响。通常云存储的HDFS系统内，目录与文件权限模式共有可执行、只读以及写入三种模式，其中只读模式主要会在文件或目录读取中使用；写入模式会在文件、目录建立或删除中进行使用。企业在实现文件共享功能过程中，要按照企业实际需求，合理对文件模式进行选择，要按照部门以及员工权责，对员工操作权限进行设置，并要按照文件重要程度，对文件模式进行科学处理。应建立起企业内部信息数据库，共享文件中的信息内容要保持共享状态，要对文件所在系统做出相应设置，确保文件能够成功显示在分享界面之中，以帮助用户顺利对文件进行查询与使用。
石油企业已经认识到了信息数据的重要性，并对加油站以及其他业务端展开了信息化管理，会通过设置自动化设备的方式，对各业务端信息数据以及企业整体运行数据进行收集与整理，同时加大了企业内部信息数据分享程度。以财务部门管理为例，财务管理部门会通过平台文件分享机制，对企业其他部门运转信息进行收集，并结合企业发展预期，评估各部门工作开展情况，并做出当前阶段的企业经营评估报表，以为管理者提供管理数据支持。
结束语：
通过本文对基于Hadoop的云存储平台相关内容的论述，使我们对各种核心技术以及平台功能实现方式有了更加清晰的认识。国内各石油企业应充分认识到该类型云存储平台建设重要作用与价值，要按照企业运营实际需求以及信息获取、运用特点，将其合理运用在石油企业之中，像销售数据、办公数据以及加油站等数据，都可以运用该平台进行管理与存储，从而实现理想化企业信息数据存储模式。
参考文献
[1] 张建.基于Hadoop的视频云存储架构研究[J].赤峰学院学报（自然科学版），2017，07：25-27.
[2] 成静静.基于Hadoop的分布式云计算/云存储方案的研究与设计[J].數据通信，2012，05：14-18.
[3] 张效尉，陈亚峰，秦东霞.基于Hadoop的云存储系统研究与实现[J].商丘师范学院学报，2015，09：60-64.
[4] 陈克明.基于Hadoop技术的云存储平台的构建[J].无线互联科技，2016，12：53-55.endprint
