前言
我国铁路信息化建设经过几十年的发展，已经形成多个较为未稳定的系统，如办公自动化系统(OA)、运输生产计划系统(FOMS)、铁路运输管理信息系统(TIMS)、铁路列车调度指挥系统(TDCS)、铁路车辆管理系统(CMIS)、铁路客票发售和预定系统(PMIS)、机务、工务、电务等管理信息系统以及中国铁路总公司站和12306铁路客户服务中心等，提高了铁路管理和决策的智能化程度，但在铁路信息化建设之初，由于缺乏统筹规划，各信息系统的建设通常以业务部门为界限，各个系统之间的业务协同及数据交互处于割裂状态，随着业务领域的不断拓展，由于各时期所采用的开发技术互不相同，硬件及平台的异构性等原因暴露出铁路在信息化建设方面存在的一些问题：
(1)由于各个业务信息系统是独立建设的，每个都自成体系，导致各个系统间包括系统内的信息资源不能实现有效整合。系统软件专用，数据库独立，信息难以共享，综合利用难度巨大。
(2)由于缺乏前期规划，各业务信息系统的协议、编码和接口规范不统一，难以实现信息共享和交换，对突发事件难以快速响应。
(3)各业务系统的操作系统存在非常大的异构性，操作系统有UNIX、Windows 等，也有大型机操作系统。
(4)数据库管理系统也存在多种不同，如SQLServer、DB2、Oracle等，各部门之间数据资源共享很难实现。
1 Hadoop 分布式系统
随着数据容量、数据维度的爆炸式增长，传统模式的数据处理方式已经难以满足数据分析、业务处理等在处理效率、响应速度等方面的要求，在这种情况下，大数据与云计算的概念便应运而生。在铁路领域，全国铁路数据同样满足了容量巨大、维度复杂的特点，同时铁路行业对业务响应的要求也满足了价值丰富、响应快速的特性，这些均说明大数据与云计算的方式在该领域同样适用。但是当前我国铁路还停留在传统的数据存储形式，系统设计与实现也停留在传统模式中，因此将大数据、云计算等先进的技术应用于铁路运输领域是十分必要的。
Hadoop 是一个能够对大量数据进行分布式处理的`软件框架，能够使用户在不了解分布式底层的情况下，开发分布式程序，充分利用集群的威力高速运算与存储数据。与常规系统相比，Hadoop 采用并行执行机制，大大提高了运算效率。并且Hadoop 在检验应用层，处理异常错误等方面充分考虑了“硬件故障是常态而非异态”的理念，利用集群实现了高容错率的特性。
通过Hadoop 集群视图不难发现，在Hadoop 架构中，存在大量的数据节点，每个数据节点都被管理节点按照某种规则分配一定的任务。在这种情况下，所有节点(或者所有活跃节点)进行并行运算，用以解决复杂的大数据问题。我国铁路有6000 多个铁路车站，且在铁路运输中的作用各不相同，这就造成了铁路数据存储、业务处理方面存在操作困难、反应迟缓等问题。以车站为单位作为数据节点，或按照某种方式将车站进行分类形成节点区域恰恰能够满足Hadoop 架构中的数据节点(DateNode)要求。同时，我国铁路行业现行管理机制较为集中，在中国铁路总公司层面建立相应的名字节点(NameNode)能够保证核心部门对全国铁路运输状况进行统筹规划与管理。
从软件资源、硬件资源的角度来看，Hadoop 大数据框架有两个主要特征：
(1)异构性
a.Hadoop 所依赖的网络环境可以是异构的。目前对Hadoop 集群的应用主要集中在局域网内部。各种类型的局域网，运行不同的协议，这些不同协议的子网互联成广域网。
b. 组成Hadoop 集群的服务器硬件资源是异构的。分布式系统由不同硬件类型的服务器组成，导致存储和运算资源分配的不同。
c.服务节点所处的软件环境是异构的。服务器的操作系统可以运行Windows、Unix、Linux 等不同OS。同时，服务所使用的编程语言也可以不同，服务间通过协议接口进行通
(2)服务节点共享资源
资源共享是形成分布式系统的主要动力。在Hadoop 大数据集群中，数据资源分散存储于不同物理服务器的磁盘上。在物理视图上，数据是分散存储的，而在逻辑视图上，数据则是全局的统一的。这就是说，数据“分布式存储”这一特性对用户来说是透明的。
2 Hadoop 分布式系统的安全性
铁路应用Hadoop 技术的存在着一定的安全风险。首先，系统本身存在如网络攻击、系统漏洞等安全风险;其次，客户的隐私数据面临泄露风险。铁路企业既能够获取旅客和货主的身份证号码、联系方式等基础信息，又可以通过数据挖掘出旅客和货主深层次的运输习惯等信息。
针对上述问题，首先应建立严格的数据存储机制，并对数据存储选择加密性能比较高的加密算法进行加密，同时采用数据安全隔离技术，如物理隔离、虚拟化和Multi-tenancy 等方式;其次建立严格的数据访问控制机制，使用技术手段依据不同权限做好敏感数据如客户的名字、身份证号、联系方式等的消隐工作;最后做好数据备份与恢复工作，实现快速的虚拟机恢复，支持文件级完整与增量备份。
3 结束语
综上所述，Hadoop 技术实现了全路信息的资源共享，降低了投资成本和维护成本;各部门可根据自身发展需要，实现资源动态配置，有效降低投资成本，简化内部管理;各业务部门实现信息高度共享，既提高了生产效率，又增加了部门参与生产与决策的积极性。
【探析Hadoop 技术在铁路信息化建设中的作用论文】相关文章：
2.信息化技术论文