假如你带着高烧的孩子到医院看病,拿着处方交费时,收费员说,“不好意思,我们的电脑系统瘫痪了,您等等吧。”你会做何感想?然而一切皆有可能。2007年6月13日,北京复兴医院因为系统升级发生故障,从早8点至晚8点仍然无法恢复。无奈之下,当天出院的病人被允许先回家,等系统好了后再来交款。
实际上,医院IT系统时常出现瘫痪已成为医疗行业公开的秘密。2007年5月14日,四川华西医院同样因为系统升级出现故障,事故持续近两小时,现场个别患者和院方发生直接冲突;2005年11月29日,北京友谊医院的网络系统突发故障,而备份系统也同时瘫痪。事故持续50分钟,挂号、医生工作站、收费和取药等环节暂时中断,医生只好改用手写方式为病人开药。
此类事故在医院信息化走在全国前列的广州市鲜有报道,但一位圈里人在接受《CIOINSIGHT》采访时毫不讳言,“医院的信息系统多多少少都出过问题,报出来的只是千分之一、万分之一”。并举例说明这些故障给医院带来的损失很大,比如广东省人民医院,年营业额为15亿元人民币,一天的营业额就是几百万元。
中山大学附属第二医院(以下简称“中山二院”)也曾在这方面狼狈不堪,但它明白“亡羊补牢,未为晚矣”。
紧急输血
在中山二院的岭南楼和距其不远的另一座大楼里,两套磁盘阵列系统遥遥相对、互为呼应。这是2007年初刚购置的容灾系统,岭南楼计算机房里的为主阵列,另一套则是备阵列,彼此间通过容灾系统可以实现同步容灾复制,应用系统在两台阵列上的数据在任何时候都完全同步。如果主阵列发生灾难性的数据损坏,相关软件就可以把应用系统自动切换到备机阵列上运行。
IT系统瘫痪的概率非常小,有必要建立投入动辄以百万元计的灾备系统吗?这也曾是中山二院领导层的困惑。2004年,如今的院信息中心的主任牛启润就已撰文《浅谈医院信息系统机房安全策略》,呼吁灾备系统对医院的重要性。之后做出一个整体计划上报院领导,但未获批。
转折点发生在2005年11月23日上午9点多,中山二院的门诊系统突然瘫痪。每天上午来这里看病住院的约4000人,而当时正值最高峰期,整个医院立即乱成一锅粥。因为是在正常工作一段时间后出的问题,结果是有的医生在电脑上开了电子处方,病人在药房拿不了药;有的病人挂了号,医生没有办法接诊;有的病人交了费拿不到药;病人看不到医生开的处方,整个天,医院所有的行政职能部门都下去维持秩序。
幸好,这个状态只持续了1个多小时。当行政人员出面向病人解释、道歉时,信息部门的人却没有露面。狼狈不堪的他们并非有意躲避,而是一直在紧张地处理问题。这段经历也成为牛启润从业以来最被动的一次。肇事者是数据库。原本中山二院也做了容灾方案,但他们做的是传统的集群解决方案“2+1”模式,即两台服务器连接到一台磁盘阵列,这实际上也是一种安全措施,因为两台服务器实现了双机备份。但这意味着当单台磁盘阵列成为核心系统的故障点时,整个系统将发生停机或瘫痪,虽然说应用出问题的时候,系统可以不停。“其实之前我已经考虑到了这个问题,但是没想到会落到我们头上!” 牛启润喟叹道,因为原本数据库出故障的几率并不高,没想到就让他们摊上了。
创建于1835年的中山二院,是我国第一所西医院,孙中山先生曾在此学习。传统的积淀并不能阻挡其采用先进IT技术的脚步。1997年,中山二院的信息系统就已投入使用,其中的门诊、住院、检验,这与患者就医最密切的3大系统的稳定性则是重中之重。目前,这三个系统每年大约产生100GB的数据。“门诊这种系统的停机最长不能超过5分钟”——这是牛启润的一个底线。但这次事故,彻底击毁了牛启润辛苦构筑的信息安全系统。
祸兮福之所倚,这件事之后,那份没有获批的建立灾备系统的计划书很快就通过了。
经过半年的调研,比较了IBM、EMC、HP、华为3com等公司的产品后,中山二院最终选择了两台EMC CLARiiON CX3-20,实现异地备份。“一旦发生类似于2005年那样的事故,灾备系统能在一分钟内起来,并且数据不会有任何丢失。”牛启润说。
小步快跑
“其实其他医院也有系统故障问题,只是或多或少的问题。医院信息系统的数据库出问题的概率相对会小一点,但是不可避免,尝到苦头后医院建设速度会快一点,没有尝到苦头的话,建设速度会慢一点,但是我觉得这是一个趋势,迟早要做的一步。”对于灾备系统在医院的应用,牛启润如是说。
现在很多医院的医疗业务,几乎已经完全依赖于信息系统,确保信息系统的安全性自然不言而喻。以中山二院为例,2004年之后针对信息安全,也采取了一些措施,比如说在内部系统和外网之间加了一个防火墙,在内部安全管理方面做了桌面管理系统、增加网络系统等。但安全的层次实在是太多。
实际上,在“9.11”事件后,同城异地备份系统已经逐步成为企业建设容灾系统的一个方向。和动辄耗资上千万元、上亿元的金融行业的容灾系统相比,中山二院这次的投资几百万元,只是小儿科。
在上了灾备系统后,常有同行和朋友过来询问 “这个系统到底怎么样”,也有人和他探讨“这个系统是否有什么缺陷”。“安全这一块,我们一直在做,包括现在我也不认为做得最好。”牛启润之所以如此说,就是因为现在做的只是数据的容灾,还不能叫做完全意义上的容灾系统,下一步还要做网络容灾,否则一旦网络出问题,数据容灾也无用武之地。让牛启润遗憾的是,由于带宽的限制,不能做到同城,只是同院的异地容灾。而且现在中山二院做的还只是数据库这一块的容灾,无法做到对自然灾害的容灾,而那个成本绝不是个小数目。
“不是说上了灾备系统就可以睡大觉了。”现在的牛启润并不轻松,因为安全是全方位的,灾备只能解决其中的一个点的问题,他正被网络病毒这个传统的问题所困扰。
然而在系统的安全投入上,广州市大多数医院的IT部门普遍“供血”不足。广东省人民医院、广州医学院第一附属医院和广州市红十字会医院三所医院的信息部门的相关负责人在接受《CIO INSIGHT》采访时均表示,领导支不支持,是决定是否加大信息安全系统投入的关键。“IT部门在医院内不是一个创造直接效益的部门,它创造的是间接的效益,临床部门会认为这是一个花钱的部门,如果对信息部门的使用资金做一个评估的话,可能不同的意见会多一点,有可能你的资金不是那么容易得到。”牛启润解释说。
近几年来,由于中山二院的信息部门对医院的业务支持越来越大,医院领导对安全系统的重视和资金投入在逐步加大。牛启润明显感觉到,这两年,医院的领导对信息部门的重视和前几年大不一样。2005年以前,牛启润是信息科的科长,现在他的头衔是信息中心主任,“主要是部门大了,管的事情多了。”这是牛启润的切身体会,而他手下的技术人员的学历和整体水平一直在提升,现在他手下的员工有11个人,其中5名是硕士生。
“医院如果系统运行不畅的话,对病人的影响比较大,对医院声誉的影响也比较大,现在很多医院的基础的医疗业务已经完全依赖于信息系统了。”牛启润说。
“医院跟其他部门不一样,属于7×24×365业务运转的单位,我们的门诊、急诊,和住院部的病人都等着治疗,我的系统不能停,安全对我们来说很重要。”对自己多年的工作,牛启润以“安全”两个字来概括。目前在广州地区,大多数医院在信息化安全建设方面处于探索阶段。“今后医院对安全这块的投资会逐步加大,这是迟早的事。”对于未来医院的信息化安全建设这个问题,牛启润表示乐观。(cio insight)