数据质量和安全决定大数据项目成败

信息来源:必威电网报  发布时间2020-09-11

  特约撰稿人 陈坚
  经过几年的技术发展以及市场推动,大数据项目的部署数量越来越多,大数据概念已被大众所熟知。但鲜有大数据项目建成后取得实质性效果的报道,可见大数据项目的成功落地不是那么容易。大数据项目成功的关键在于数据,这里涉及到数据质量、数据安全及隐私保护问题。
  一方面,几乎所有大数据项目,都会通过各种技术手段和非技术手段保证所获取数据的质量,以保证数据源的广泛性、数据类型的多样性,并满足大数据项目对数据进行积累沉淀的基本要求。由于各种客观原因,来自各种渠道的数据并不总是高质量数据,如果使用质量不高的数据进行挖掘分析,其结果基本是不可信的,甚至会起到误导作用,进而导致大数据项目失败。数据质量不高的现实,必然会驱动大数据项目采取数据治理等技术手段解决此问题。
  另一方面,大数据项目所获取的数据往往携带大量的隐私信息。这些信息既有个人信息,也有政府机构、组织、公司的信息。当前业界各方隐私保护的意识都在增强,甚至很多国家把隐私保护提高到法律的高度加以规范,在这样的大背景下,大数据项目必须对数据安全和隐私保护给予足够重视,并通过技术手段和管理措施两方面加以保障。如果没有这些保障措施,将会导致掌握数据的机构失去共享数据的意愿,即使采取硬性行政手段强制获取数据,也无法避免可能的隐私泄露风险。
  针对大数据技术在发展和应用过程中存在的问题,业界正在着力解决,以促进实际部署的大数据项目达到预期效果。譬如中兴通讯研发的DAP大数据平台,在电信、金融、智慧城市、公安等行业,从数据源、数据集成、数据治理、数据挖掘、数据安全等方面,打造数据质量可靠、安全有保障、处理高效的数据管道。
  (作者为中兴通讯中心研究院副院长)
XML 地图 | Sitemap 地图