企业竞争情报组织运作
企业竞争情报组织模式和行为的研究日本三井化学公司与时俱进的竞争情报组织案例分析62
企业竞争情报系统和组织模式研究揭秘花王公司的秘密情报组织数字商业管理室71
日本企业竞争情报组织模式研究味之素公司情报部门的历史变迁与启示80
大型企业竞争情报组织与运作研究88
Competitive Intelligence and Due Diligencethe case of Muddy Water Research 114
Study
on Intelligence Service Platform Based on Internet Big Data
[Abstract] The arrival of big data era brings
unprecedented challenges and opportunities for intelligence service which is
data based and consider internet as its important source. Therefore, Academy of
New Media Research PKU, Beijing Institute of Science and Technology Information
along with their partners such as Beijing Cyber Wisdom Information Technology
co., LTD researched and developed the Intelligence Service Platform Based on
Internet Big Data successfully based on huge amounts of Internet data acquisition
and mining technology, integration technology of heterogeneous source and
structure data and high speed processing technology of huge amounts of data.
This paper analyzes the influence of big data on intelligence service through
the review of related research of big data. The function structure composed of
data layer, analysis layer, application layer and dispatching management layer
as well as distributed deployment architecture based on Hadoop is stated in
detail. Finally the characteristics of this platform is summarized.
[Keywords]Big data;
Intelligence service platform; Internet; distributed deployment architecture
大数据已经成为当前最热门的词汇之一。关于什么是大数据，现在还没有标准的定义，维基百科对大数据给出的解释是：大数据是一个大而复杂的、难以用现有数据库管理工具处理的数据集。广义上，大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集；二是新型的数据处理和分析技术；三是运用数据分析形成价值。随着互联网快速发展，特别是社会化媒体和移动互联网的广泛应用，互联网已经进入了大数据时代[1]。
大数据时代的到来为以数据为基础、以互联网作为重要情报来源的情报服务带来了前所未有的挑战和机遇。一方面，大数据具有4V特征，即数据量巨大（Volume）、数据类型多样（Variety）、数据价值密度低（Value）、数据处理要求快（Velocity），这些特征对情报的获取方式、分析方法、处理技术和展现形式都提出了更高的要求；另一方面，数据存取技术的发展、海量数据的存在、云计算技术的成熟，为情报服务提供了更加丰富的信息来源，甚至改变了情报服务的理念。如何通过有效手段应对大数据的挑战，是把握互联网大数据所带来机遇的关键。
本文通过对大数据相关研究现状的综述，分析了大数据对情报服务产生的影响，在此基础上，提出了构建基于海量互联网数据的获取与挖掘、异源异构数据整合及海量数据高速处理等技术的网络大数据情报服务平台的设想，明确了平台的建设原则和目标，详细阐述了平台的功能架构和分布式部署架构，并总结了平台的特色。
1 研究现状
2008年，加州大学伯克利分校教授Clifford Lynch在Nature上发表了题为Big data: How do your data grow?的文章[2]，首次使用了大数据（Big Data）这一词，此后，大数据受到各领域越来越多的关注。2011年5月，第11届EMC World大会以云计算遇到大数据为主题，会上正式提出了大数据（Big Data）的概念[3]。此后，IBM、麦肯锡等商业巨头在其发布的报告中，多次提到大数据带来的严峻挑战、巨大机遇，并阐述了大数据的特征及其对世界的影响[4,5]。2011年2月，Sciences就大数据问题出版了专刊Dealing with Data，探讨了大数据为气象、生态、生命科学等方面的研究带来的机遇和挑战，深入研究了如何更好地组织和使用科学研究中产生的大数据[6]。国内方面，大数据成为2012年8月在北京举办的第18届知识发现与数据挖掘（KDD）国际会议的重要议题，中国计算机学会（CCF）成立了大数据专家委员会（CCF Big Data Task Force，简称 CCF TFBD）[7]。
大数据目前已经从商业和学术领域，逐渐成为国家和地方的战略。2012年3月，美国政府宣布了大数据研究和发展倡议（Big Data Research and
Development Initiative），来推进从大量的、复杂的数据集合中获取知识和洞见的能力[8]。广东省在2014年2月印发的《广东省经济和信息化委员会主要职责内设机构和人员编制规定》中明确提出了设立广东省大数据局[9]，上海也在研究筹备大数据局[10]。
尽管大数据备受关注，但与之相关的很多科学问题和关键技术仍然尚未成熟。黄哲学等总结了大数据面临的三大科学问题：超高维的问题，数据量的问题以及大数据分析方法的问题[11]。李晨晖设计了一个通用的大数据知识服务平台，并基于此提出了大数据环境下知识服务的关键技术，包括：复杂结构化、半结构化数据管理与处理技术，大数据智能识别、传感与适配技术，大数据知识服务模式、体系架构、资源分类及平台标准规范，大数据知识服务全生命周期中的数据、知识、资源、能力、服务、过程和任务等资源和能力的虚拟化接入技术，大数据知识服务交易模型研究，大数据知识服务全生命周期管理技术，大数据知识服务质量评价体系，支持多元化、可视化大数据知识服务终端交互技术等[12]。
虽然大数据仍然面临很多严峻的挑战，许多机构为了掌握先机，已经在现有成熟技术的基础上建立了大数据平台，一些商业化产品纷纷推向市场。IBM、微软、英特尔、甲骨文等商业巨头推出了较为成熟的大数据解决方案，并在城市管理、医疗、电信等领域得到应用。华为、浪潮等国内IT企业也斥巨资布局大数据战略，并向市场推出了商业化产品。国内高校和科研机构是大数据研究的主要力量，在平台关键技术方面取得了大量成果，并开发了相应的大数据分析平台，如中国科学院开展了海云数据系统关键技术研究与系统研制[13]，清华大学在清华知云基础上对大数据处理分析技术开展了深入研究[14]，中南大学斥资1亿元建设湘雅临床大数据系统[15]。
大数据同样引起了情报人员的广泛关注，情报研究人员在探讨大数据对情报服务和学科影响的同时，已经开展了大数据在情报服务中的应用研究。《图书情报工作》近期发表了专题大数据环境下的情报方法研究与应用，从不同侧面探讨了情报方法在新的数据环境下的新发展和新应用以及现有情报方法的改进策略[16~20]。与IT领域相比，在平台建设方面，情报领域还在研究和设计阶段。李晨晖在对大数据知识服务模式的运行机理分析的基础上，设计了大数据知识服务平台体系架构[21]。黄晓斌从大数据产生的原因和特征出发，构建了基于大数据的企业竞争情报系统模型[22]。
2 大数据对情报服务的影响
基于数据提供决策参考是情报服务的主要功能，这并非是大数据概念提出后情报服务才具有的，然而从大数据的概念来看，大数据从理念、分析方法、技术手段和展现方式等方面，均对情报服务的产生了较大影响。
2.1
大数据改变了情报服务的理念
从服务理念看，大数据强调一切皆为数据，这使得情报服务过程中对数据更加关注，不仅是信息资源以及通过各种渠道采集的数据和事实需要进行处理，服务过程中产生的各种管理信息。例如，信息采集人员采集信息的过程，情报分析师分析信息使用的方法、模型和算法，情报循环中各个环节的交付件和交付过程等等，都需要使之转化为相应的数据并进行处理，基于对这些数据的分析，对整个情报服务过程进行优化，通过管理优化提高情报服务的质量和效率。
除此之外，用户的需求数据、情报产品的用户使用数据、用户在业务中的一般行为数据在大数据理念下也将被利用起来，从以需求为导向的关键情报课题（Key Intelligence Topics, KITs）研究，转向以需求数据为导向的KITs，从把握需求为目标，转向以预见需求为目标，通过情报用户大数据为情报服务争取主动。大数据的存在可以更加全面地描述历史，并从中发现规律，从而更好地预见未来。可以说，正是由于大数据的存在，使面向决策的预测和预警成为情报服务的核心任务。
2.2
大数据丰富了情报源
大数据产生的重要原因是数据获取、发布终端技术和数据存储、组织技术的快速发展，由于由用户生产内容（User Generate Contents, UGC）的新兴社交媒体的快速发展和普及，其所产生的数据所占比例越来越高，数据量也越来越大。这些数据内容中包含了传统数据源所不能提供的言论数据和由言论数据体现出的行为数据，通过深入分析和挖掘，又可以得到观点倾向性数据，这些数据在舆情监测、客户偏好分析、产品比较分析、竞争对手分析等方面为情报服务提供了新的思路和线索。
如果说新兴社交媒体在空间上拓展了情报源，那么智能手机就在时间上拓展了情报源，移动社交媒体产生的大数据，从数量、形式、内容和结构上极大丰富了情报源。
2.3
大数据强化了情报服务的功能
从情报服务的传统功能来看，环境监测、市场预警、技术跟踪、对手分析在大数据环境下都得到了强化。情报分析的各种数据不断丰富，并出现了很多新的数据类型：更多的行为数据和观点倾向性数据成为情报分析的重要组成部分；自媒体信息以及网络用户的评价信息，包括网络用户在社交媒体上体现的人际网络，为更加全面的情报分析提供了新的数据；更多关于环境变化的信息通过新媒体发布并快速传播，同时，大数据环境下，情报分析人员可以获知更多专家、相关利益群体对外部环境变化的反应和评论，为外部环境的实时监测和全面评估提供了新的思路；企业自媒体的运营为企业和客户的交流建立了更加通畅的渠道，通过这种渠道，更多针对产品、技术和服务的信息得以快速反馈，在加强企业与客户联系的同时，为技术缺陷的发现、新技术挖掘、技术完善等技术情报工作提供了新的情报源。
大数据环境下，情报服务一直追求的全面性、时效性、准确性、预见性等服务指标得以大幅提高。大数据中更多关联数据、社交数据等增强了情报服务过程中对客户、对手、环境、技术、产品包括企业自身描述的全面性。正是由于这种全面性的存在，使情报监测分析对象的规律更加准确地被把握，将情报服务在及时推向实时的同时，进一步提高了情报服务预测预警的准确性，从而增强了决策的预见性。
2.4
大数据为情报处理技术提出了严峻的挑战
大数据的存在为情报服务提供了前所未有的机遇，然而，在技术和方法方面仍面临着严峻的挑战。大数据环境下的核心矛盾是大数据高速增长与人类获取能力有限性的矛盾，发挥大数据价值的关键在于能否根据情报需求，将大数据进行采集、筛选、压缩、整合，并有效加以利用，通过信息化、智能化的手段，跟踪、获取并挖掘海量数据，从中发现线索，并将碎片化的线索组织起来，从中发现联系，掌握规律，进行预测预警。因此在大数据环境下，海量数据跟踪、获取和挖掘技术，异源、异构数据整合、组织技术，海量数据甄别、筛选技术以及海量数据高速处理技术都面临着严峻的挑战。大数据环境下，情报研究将从单一领域情报研究转向全领域情报研究，并向综合利用多种数据源、注重新型信息资源的分析、强调情报研究的严谨性和情报研究的智能化方向发展[23]。
3 网络大数据情报服务平台建设原则与目标
面对大数据带来的巨大机遇和挑战，基于互联网大数据获取、存储、组织、挖掘等技术，构建网络大数据情报服务平台（以下简称平台），才能有效应对大数据4V特征带来的挑战，挖掘互联网大数据中蕴含的巨大价值，解决大数据高速增长与人类获取能力有限的矛盾，帮助政府和企业做出更加准确、更加具有预见性的决策。
3.1
建设原则
从研究现状的述评可以看出，大数据环境下情报服务平台目前仍处于系统模型和平台框架研究阶段，尚未见平台建设的研究和实践。为保障平台建设总体目标的实现，平台建设应遵循如下原则。
3.1.1
技术先进性与可靠性的原则
大数据的概念提出时间有限，其内涵和外延仍在快速发展当中，平台建设应当应用大数据的先进技术并留有足够的接口，以确保平台发展的可持续性，为今后先进成果的封装和应用提供空间。与此同时，平台建设以情报用户的最终需求为导向，以能否准确、高效地满足大数据环境下情报需求为评价标准，因而要始终强调平台在应用中的可靠性，优先采用Hadoop等技术领先、得到较为广泛认可并具有实际应用案例的成熟技术。
3.1.2
平台可拓展性与可维护性的原则
随着大数据相关科学问题和技术难关的逐项突破，相关的研发成果将逐步应用于情报服务中。一方面，为降低二次开发成本，缩短大数据技术成果转化时间，平台应具有足够的可拓展性。另一方面，随着应用范围的不断拓展，应用领域的不断扩大，平台对硬件条件的要求会越来越高，将会需要不断扩展存储空间、提升计算能力，因而在存储和计算策略的制定上需具有足够的扩展性。
3.1.3
机器智能与人类智慧相结合的原则
平台中将封装大量分析算法和模型，为切实保障平台运算准确、高效，在平台运行过程中，需结合人工干预，将分析人员和领域专家智慧与机器智能算法相结合。在此期间通过建设语料库，确保机器学习过程的有效指导，为算法的更新和优化奠定数据基础。在分析结果的解读方面，充分发挥情报分析人员和专家的知识优势，使最终用户通过平台不仅能够快速获得海量数据中有价值的信息，同时获得有智慧的情报。
3.1.4
界面友好与快速响应的原则
平台为情报用户提供友好的操作界面，在UI方面严格以用户为中心进行设计，以可视化的方式显示分析结果，为用户提供更直观的情报内容，并提供界面定制功能，满足不同用户个性化的需要。快速响应用户点击、查询等请求，平台界面响应时间不超过7秒。
3.1.5
安全性的原则
平台应确保运行安全和数据安全。平台通过建立完善的备份策略和故障处理机制，确保平台724小时不宕机运行。通过足够的冗余备份，保障数据存储安全，同时通过软硬件安全机制和权限策略，确保数据访问安全。
3.2
建设目标
平台建设的总体目标是有效应对网络大数据对情报服务的挑战，挖掘互联网大数据中巨大的情报价值，在以上建设原则的指导下，实现如下建设目标。
3.2.1
实现互联网数据源全面跟踪
平台将实现对新闻网站、论坛、博客、微博等不同类型数据源的持续监测，全面覆盖接入互联网的数据源。通过定义用户、新闻、评论等网络实体，对数据源中能够获得的所有属性进行全面抓取。
3.2.2
实现网络数据实时监测
平台通过分布式架构进行多点并行采集，实时监测数据更新情况，并将分析结果第一时间反馈给用户，进一步提升大数据环境下情报服务的时效性。
3.2.3
实现对网络大数据的深度分析
通过研发并实现大数据预处理算法，并围绕用户、内容、地域、媒介等情报分析对象进行分析模型的构建，以阐述历史及现状为基础，以挖掘数据中蕴含的规律为目标，以预测、预警为服务内容，以高水平云计算能力为条件，实现对网络大数据的深度分析。
3.2.4
实现情报分析结果可视化
通过信息图、数据统计图、动态图等方式，直观地将情报分析结果反馈给情报用户和情报分析人员，同时提供情报分析报告自动生成和数据结果导出等功能，并充分利用各种互联网访问终端完成情报传播。
3.2.5
实现数据采集和分析的人工干预功能
实现人机结合平台，通过人工干预，优化数据采集、预处理和情报分析的结果，一方面确保情报分析的准确性，另一方面为更加智能的机器分析奠定数据基础。
4 网络大数据情报服务平台架构
大数据环境下，数据的体量、结构均不同于以往，为实现平台建设的目标，平台架构需要根据大数据的特点进行设计。
4.1
平台功能架构
平台功能设计围绕大数据环境下用户的情报需求，采用三层结构的设计思想，在逻辑上按数据层、分析层和应用层进行设计，由于采用以云计算为基础的分布式存储和计算，因此建立调度管理层对存储、查询和计算等过程进行统一调度（图1）。尽管从平台的功能架构看，与传统数据环境下的情报服务平台相仿，但是在每个功能层的具体构成和实现上还是体现出大数据的特点。
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
