大数据时代电子商务的挑战与机遇研究毕业设计论文(编辑修改稿)

大数据时代电子商务的挑战与机遇研究毕业设计论文(编辑修改稿)内容摘要：

了一种新的产业资源，通过尽力搜集整理全面数据、完整数据、综合数据并对数据进行深度智能分析和建模，可以显示出各种事物的潜在关联，挖掘出各种以往不为人知的相关性，判断事物发生的概率，预测事物变化的走向，预见某种社会趋势，从而使鱼龙混杂的信息在大数据时代的社会管理、商业营销、产业开发、文化创意、医疗保健等方面更能发挥见微知著的预见性价值，据此各行各 业都可以有的放矢地制定新策略，成就新创意，开发新产品，推出新业务。 虽然早在 1980 年著名未来学家阿尔文托夫勒在其《第三次浪潮》一书中已经提到“大数据”一词。 在 20 世纪 90 年代，“数据仓库之父”比尔伊蒙（ Bill In mon）更明确提出了“大数据”的概念。 但在当时“大数据”的说法并没有引起世人的高度关注。 最近几年大数据一说不胫而走，显然与信息量的持续攀升、大数据的俯拾即是、云计算的大量运用息息相关。 一夜之间，人类俨然进入了一个全新的“大数据”时代。 实际上，大数据时代的到来早有征兆。 20世纪 80、 90 年代 所谓的信息爆炸可谓是今日的大数据潮流的先声。 只不过，目前物联网、移动通讯、互联网每时每刻都在不断滋生潮水般的海量数据，人类的信息数据在以几何指数形式激增。 根据市场调研公司 IDC 的报告，全球信息总量每过两年就会增长一倍。 据统计， 1 分钟内，微博网站推特上新发信息超过 10 万条，脸谱上的浏览量超过600 万，苹果应用商店下载次数以万计，淘宝可卖出几万件商品，百度能产生百万次搜索记录。 而以往的数字化信息存储和处理能力严重限制了信息的采集、存储量。 这些 TB 级、 PB 级海量数据的存储、挖掘、处理、分析、利用对于以往时代来说是 不可想象的。 在过去，存储的主要是模拟数据，报纸、书籍、图片、磁带等媒介是信息存储的主要载体，甚至在 2020 年的时候，数字存储信息仍只占全球数据量的四分之一；当时，另外四分之三的信息都存储在报纸、胶片、黑胶唱片和盒式磁带这类媒介上。 P23 数据处理技术和处理能力的局限使大量在交通、医疗、商业、管理中产生的数据资料都难以得到长期有效的存储。 直到 MPP、 MapReduce、Hadoop 平台、云计算等新的数据处理技术诞生后，海量的大数据才被深度挖掘。 处理，显示出了前所未有的价值。 但大数据潮流的深层根源显然还是利润最大化的商业冲动，大数据产业说到底不过是数字经济、知识经济的最新形态，这也是“大数据”这个为管理咨询公司、经济学家、 IT 界巨头欢欣鼓舞的概念招人 本科生毕业设计（论文） 8 质疑的重要原因。 但是商业化潮流既可能导致文化的沙化、社会的急功近利、商业的唯利是图，也会成为文化创新的不竭动力，开启知识创造的新天地和新境界。 事实上，正是近年来数字化领域的商业逐利冲动驱使商家不断改换思路，升级设备，实现数字技术创新，提升数字服务水准，开辟新的产业领域，开发新的文化产品，开创了蔚为潮流的大数据产业，也开启了有别于互联网时代的“数字化生存“的新境界。 电子商务大数据时代的特点 大数据是一个较为抽象的概念，正如信息学领域大多数新兴概念，大数据至今尚无确切、统一的定义。 在维基百科中关于大数据的定义为 :大数据是指利用常用软件工具来获取、管理和处理数据所耗时间超过可容忍时间的数据集。 个人认为，这并不是一个精确的定义，因为无法确定常用软件工具的范围，可容忍时间也是个概略的描述。 IDC 在对大数据作出的定义为 :大数据一般会涉及 2 种或 2 种以上数据形式。 它要收集超过 100TB 的数据，并且是高速、实时数据流 ； 或者是从小数据开始，但数据每年会增长 60%以上。 这个定义给出了 量化标准，但只强调数据量大，种类多，增长快等数据本身的特征。 研究机构 Gartner 给出了这样的定义 :大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 这也是一个描述性的定义，在对数据描述的基础上加入了处理此类数据的一些特征，用这些特征来描述大数据。 当前，较为统一的认识是大数据有四个基本特征 :数据规模大 (Volume)，数据种类多(Variety)，数据要求处理速度快 (Velocity)，数据价值密度低 (Value)，即所谓的四 V 特性。 这些特性使得大数据区 别于传统的数据概念。 大数据的概念与“海量数据”不同，后者只强调数据的量，而大数据不仅用来描述大量的数据，还更进一步指出数据的复杂形式、数据的快速时间特性以及对数据的分析、处理等专业化处理，最终获得有价值信息的能力。 数据量大 大数据聚合在一起的数据量是非常大的，根据 IDC 的定义至少要有超过 100TB的可供分析的数据，数据量大是大数据的基本属性。 导致数据规模激增的原因有很多，首先是随着互联网络的广泛应用，使用网络的人、企业、机构增多，数据获取、分享变得相对容易，以前，只有少量的机构可以通过调查、取样 的方法获取数据，同时发布数据的机构也很有限，人们难以短期内获取大量的数据，而现在用户可以通过网络非常方便的获取数据，同时用户在有意的分享和无意的点击、浏览都可以快速的提供大量数据 ； 其次是随着各种传感器数据获取能力的大幅提高，使得人们获取的数据越来越接近原始事物本身，描述同一事物的数据量激增。 本科生毕业设计（论文） 9 早期的单位化数据，对原始事物进行了一定程度的抽象，数据维度低，数据类型简单，多采用表格的形式来收集、存储、整理，数据的单位、量纲和意义基本统一，存储、处理的只是数值而已，因此数据量有限，增长速度慢而随着应用的发展，数据维 度越来越高，描述相同事物所需的数据量越来越大。 以当前最为普遍的网络数据为例，早期网络上的数据以文本和一维的音频为主，维度低，单位数据量小。 近年来，图像、视频等二维数据大规模涌现，而随着三维扫描设备以及Kinect 等动作捕捉设备的普及，数据越来越接近真实的世界，数据的描述能力不断增强，而数据量本身必将以几何级数增长。 此外，数据量大还体现在人们处理数据的方法和理念发生了根本的改变。 早期，人们对事物的认知受限于获取、分析数据的能力，一直利用采样的方法，以少量的数据来近似的描述事物的全貌，样本的数量可以根据数据获取 、处理能力来设定。 不管事物多么复杂，通过采样得到部分样本，数据规模变小，就可以利用当时的技术手段来进行数据管理和分析，如何通过正确的采样方法以最小的数据量尽可能分析整体属性成了当时的重要问题。 随着技术的发展，样本数目逐渐逼近原始的总体数据，且在某些特定的应用领域，采样数据可能远不能描述整个事物，可能丢掉大量重要细节，甚至可能得到完全相反的结论，因此，当今有直接处理所有数据而不是只考虑采样数据的的趋势。 使用所有的数据可以带来更高的精确性，从更多的细节来解释事物属性，同时必然使得要处理数据量显著增多。 数据类型多样 数据类型繁多，复杂多变是大数据的重要特性。 以往的数据尽管数量庞大，但通常是事先定义好的结构化数据。 结构化数据是将事物向便于人类和计算机存储、处理、查询的方向抽象的结果，结构化在抽象的过程中，忽略一些在特定的应用下可以不考虑的细节，抽取了有用的信息。 处理此类结构化数据，只需事先分析好数据的意义以数据间的相关属性，构造表结构来表示数据的属性，数据都以表格的形式保存在数据库中，数据格式统一，以后不管再产生多少数据，只需根据其属性，将数据存储在合适的位置，就可以方便的处理、查询，一般不需要为新增的数 据显著的更改数据聚集、处理、查询方法，限制数据处理能力的只是运算速度和存储空间。 这种关注结构化信息，强调大众化、标准化的属性使得处理传统数据的复杂程度一般呈线性增长，新增的数据可以通过常规的技术手段处理。 而随着互联网络与传感器的飞速发展，非结构化数据大量涌现，非结构化数据没有统一的结构属性，难以用表结构来表示，在记录数据数值的同时还需要存储数据的结构，增加了数据存储、处理的难度。 而时下在网络上流动着的数据大部分是非结构化数据，人们上网不只是看看新闻，发送文字邮件，还会上传下载照片、视频、发送微博等非结构化数 据，同时，遍及工作、生活中各个角落的传 本科生毕业设计（论文） 10 感器也时刻不断的产生各种半结构化、非结构化数据，这些结构复杂，种类多样，同时规模又很大的半结构化、非结构化数据逐渐成为主流数据。 如上所述，非结构化数据量已占到数据总量的 75%以上，且非结构化数据的增长速度比结构化数据快 10 倍到 50 倍。 在数据激增的同时，新的数据类型层出不穷，已经很难用一种或几种规定的模式来表征日趋复杂、多样的数据形式，这样的数据已经不能用传统的数据库表格来整齐的排列、表示。 大数据正是在这样的背景下产生的，大数据与传统数据处理最大的不同就是重点关注非结构化 信息，大数据关注包含大量细节信息的非结构化数据，强调小众化，体验化的特性使得传统的数据处理方式面临巨大的挑战。 数据处理速度快 要求数据的快速处理，是大数据区别于传统海量数据处理的重要特性之一。 随着各种传感器和互联网络等信息获取、传播技术的飞速发展普及，数据的产生、发布越来越容易，产生数据的途径增多，个人甚至成为了数据产生的主体之一，数据呈爆炸的形式快速增长，新数据不断涌现，快速增长的数据量要求数据处理的速度也要相应的提升，才能使得大量的数据得到有效的利用，否则不断激增的数据不但不能为解决问题带来 优势，反而成了快速解决问题的负担。 同时，数据不是静止不动的，而是在互联网络中不断流动，且通常这样的数据的价值是随着时间的推移而迅速降低的，如果数据尚未得到有效的处理，就失去了价值，大量的数据就没有意义。 此外，在许多应用中要求能够实时处理新增的大量数据，比如有大量在线交互的电子商务应用，就具有很强的时效性，大数据以数据流的形式产生、快速流动、迅速消失，且数据流量通常不是平稳的，会在某些特定的时段突然激增，数据的涌现特征明显，而用户对于数据的响应时间通常非常敏感，心理学实验证实，从用户体验的角度，瞬间 (moment， 3秒钟 )是可以容忍的最大极限，对于大数据应用而言，很多情况下都必须要在 1 秒钟或者瞬间内形成结果，否则处理结果就是过时和无效的，这种情况下，大数据要求快速、持续的实时处理。 对不断激增的海量数据数据的实时处理要求，是大数据与传统海量数据处理技术的关键差别之一。 数据价值密度低 数据价值密度低是大数据关注的非结构化数据的重要属性。 传统的结构化数据，依据特定的应用，对事物进行了相应的抽象，每一条数据都包含该应用需要考量的信息，而大数据为了获取事物的全部细节，不对事物进行抽象、归纳等处理，直接采用原始 的数据，保留了数据的原貌，且通常不对数据进行采样，直接采用全体数据，由于减少了采样和抽象，呈现所有数据和全部细节信息，可以分 本科生毕业设计（论文） 11 析更多的信息，但也引入了大量没有意义的信息，甚至是错误的信息，因此相对于特定的应用，大数据关注的非结构化数据的价值密度偏低，以当前广泛应用的监控视频为例，在连续不间断监控过程中，大量的视频数据被存储下来，许多数据可能是无用，对于某一特定的应用，比如获取犯罪嫌疑人的体貌特征，有效的视频数据可能仅仅有一两秒，大量不相关的视频信息增加了获取这有效的一两秒数据的难度。 但是大数据的数据密度低是指 相对于特定的应用，有效的信息相对于数据整体是偏少的，信息有效与否也是相对的，对于某些应用是无效的信息对于另外一些应用则成为最关键的信息，数据的价值也是相对的，有时一条微不足道的细节数据可能造成巨大的影响，比如网络中的一条几十个字符的微博，就可能通过转发而快速扩散，导致相关的信息大量涌现，其价值不可估量。 因此为了保证对于新产生的应用有足够的有效信息，通常必须保存所有数据，这样就使得一方面是数据的绝对数量激增，一方面是数据包含有效信息量的比例不断减少，数据价值密度偏低。 电子商务大数据时代的 SWOT分析 优势分析 资源优势 对档案馆而言，其最大的优势在于所拥有的资源。 首先，档案馆信息资源总量庞大且增长迅速。 2020 年，全国各级国家档案馆共保存档案 亿卷，较上年增加 1769 万卷，增幅达 10%，而到 2020 年各级国家档案馆馆藏已达 亿卷，到2020 年各级国家档案馆馆藏将达到 6 亿多卷。 其次，档案馆数据资源种类繁多。 在档案馆的数据资源中，既有数字化的纸质档案、接收进馆的电子文件、音视频档案等，也有用户利用信息、服务数据等数据资源。 再次，档案馆数据资源价值很高。 与其它数据资源等相比，“档案是一 种最真实、最可靠、最具权威性与凭证性的原生信息资源”，这就使得数据洪流时代档案的价值与作用更加凸显。 行业领先 首先，各级国家档案馆是集中统一保管党和国家档案的科学文化事业机构，是永久保管档案的基地，是社会各界利用档案史料的中心。 作为一种机构性存在与制度性安排，档案馆的公共性、服务性、公平性、永久性等特征，使得档案馆成为人们心目中最系统、最值得信赖的数据资源库。 大数据时代，档案馆维护和传承记忆的功能将更加重要，构建一个“基于互联网的，以档案数字资源为主体，以文本、图片、音频、视频等为形式，为中华民族集体 记忆的建构和传承提供文献支撑的‘中国记忆’数字将成为档案人新的目标与使命。 其次，档案馆在数据处理上具有丰富的经验。 考察数据生命周期，涉及到数据生成、采集、传输、处 本科生毕业设计（论文） 12 理、分析、应用等阶段，而这也恰恰是档案馆熟悉的业务范畴。 因此，档案馆可以通过模拟或借鉴传统档案处理的整套业务规范或流。