dreambi大数据分析平台-技术白皮书

dreambi大数据分析平台-技术白皮书内容摘要：

在本部分中，系统与用户主要交互的信息包括： （ 1）、填报说明：显示当前打开的填报报表的填报说明，包括报表说明、上报周期、审核关系等 ，指标解释不在这里说明； （ 2）、指标解释：当鼠标移动到一个指标所在单元格时，页面上将以工具提示（ ToolTips）的方式提示该指标的说明信息，主要包括指标的解释、数据范围、该指标数据的填报规范等； （ 3）、相关数据：与当前填报的任务报表相关的一些数据，比如上月数、上年数、累加数等。 这些相关数据仅作为用户填报当前的数据时的参考，和指标中的上月数、上年数等的意义不同，前者为系统所提供的功能，后者为指标；前者的数据为从数据库中读出的用户实际填写的历史数据，而后者的数据为需要用户去填写的数据； （ 4）、指标标题的 视觉效果：指每一个单元格中指标的文字部分，这些文字将以不同的视觉效果（颜色、粗细）来反映该指标的状态。 指标的状态区分为下列几种情况：  正常（未填报）：指用户尚未填报的数据；  正常（已填报）：对于新填报的报表，指用户已经填报了该指标的数据，并且通过了客户端的数据校验；对于修改未通过审核的报表，指通过了客户端的数据校验和数据审核的指标。  错误：对于新填报的报表，指用户已经填报了该指标的数据，但是没有通过了客户端的数据校验；对于修改未通过审核的报表，指数据审核未通过的指标。  禁止填写：指用户无需填写的指标。 可能由下列原因产生无需填写的指标：  该指标被禁止使用，但是暂时未从报表中删除；  在填报项设计时指定的由系统自动填写的指标，比如单位名称、当前时间等；  在填报单设计时指定的由系统自动计算的指标，比如一些累加值。  数据填报部分主要的功能包括： . 数据输入设计 用户使用键盘或鼠标将光标定位到要填写数据的指标所在的单元格上，然后输入数据。 用户在输入数据时，系统会根据当前指标数据类型和数据长度的不同，屏蔽一些键盘的响应，具体如下：  字符型：允许包括汉字、英文字母、数字、标点符号和特殊符号在内的所有字符的输入。 超出数据长度限制部分的字符无法输入；  编码字符型：仅能输入由指标的设计者所指定的一些字符。 超出数据长度限制部分的字符无法输入；  整数型：仅允许 10 个阿拉伯数字和正负号的输入，并且正负号只能在第一位。 在输入时不受数据长度的限制，输入结束时会进行数据范围的检查；  数字型：即既可输入浮点数、也可输入整数，仅允许 10 个阿拉伯数字、正负号和小数点的输入，并且正负号只能在第一位、而且只能有一个小数点或者没有小数点。 在输入时不受数据长度的限制， 输入结束时会进行数据范围的检查；  日期型：分为年、月、日三个输入框输入，并且都是只能输入 10 个阿拉伯数字，其中年的数值范围为 1980～ 207月的数值范围为 1～ 1日的输入范围为 1～ 31。 在输入时不受数据长度的限制，输入结束时会进行数据范围的检查，并且会根据年月的数值动态调整日的输入范围；  时间型：分为时、分两个输入框输入，并且都只能输入 10 个阿拉伯数字，其中时的数值范围为 0～ 23，分的数值范围为 0～ 59。 在输入时不受数据长度的限制，输入结束时会进行数据范围的检查；  选择型：不能输入，只能由指定的列表或 下拉框中选择。 . 关联数据设计 在用户输入数据之前，有些指标的数据是由系统自动生成的，这些数据按照用户是否可修改分为两大类：  可修改：这类数据一般为辅助性的数据，比如“上月数”一类的指标，会首先根据用户在上个月的填报中已经报送的数据显示，但因为一些具体情况的不同（比如上个月用户填报时输入的不是实际值，而是预计值），这些数据只是对用户输入的一个提示，用户可以去更改这些数据。  不可修改：这类数据大多数是一些固定的信息，比如单位名称。 这些信息不允许输入者随意的改变，必须通过相关的入口（比如单位名称需要从用户管理的维护中去修改）进行修改。 另外一些不可修改的数据还包括如自动求和之类的计算结果。 . 数据校验设计 数据输入完成：当光标从当前所在指标的单元格上离开时，系统会首先对用户刚刚输入的数据进行校验，以确保数据范围的正确。 根据数据类型的不同，需要进行的校验也不同：  字符型：不再做任何校验；  编码字符型：不再做任何校验；  整数型：根据指标设计者所限定的数值范围进行校验；  数字型：根据指标设 计者所限定的数值范围进行校验；  日期型：按照年的数值范围为 1980～ 207月的数值范围为 1～ 1日的输入范围为 1～ 31 进行校验，并且会根据年月的数值动态调整日的输入范围；  时间型：按照时的数值范围为 0～ 2分的数值范围为 0～ 59 进行校验；  选择型：不再做任何校验。 注：并不是任何时候都需要进行校验，在下列情况下，系统不会进行校验：  报表只读时不需要校验。 即当前所打开的报表不是用来报送数据或修改数据，而是仅仅查看数据的时候，不需要校验；  用户未填入数据时，即单元格为空的时候不需要校验；  当前指标为不允 许修改的指标时，比如一些自动计算的指标或单位名称等，这些数据的校验在整个报表的数据提交时进行校验。  数据校验的结果仅分为正确或不正确，对于数据校验正确的指标的标题，系统会保留原先视觉效果；对于校验不正确的，系统不会弹出任何对话框来干扰用户的输入，而是通过改变该指标的指标标题的视觉效果（变色、加粗等），来提醒用户。 判定用户将光标从当前单元格上离开的条件包括：  按下了“ Tab”键（制表键），这时光标会自动移到下一个可以输入的指标所在的单元格，如果在下一个可以输入的指标和当前指标之间有其他无需输入的单元格，则会自动跳过这些单元格；  按下了回车键，这时光标会自动移到下一个可以输入的指标所在的单元格，如果在下一个可以输入的指标和当前指标之间有其他无需输入的单元格，则会自动跳过这些单元格；  直接使用鼠标点击。 . 清空报表数据设计 清空当前报表中所有需要由用户手工输入的数据，不包括那些为了提示用户输入而自动显示的数据。 . 提交报表数据设计 当用户输入完所有所需填写的数据之后，可以点击“提交报表”按钮提交数据。 此时，系统首先会在客户端对所有的数据重新进行一遍数据校验，而原先不会被校验的数据（比如自动计算的累加值），这时也会被校验，然后系统会提示校验结果，如果校验结果为未通过，则会将未通过校验的指标标题已改变视觉效果的形式提醒用户注意；校验通过则将数据提交到审核服务器，并开始在系统的后台排队等待系统的自动审核。 . 撤回设计 仅在当前打开的任务状态为“等待审核”时，本功能才可用。 对于任务状态为“等待审核”的任务，执行了本操作之后，会将所提交的数据从审 核服务器的审核队列中删除，同时更改本任务的当前状态为“已撤回”。 撤回的操作可能会根据具体的情况而失败。 . 历史数据对照显示设计 当任务的当前状态为除了“禁止”以外的任务时，缺省情况下，为减轻数据库服务器和网络通信的负荷，客户端只显示本周期下的报表和数据（如果有用户已经填报的数据的话），并不显示用户下本报表的历史数据，但是如果需要的话，用户可以通过点击“显示历史数据”按钮，可以要求当前页面同时显示这些历史数据。 当用户点击了“显示历史数据”之后，客户端会首先弹出一个页面来确定要显示的历史数据的范围和内容，一般情况 下包括上月数、连续 n个月数（ n由用户确定）、去年同期数等。 确定了要显示的历史数据后，系统会已标签（ Tab）页的形式显示用户所选择的历史数据和当前数据，用户这时可以自由的在这些标签（ Tab）页之间切换。 . 指标解释、规则提示 当用户的鼠标移动到一个指标的标题或者输入用的单元格上时，系统会自动以工具提示（ ToolTips）的形式提示相关的信息，主要包括指标的解释、数据范围、该指标数据的填报规范等。 . 报表打印 将当前正在填报的任务的报表打印出来。 打印前可以由用户选择需要打印的其他可选内容，主要包括数据、报表说明、指 标解释、审核公式等。 . 数学计算器 为方便用户的计算，当用户点击“数学计算器”之后，系统会显示一个浮动在任务表格的上方、并且允许用户继续在表格上输入的简单的数学计算器，以方便用户的一些计算。 数学计算器所能提供的计算和功能包括：  四则运算；  求平方和平方根、求对数和指数、求倒数；  常用的数学函数；  百分比转换；  Memory 功能，即普通计算器上的 M+、 M等功能； . 数据流图 一个在线填报处理的简化数据流图如下所示。 用户在客户端选择需要填报的报表表种，在服务器端从制度库中读取相应的报表表样定义信息（ XML），然后通过 XSL进行转化，转化为实际填报用的 HTML格式并送回客户端，用户在此 HTML文件基础上进行数据填报，最后将填报数据提交给服务器端存储到数据库。 在 线 数 据 填 报数 据 库应 用 服 务 器浏 览 器开 始报 表 选 择 报 表 样 式 取 得 报 表 样 式 定 义 取 得表 种 表 种报 表 样 式 合 成报 表 展 示 X M LH T M L数 据 录 入数 据 提 交 数 据 存 储 数 据 存 储处 理 结 果 处 理 结 果结 束报 表 数 据 报 表 数 据. 离线填报 离线填报的目的是方便一些上网条件不好的基层单位用户、或在 Inter连接不稳定的区域进行网上数据的报送。 进行离线填报时，用户首先和在线填报一样，需要登录到系统中，然后选择要离线填报的报表、下载，然后可以断开Inter连接进行数据填报。 等到所有的报表填报完成之后，用户可以连接上Inter，然后一次将所有报表上传到服务器端，由服务器端的数据报表处理服务对提交的报表数据进行处理，数据报表处理服务对报表数据的格式进行解析，并将解析的数据保存到原始数据库中，由系统管理员进行统一审核处理。 数据报表处理服 务在服务器端以守护进程的形式存在。 服务器端数据报表的处理流程如下： 离线填报系统的入口是和在线填报系统在一起，即用户也需要首先登录到在线填报系统，然后通过在线填报系统上的连接进入离线填报系统。 用户进行离线填报时的总体功能流程如下： . 选择离线任务 进行离线填报的第一步，首先是选择要填报的报表。 用户每次进行离线填报不一定非要下载所有的报表，可以由用户自己决定是下载全部还是部分报表。 . 历史数据下载设置 因为离线填报时无法立刻从服务器端获得数据，所以为了让用户在离线填报数据时依然可以与历史数据进行对照，离线填报系统需要事先确定用户所需的历史数据。 设置了要下载的历史数据会加大离线填报从服务器端所下载的数据，所以缺省状态下是不下载任何历史数据。 . 任务下载 选择完要离线填报的任务和设置完要下载的历史数据以后，系统会开始将所有的数据下载到本地，然后用户即可以断开 Inter连接并开始离线填报。 用户选择报表并下载的流程图如下图所示： . 填报报表选择 当用户进入数据填报前，首先要选择要填报的离线任务，本功能是 以树状结构列出用户可以填报的任务列表。 . 报送数据输入 用户选择了要填报或修改的离线任务后，将在一个新打开的页面中显示任务的报表，然后由用户进行数据的填报或修改。 系统在离线填报时的操作和在线填报时有所区别，具体的流程如下图所示： . 本地数据上传设计 当用户将所有需要离线填报的数据填写完成之后，可以连接上 Inter，然后将所有数据一次性的提交至服务器端。 此时的数据提交和在线填报时的提交数据的唯一区别就是数据量的多少：离线填报可以一次提交一个或多个任务的数据，而在线填报则是一个一个任务的填报、提交。 数据上传中需要考虑的一个问题是当上传的数据与系统既存的数据发生冲突的时候的处理方法，例如上传的数据已经验收。 为此系统将向客户端返回针对每一报表的数据的处理结果，需要用户选择对相应数据指定采取覆盖或者放弃的操作。 数据上传与接收的流程图如下所示： . 自动更新设计 离线填报系统为一运行于客户本地的单独的应用程序，而这一程序的版本更新将成为将来系统维护的一个主要工作，为此，特为离线填报系统设计了自动更新功能以减少系统维护的工作量。 自动更新程序比较各模块的客户本地版本与服务器端版本的异同，并自动从服务器下载最新 模块覆盖本地的版本。 自动更新功能的数据流图如下所示： . 批量采集（辅助填报） . 催报信息提醒设计 当辅助填报人员登录批量采集（辅助填报）系统之后，首先会以弹出页面的形式向辅助填报人员反馈所有的的催报和执法的信息。 与在线填报系统的“催报与执法信息提醒”功能不同的是，在线填报系统的此功能仅显示与登录的用户有关的催报和执法信息，而这里的“催报与执法信息提醒”所显示的是所有的与辅助填报人员所在统一区域下的催报和执法信息。 . 送数据批量采集（辅助填报） 针对某一个要求辅助填报的企业，由辅助录入人员进行报表数据的辅助 填报，整个批量采集（辅助填报）的操作流程如下图所示： 其中数据录入部分的详细流程如下图所示： . 数据报送 对于数据采集，数据上报的流程、上报的权限都可以按照不同的采集任务预先进行设置。 在系统中，所有的报送数据都是集中管理的，因此在数。