1.魔力TM复杂数据智慧分析处理软件系统(英文名称: ChemDataSolution)魔力系统是一款先进的数据分析软件,由大连达硕信息技术有限公司独立开发,是公司相关领域科学家长期研究积累的智慧结晶。基于行业领先的复杂数据处理算法流框架,表现优异的数据处理方法和良好的用户体验,可智慧地解决“三高”数据分析中的信息提取与挖掘问题,从而辅助科学决策(“三高”是指高维、高通量和高复杂度)。本软件涵括丰富的数据处理方法,提供从数据预处理到特征选择,探索性分析到模式识别,定性定量模型构建到未知样本验证与预测的整体解决方案。软件功能全面,使用智能便捷,结果准确可靠,用户体验优越,应用范围广泛(如下表)。 本产品提供复杂多变量数据处理的整体解决方案: 从数据到图形,从数据预处理到变量选择,从探索性分析到分类,从定量模型构建到新样本验证与预测,从工程文件管理到报表。本产品旨在以极佳的用户体验,智慧地解决“三高”数据的分析处理与信息挖掘问题: 基于领先的数据处理算法与算法流机制,减少用户对算法理解的要求和对方法使用中的频繁工预,并以直观方式呈现所有计算得到的中间结果和最终结果(包括表格和图形等)。 产品的主要功能见下表。 魔力系统功能强大,特色鲜明,主要的亮点有: ◆ 算法流(批方法) 算法流(批方法)思想是本软件的主要亮点和特色之一,特别适合数据处理步骤多、过程繁复的“三高”数据分析与信息提取挖掘。算法流(批方法)即构造包含不同数据处理方法的整合与优化流程,包括数据批载入、预处理、特征选择、模型构建与未知样本预测等,设置方法参数,即可将待分析数据“注入”算法流中(训练集、校正集、验证集和预测集等),实现数据快速便捷,准确智能分析,达致智慧型数据分析与信息挖掘之目的。特别地,算法流构造的变化,可实现复杂数据的一键处理和多模型处理,数据处理方法及参数对分析结果的影响,以及相同数据处理方法(算法流)对不同类型数据集处理的影响。 ◆ 一键处理与多模型处理 如上所述,算法流实现不同数据处理方法的逐级串联与优化整合。针对用户需要解决的实际问题,构造个性化的算法流,设置方法参数,并往算法流的入口添加目标数据即可实现全流程分析,且自动保存每步计算的中间结果和最终结果,这便是本软件产品提供的一键处理功能。针对某个具体问题,用户便可在优选算法流的基础上,将新的待分析数据直接加载到算法流中,可快捷简便、智慧可靠地获得分析结果。多模型处理则是指用户在构造算法流时,可同时添加多个不同的建模方法,程序便自动判断建模前的分析方法与建模方法,实现各建模方法的结果比较。程序先运行全部建模前的方法,并将结果作为输入分别加载到各建模方法中。除此之外,用户亦可自由添加、删减或修改算法流中的方法,或者调节方法顺序,修改方法参数等,随心所欲实现快速数据处理。 ◆ 同步建模、验证与预测 用户先构造算法流,后添加待分析处理的数据。在添加被处理数据时,用户可一次性同时加载数据训练集、验证集和预测集等,极大减少用户频繁选择数据、数据处理方法,以及模型的麻烦。传统上需先选择数据处理方法和数据以构建模型后,再将模型应用于新的验证样本或未知预测样本。训练集、验证和预测的结果以节点文件夹的形式保存,层次清晰,查看方便。详细内容请参见对节点文件夹介绍,以及各章节对数据处理方法结果的操作和说明。一个工程文件可管理多个被载入的数据,且单个数据可做任意的数据划分(行划分、列划分,以及子矩阵划分),保证训练集、验证集和预测集数据的丰富来源。 ◆ 数据批载入与智慧型数据处理 数据载入到软件系统中,是数据处理的第一步。实现智慧型数据数据处理,则须先实现快速数据载入。传统数据分析处理,包括 Unscrambler 和 SIMCA 等软件,数据载入亦极其繁复费时,甚至需要用户将不同样本的数据事先拼接,给用户带来极大不便。数据智慧载入的麻烦在于数据本身的复杂性和多样性。如前所述,本软件从技术上完整解决数据智慧导入的难题,使得用户甚至仅需告诉程序文件夹路径(文件保存位置)即可,系统自动考虑各种复杂的情形,实现多文件、多样本数据的载入。 ◆ 数据抽提与重建模 算法流或传统单个数据处理方法运行后得到的可视化图形结果,直观表达数据样本、变量以及二者之间的关系,用户可以此做出某些决断,如奇异值的判别等。 本软件提供基于图形结果的数据抽取,并可将被抽提的部分(样本或变量)重新构建数据和模型,实现数据的二次分析,获得更加符合用户期待的结果。 ◆ 多线程与多核并行计算 数据处理过程往往消耗较大的计算量,尤其当数据含有较多样本和变量时;同时Monte-carlo 等方法本身运算次数多,亦加大运算的难度。基于此,本软件加入多线程与多核并行计算的方法,极大地提高计算速度,从“大数据”的分析处理考察,显著优于传统软件系统。 ◆ 卓越用户体验 除了上述的丰富数据处理方法和强大的分析能力,本软件尤其追求最佳的数据处理用户体验。 |