our solutions
过去十年中无论是放眼中国还是世界,都可以发现互联网行业经历了快速地扩展与发展。在互联网/移动互联网、物联网等应用场景中,个性化服务越来越多、用户体验要求越来越高、智能分析越来越精确,这些业务需求对大数据处理技术提出了更高的要求。
为满足这些需求,大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。这样的高并发、大数据、高实时应用需求给大数据处理系统提出了严峻的挑战。因此,构建具有低迟滞(在1 min内甄别突发风险)、高实时(100 ms内返回处理结果)、长周期(可处理长达10年以上的历史周期数据)以及支持高复杂度规则(如方差、标准差、k阶中心矩、最大连续统计等)等特性的流式大数据系统,已成为当前互联网企业获取竞争优势的重要手段和途径。
以核心交易数据为载体,以流计算框架为核心,实现报文预处理、在线指标计算、规则处理和输出联动。
以历史报文和核心报文为载体,以spark为计算框架完成指标分析、交易分析、预警分析和报文分析。
基于spark和elasticsearch实现报文、日志、交易、指标、预警等数据的分析和检索。数据应用分析:基于异常检测、深度学习等数据分析方法实现对运营数据的分析和挖掘。