首页 >> 新闻资讯 >>行业动态 >> 奇虎360开源其日志搜索引 擎,可处理百万亿级的数据
详细内容

奇虎360开源其日志搜索引 擎,可处理百万亿级的数据

Poseidon 系统是一个日志搜 索平台,可以在百万亿条、100PB 大小的日志数据中 快速分析和检索。360 公司是一个安全公 司,在追踪 APT(高级持续威胁) 事件,经常需要在海量的历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都 是写 Map/Reduce 计算任务在  Hadoop 集群中做计算,一 次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。  Poseidon 系统就是解决这个 需求,能在数百万亿条规模的数据集中找出我们需要的数据,只需要花费几秒钟时间,大大提高工作效率;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规 模)的查询检索需求。

  该系统现已开 源:https://github.com/Qihoo360/poseidon 。

  作者介绍

  魏自立, 11 年加入 360,高级工程师、资 深顾问。参与建设了全世界首个也是目前全世界最大的云查杀安全系统,也是 360 搜索引擎的核心开 发。在分布式网络服务器架构与计算、大规模系统性能调优等方面积累了大量实践经验,目前负责 360 核心安全业务线的 云引擎服务团队。

  在QCon北京2017上,他还将担任《 专题:支撑海量业务的互联网架构》专题的出品人。

  演讲稿

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  加小编微信: emprere,下载完整演讲稿 。

  欢迎关注“互联网 架构师”,我们分享最有价值的互联网技术干货文章,助力您成为有思想的全栈架构师,我们只聊互联网、只聊架构,不聊其他!打造最有价值的架构师圈子和社区。


关于我们
青岛搜讯传媒有限 公司致力于成为中国最新锐的活动品牌营销、媒体运营。
网站导航
服务项目
联系我们
青岛市市南区银川 西路67号动漫产业园 C座206-1
400-8609-360
sxjishu@
微信公众号

了解更多搜讯



在线客服
- 360推广咨询
  • 点击这里给我发消
息
- 技术支持
  • 点击这里给我发消
息
- 可信百科售前
  • 点击这里给我发消
息
- 可信百科售后
  • 点击这里给我发消
息
友情链接:    豪门彩票   幸运彩app   豪门彩票   必胜彩票手机官网登录   重庆彩票手机客户端