日韩精品中文字幕一区二区-日韩精品中文字幕一区-日韩精品中文字幕视频-日韩精品在线一区二区三区-第一页在线-第一福利视频

東坡下載:內容最豐富最安全的下載站!

首頁最新資訊 互聯網 → 基于mdrill的大數據分析

基于mdrill的大數據分析

相關文章發表評論 來源:本站原創時間:2014/2/18 14:55:28字體大小:A-A+

更多

作者:不詳點擊:139次評論:0次標簽: 大數據分析

數據越來越多,傳統的關系型數據庫支撐不了,分布式數據倉庫又非常貴。幾十億、幾百億、甚至幾千億的數據量,如何才能高效的分析?
mdrill是由阿里媽媽開源的一套數據的軟件,針對TB級數據量,能夠僅用10臺機器,達到秒級響應,數據能實時導入,可以對任意的維度進行組合與過濾。
mdrill作為數據在線分析處理軟件,可以在幾秒到幾十秒的時間,分析百億級別的任意組合維度的數據。
在阿里10臺機器完成每日30億的數據存儲,其中10億為實時的數據導入,20億為離線導入。目前集群的總存儲3200多億80~400維度的數據。
mdrill的特性
1.滿足大數據查詢需求:adhoc每天的數據量為30億條,隨著日積月累,數據會越來越大,mdrill采用列存儲,索引,分布式技術,適當的分區等滿足用戶對數據的實時在線分析的需求。
2.支持增量更新:離線形式的mdrill數據支持按照分區方式的增量更新。
3.支持實時數據導入:在僅有10臺機器的情況下,支持每天10億級別(高峰每小時2億)的實時導入。
4.響應時間快:列存儲、倒排索引、高效的數據壓縮、內存計算,各種緩存、分區、分布式處理等等這些技術,使得mdrill可以僅在幾秒到幾十秒的時間分析百億級別的數據。
5.低成本:目前在阿里adhoc僅僅使用10臺48G內存的PC機,但確存儲了超過千億規模的數據。
6.全文檢索模式:在mdrill的全文檢索模式數據可以直接存儲在hdfs中,并且以每天160億*70維度的數據增量提供全文檢索服務(注:該模式下不能進行統計,只能進行關鍵詞匹配查詢數據明細)
mdrill的定位
大數據
要數據量大,幾十億上百億。
還要省錢,普通PC就能搞定。
多維分析
要任意維度組合與過濾
還要對任意指標進行統計和排序
即席查詢
要查詢快,秒級響應。
還要數據快,數據分鐘級延遲。

擴展知識

相關評論

閱讀本文后您有什么感想? 已有 人給出評價!

  • 2791 喜歡喜歡
  • 2101 頂
  • 800 難過難過
  • 1219 囧
  • 4049 圍觀圍觀
  • 5602 無聊無聊
熱門評論
最新評論
昵稱:
表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
字數: 0/500 (您的評論需要經過審核才能顯示)

本類常用軟件

主站蜘蛛池模板: 广濑大介| 韩国电影《我是谁》演员表介绍| 丁丁历险记电影| 变形金刚5免费完整版在线观看| 江苏卫视今天节目表| 山楂树之恋电影剧情简介| 寿康宝鉴戒期表| 新红楼梦2010在线观看免费| 带动气氛的mc台词| 池田夏希| 色老女人| 姐妹姐妹演员全部演员表| 热带夜| 抖 音| 电影不见不散| 质量教育培训的首要内容是() (单选题)| 昆虫总动员2免费观看完整版| 阿妹的诺言| 日本无翼乌邪恶大全彩h下拉式| 阴道电影| 山西少儿频道| 电影《追求》| 抖音抖音| 杰克逊·拉斯波恩| 凤凰心计| 抖音生活| 《欢·爱》郭晓东| 藏文作文| 影片 - theav| 电影监狱| 迎宾进行曲| 五年级必考歇后语大全| 茉莉2| 藏文作文| 小春兰| 玉林电视台| 刘洋演员| 怀男孩和女孩有什么区别| 恋人电影| 八下数学练习册答案| 大团圆李静张娴|