400-8010-352

大數據處理套件 TBDS

騰訊大數據處理套件(Tencent Big Data Suite)是基于騰訊多年海量數據處理經驗,對外提供的可靠、安全、易用的大數據處理平臺。用戶可以按需部署大數據處理服務實現數據處理需求,例如:報表展示,數據提取、分析,客戶畫像等大數據應用。
客戶案例了解更多
應用場景
  • 數據倉庫建設
  • 實時流式數據處理
  • 離線數據處理
  • 數據分析與探索挖掘
  • 大數據處理套件完整覆蓋數據抽取、轉換、加載、建模、分析、報表呈現、數據治理等數倉建設環節,用戶可借助TBDS大數據套件在公有云、私有云、非云化環境快速建設TB到PB級的企業數據倉庫和數據集市,搭建專屬的大數據應用。

    通過大數據處理套件,用戶可顯著降低基于企業數據倉庫的數據應用開發周期,降低開發成本,還可大大降低數據倉庫、數據處理、數據應用的運維成本

  • 用戶可基于騰訊大數據套件快速開發本行業在實時流式場景下的大數據處理、分析的應用程序,以實現對企業實時業務的風險監控與告警,以占據大數據時代的優勢地位。

    流式數據處理可用于金融行業的風險管控、物聯網的海量傳感器數據處理、工業生產線的實時故障預警、病人特征數據實時分析、實時交通流量分析、互聯網實時流量分析等應用場景。

  • 騰訊大數據套件基于Hadoop體系的MapReduce、HIVE、PIG、SPARK技術向企業用戶提供的強大的數據離線批處理能力,用戶可以便捷的使用騰訊大數據套件對企業數據進行抽取、轉換、加載等離線數據處理加工。

    通過離線數據處理引擎,用戶可迅速的對企業所積累的數據進行ETL處理,快速發掘海量歷史數據的商業價值和社會價值。

  • 通過騰訊大數據處理套件所提供的強大數據分析與探索挖掘能力,用戶可快速對企業在PB級規模下的大數據進行可視化的數據分析探索,在紛繁復雜的商業數據中快速獲取數據洞察力,占領商業先機。

    用戶還可通過騰訊大數據處理套件所提供的強大機器學習能力對企業數據進行深度挖掘,進一步發掘海量數據中蘊藏的無限價值。

產品概述
優勢點 TBDS 開源Hadoop體系
安全性

國際認證的系統安全加固服務。
支持數據加密傳輸、存儲。
全平臺單點登錄,統一策略管控中心。
基于角色的數據管控體系,支持列級粒度權限控制。
完善的訪問審計及預警模型。

外部安全風險防控嚴重依賴企業安全團隊能力。
組件權限控制體系分散,數據資產內部管控能力較弱。

易用性

數據接入、處理、存儲、分析、展現、機器學習的拖拽式全鏈路大數據開發。
企業級大數據平臺一鍵式部署。
開箱即用的數據治理工具集。

部署復雜,平臺建設周期長達數月,后期大數據架構調整困難。
簡單的組件運維門戶,無法完整支持整個企業級大數據開發鏈。
缺乏數據治理工具支持,企業難以進行數據資產管理。

可用性

數據節點分布式部署,可選多份備份。
所有系統控制節點主從熱備,故障秒級切換,騰訊95%業務考驗,可用性99.999%。

人才儲備能力的差異性帶來大數據平臺穩定性的不可預測。
IT能力薄弱的企業無法迅速建設起足以運營級的大數據平臺。

可運維

超大規模服務支撐,單集群可支撐近萬節點。
涵蓋服務器運維、組件運維、任務運維、診斷等功能的一站式運維平臺。
組件熱插拔設計、秒級部署到端。
監控指標覆蓋所有30余組件,運行異常實時感知。
無縫對接自有監控告警系統的實時郵件、短信告警。

運維入口分散,隨集群規模和組件規模的增長,運維成本非線性急劇增加。
無有效的實時告警渠道,無法實時掌控集群的運行狀態。

性能

高性能數據接入引擎,內部業務日接入五萬億條數據。
性能全面超越社區方案,數據處理能力提升30%左右。
支持上萬緯度、千億規模數據的秒級交互式多維分析。

性能上嚴重依賴硬件設備能力和開發工程師、運維工程師的技術能力。

成本

冷熱數據區分及差異化高強度壓縮技術有效降低至72%的存儲成本。
調度算法優化,高計算、高IO的高效分時混合技術可讓內存、CPU、網絡資源利用率同時達到90%,有效降低服務器硬件成本。
低門檻的數據分析與挖掘平臺,業務專家也可進行數據的分析挖掘,有效降低企業人力成本。

IT能力薄弱的企業無足夠的能力對現有的大數據硬件成本進行深度優化。
企業需要追加大量數據分析與數據挖掘方面的人力成本預算。

服務

專家級架構咨詢及技術咨詢服務。
7x24小時服務支持,一對一指導。
支持電話咨詢、QQ遠程協助。

通過郵件、論壇等離線渠道求助于開源社區,溝通周期可能長達數周。

產品架構
  • 大數據系統架構圖
  • 大數據處理流程架構圖
產品功能
  • 全鏈路數據開發
  • 數據分析與探索挖掘引擎
  • 開箱即用的數據治理工具
  • 一站式運維管理平臺
  • 易用、安全、穩定、高性能的全鏈路大數據開發引擎。提供拖拽式的可視化數據開發IDE,為用戶的大數據集成、存儲、計算環節提供完整而穩定的企業級解決方案。用戶能借助于大數據套件獲取到強大的大數據開發能力,聚焦于進行企業的業務創新。

    多渠道數據集成

    支持Flume、Tube、Kafka的數據實時接入。
    支持Mysql、Postgre、Oracle等主流關系數據庫高效導入,支持文本類日志數據離線導入。
    支持高強度數據壓縮及加密傳輸,歷經每天峰值1.46P、5萬億條數據接入考驗。

    企業級大數據存儲解決方案

    支持塊存儲、分布式文件、對象存儲、SQL、NoSQL從GB到PB量級的存儲解決方案,滿足企業客戶復雜存儲應用場景。
    存儲系統高可靠容災設計,可靠性可達99.996%,用戶按需選擇數據熱備數量,支持冷熱數據分治,支持數據冷備策略自定義。
    高可擴展設計,存儲系統可動態隨企業數據量增加從G到P級的動態擴容,支持系統不停機動態擴容。
    集群數據平衡成本最小化。

    離線批處理計算

    支持MapReduce、Hive、Pig等批處理計算作業。
    支持Spark分布式內存計算框架,以支持復雜的數據挖掘算法和圖計算算法。
    支持豐富的作業調度策略,包含分鐘、小時、天、月級周期或非周期的任務執行策略。

    實時流處理計算

    支持TStorm(騰訊對社區Storm流處理引擎重寫的java版本)、Storm流式任務作業引擎,覆蓋實時要求極高的流式作業場景。
    支持基于Spark上的Spark Streaming,滿足毫秒級的實時計算場景需求,如實時推薦、用戶行為分析等。

    可視化工作流開發IDE

    拖拽式的工作流開發IDE,簡單Web式拖拽操作來完成整個大數據工作流的任務開發。
    內置豐富的處理器,囊括離線數據導入導出、在線實時數據接入、Java程序、Shell腳本、機器學習等多種任務的配置集成。

    文本檢索及檢索分析

    萬級緯度、千億數據規模下向用戶提供毫秒級高性能檢索分析服務,滿足用戶的檢索分析場景需求。
    基于Lucene的文本搜索服務器ElasticSearch向用戶提供友好的RESTful接口的分布式多用戶能力的全文搜索引擎,支持TB級別的全文檢索應用。

  • 功能強大的數據分析與探索挖掘引擎。包含基于緯度建模的多維分析、交互式探索分析、機器學習、深度學習、可視化敏捷報表門戶等功能,向用戶提供強大的數據分析與數據挖掘能力,助力用戶大數據的價值發現。

    多維分析引擎

    基于Apache Kylin開源分布式分析引擎,為用戶提供基于Hbase存儲的數據Cube預建模及百億行規模的SQL數據分析能力,滿足企業級用戶面向部門的數據集市建設需求。

    交互式數據探索

    采用列存儲技術、萬維標簽查詢處理技術為用戶提供實時的多維交互式SQL查詢、統計、分析系統,支撐萬級維度、千億級規模下的秒級數據統計分析需求,支持數據離線導入及在線數據實時接入。

    分布式數據庫

    支持核心SQL 2003標準的分布式關系數據庫,完全兼容PostgreSQL的SQL語法,支持主鍵、觸發器、約束、函數、存儲過程、跨節點join等絕大部分的SQL特性。
    同時滿足百T級數據規模的OLTP和OLAP應用場景。
    單機20000TPS,支持服務器在線擴容,擴容后性能表現接近線性擴展。
    內核級支持數據庫分庫分表,分庫分表邏輯對業務完全透明化,簡化業務的數據訪問邏輯。
    內核級支持冷熱數據分治,業務無需感知底層存儲介質的差異,對外提供統一的數據庫視圖,可有效降低服務器硬件成本。
    可選多份數據熱備,保障系統高可用,故障秒級切換。

    敏捷報表門戶

    可視化數據源配置,可視化自助創建報表門戶,輕松把握業務脈搏,助力企業決策。
    數據內容的可視化配置推送,支持郵件、微信渠道報表定向推送。
    內置十余種圖表模板,表格、曲線圖、柱狀圖、餅圖、雷達圖等主流圖表模板一應囊括。

    機器學習

    集成Spark、Python、R、XGBoost等四種機器學習框架,支持圖計算和深度學習。
    內置分類、回歸、聚類、關聯規則等60余種豐富算法。
    可視化的Web拖拽式機器學習任務流開發。
    支持團隊協作開發。

  • 開箱即用的數據治理工具。面向企業數據治理需求,提供完善的數據元信息管理功能。支持細到字段級別的數據權限管控,包含庫表數據字典、數據血緣跟蹤與溯源、熱點數據分析等特色功能,以幫助企業客戶提高海量數據資產的管理效率。

    數據權限管控

    提供文件、庫、表、字段級的數據權限控制能力。
    支持基于項目、用戶、角色緯度的數據權限驗證和授權,保障企業數據資產安全。
    完善的訪問審計及敏感訪問預警模型。

    數據字典

    可視化元信息管理工具,滿足用戶對海量數據的元信息檢索、標注、數據口徑標準化等訴求,有效提高企業數據資產管理效率。

    血緣分析、直系分析和重要性分析

    包含血緣分析、直系分析、重要性分析等數據治理工具。
    用戶可通過元數據分析直觀了解到數據的來源、數據之間的關系、數據與任務的計算關系、數據流向、數據被引用次數等重要信息,便于用戶直觀的把握數據資產狀況。

    自助提數

    降低提數門檻,業務人員也可自助提數,減少溝通環節,提數周期從周降低到分鐘級別,大大提高企業的商業決策效率。
    完備的數據權限管控機制始終貫穿自助提數的整個環節,在降低成本的同時更降低數據安全風險。

  • 一站式的可視化運維管理平臺。包含一鍵式集群部署、增量部署、豐富的可視化運維工具、完善的面向多租戶的計算資源管控體系和完善的用戶權限管理體系為客戶提供企業級的大數據平臺運維管理能力支撐。

    便捷部署

    平臺一鍵式部署,用戶的部署時間成本從數周降低到數小時。
    適應企業數據規模增長一鍵式線性擴容。
    30余組件一鍵式增量部署,用戶可根據企業的快速發展實時調整大數據架構。

    儀表盤式運維

    集群運維儀表盤的實時呈現,完善的可視化監控視圖為用戶提供集群運行狀態實時感知能力。
    支持自定義短信、郵件渠道的服務異常告警。

    資源管控

    完整多租戶方案面向企業提供部門級的計算、存儲資源分配與隔離。
    支持資源的動態調整,結合完善的資源指標監控系統可為用戶極大程度的提升系統吞吐量。
    支持以項目,角色為主體的數據、計算資源申請使用。

    項目管理

    項目任務的可視化運維,包含項目內的實時、離線、機器學習等任務的運行狀態指標。
    內置項目管理員、運維工程師、開發工程師三種項目角色,滿足大多數部門級大數據處理場景。
    支持基于項目的角色自定義,企業客戶可根據企業特點打造專屬的大數據項目管理模型。

    用戶及租戶管理

    基于用戶、用戶組、項目的用戶管理體系。
    單點登錄,統一訪問策略體系。

超預云服務器

為企業提供:騰訊云服務器/視頻/游戲/微信開發/軟件/網站/APP…云解決方案

  • QQ群咨詢:212197992 咨詢電話:4008010352
  • 技術支持:021-60169696 13248283855
  • 產品咨詢:021-60169693 18521370613

咨詢電話:400-8010-352

超預云服務器微信
400-8010-352
西甲历史射手榜