北京濤思數據科技有限公司( TAOS Data ) 瞄準日益增長的物聯網數據市場,專注時序空間大數據的存儲、查詢、分析和計算,不依賴任何開源或第三方軟件,開發了擁有自主知識產權、100% 自主可控的高性能、分布式、支持SQL的時序數據庫 TDengine。TDengine 可廣泛運用于物聯網、車聯網、工業互聯網、IT運維等領域。公司已經申請多項技術發明專利,且全部提交 PCT 專利申請。
(一)開源項目情況簡介
申報人:北京濤思數據科技有限公司
項目名稱:TDengine
開源許可協議:AGPL
項目主導企業:濤思數據
所在開源社區:無
開發者:187 位開發者,其中 48 位外部開發者
(二)開源項目功能與性能簡介
TDengine是一款開源、高性能、分布式、支持 SQL 的時序數據庫,其核心代碼包括集群功能全部開源。同時 TDengine 還帶有內建的緩存、流式計算、數據訂閱等系統功能,能大幅減少研發和運維的復雜度。TDengine 可以讓大量設備、數據采集器每天產生的高達 TB 甚至 PB 級的數據能得到高效實時的處理,對業務的運行狀態進行實時的監測、預警,并從大數據中挖掘出商業價值。
TDengine 的獨特優勢有:
高性能:通過創新的存儲引擎設計,無論是數據寫入還是查詢,TDengine的性能比通用數據庫快 10倍以上,也遠超其他時序數據庫,而且存儲空間也大為節省。
分布式:通過原生分布式的設計,TDengine提供了水平擴展的能力,只需要增加節點就能獲得更強的數據處理能力,同時通過多副本機制保證了系統的高可用。
TDengine采用 SQL作為數據查詢語言,減少學習和遷移成本,同時提供 SQL 擴展來處理時序數據特有的分析,而且支持方便靈活的
schemaless數據寫入。
完全開源,TDengine的核心代碼包括集群功能全部開源,全球超過 109.0k個實例,GitHub Star 18k,Fork 4.3k,社區活躍。
(三)項目應用場景及效果
TDengine 能被廣泛運用于物聯網、工業互聯網、車聯網、IT 運維、能源、金融等領域。自 2018 年商業化版本發布后,TDengine 已經在全球 400 多個城市中,被廣泛應用在了物聯網、工業互聯網、IT運維、車聯網、能源和金融等各行業,為各企業的數字化改造和轉型、效率提升以及存儲、運維成本降低上做出很大貢獻。在已發布的70余個Case 文章中,我們可以看到各種傳統監控平臺的性能癥結被解決,數字化、智慧化轉型變得更順暢,一部分案例如下:
順豐科技:根據容量規劃完成相關參數調整后,在理想情況下,TDengine集群寫入速度最高達到90w條/s的寫入速度。服務端物理機
由 21 臺降至 3 臺,每日所需存儲空間為 93G(2副本),同等副本下僅為OpenTSDB+HBase的約 1/10。
零跑科技:不用再像 MongoDB 一樣,在查詢前還需要根據業務加工出需求數據,TDengine的列式存儲,直接以 SQL 計算即可,大大提高了業務的靈活性,同時其高壓縮算法提升了 10 到 20倍的壓縮性能。
跨越速運:應用TDengine后服務器數量從 21 臺降至 3 臺,壓縮一個 5 萬行、每行在 600 字節以上的表,壓縮后的磁盤 size 是 1665KB,壓縮率高達 1%。
浙商銀行:目前微服務可視化服務治理平臺對并發要求較高,但是TDengine可以很好地滿足需求,插入/查詢平均耗時均在 10ms 以內。
同花順:在穩定性上,改造前調用數據情況共40W次,共出現異常 0.01% 的異常,使用TDengine改造后出現異常降低至 0.001%。
得物:在批量寫入設置上設置最大寫入條數,耗時基本也能保持在毫秒。目前 Sentinel 的數據沒有使用副本,全量數據分散在三臺機器中,根據計算得知TDengine對于 Sentinel 監控數據的壓縮率達 10%,相當可觀。
貨拉拉:將監控的數據存儲由 MySQL 改造為TDengine后,不僅頂住了監控數據增長所帶來的壓力,還節約了存儲空間,成本壓縮到了原來的 1/10 甚至更低。歷史原生監控數據可回溯時間也變得更長,之前存儲 3 天原生數據及聚合數據的空間,現在可供原始數據存儲 45 天。