北京濤思數(shù)據(jù)科技有限公司( TAOS Data ) 瞄準(zhǔn)日益增長(zhǎng)的物聯(lián)網(wǎng)數(shù)據(jù)市場(chǎng),專注時(shí)序空間大數(shù)據(jù)的存儲(chǔ)、查詢、分析和計(jì)算,不依賴任何開(kāi)源或第三方軟件,開(kāi)發(fā)了擁有自主知識(shí)產(chǎn)權(quán)、100% 自主可控的高性能、分布式、支持SQL的時(shí)序數(shù)據(jù)庫(kù) TDengine。TDengine 可廣泛運(yùn)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維等領(lǐng)域。公司已經(jīng)申請(qǐng)多項(xiàng)技術(shù)發(fā)明專利,且全部提交 PCT 專利申請(qǐng)。
(一)開(kāi)源項(xiàng)目情況簡(jiǎn)介
申報(bào)人:北京濤思數(shù)據(jù)科技有限公司
項(xiàng)目名稱:TDengine
開(kāi)源許可協(xié)議:AGPL
項(xiàng)目主導(dǎo)企業(yè):濤思數(shù)據(jù)
所在開(kāi)源社區(qū):無(wú)
開(kāi)發(fā)者:187 位開(kāi)發(fā)者,其中 48 位外部開(kāi)發(fā)者
(二)開(kāi)源項(xiàng)目功能與性能簡(jiǎn)介
TDengine是一款開(kāi)源、高性能、分布式、支持 SQL 的時(shí)序數(shù)據(jù)庫(kù),其核心代碼包括集群功能全部開(kāi)源。同時(shí) TDengine 還帶有內(nèi)建的緩存、流式計(jì)算、數(shù)據(jù)訂閱等系統(tǒng)功能,能大幅減少研發(fā)和運(yùn)維的復(fù)雜度。TDengine 可以讓大量設(shè)備、數(shù)據(jù)采集器每天產(chǎn)生的高達(dá) TB 甚至 PB 級(jí)的數(shù)據(jù)能得到高效實(shí)時(shí)的處理,對(duì)業(yè)務(wù)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)的監(jiān)測(cè)、預(yù)警,并從大數(shù)據(jù)中挖掘出商業(yè)價(jià)值。
TDengine 的獨(dú)特優(yōu)勢(shì)有:
高性能:通過(guò)創(chuàng)新的存儲(chǔ)引擎設(shè)計(jì),無(wú)論是數(shù)據(jù)寫(xiě)入還是查詢,TDengine的性能比通用數(shù)據(jù)庫(kù)快 10倍以上,也遠(yuǎn)超其他時(shí)序數(shù)據(jù)庫(kù),而且存儲(chǔ)空間也大為節(jié)省。
分布式:通過(guò)原生分布式的設(shè)計(jì),TDengine提供了水平擴(kuò)展的能力,只需要增加節(jié)點(diǎn)就能獲得更強(qiáng)的數(shù)據(jù)處理能力,同時(shí)通過(guò)多副本機(jī)制保證了系統(tǒng)的高可用。
TDengine采用 SQL作為數(shù)據(jù)查詢語(yǔ)言,減少學(xué)習(xí)和遷移成本,同時(shí)提供 SQL 擴(kuò)展來(lái)處理時(shí)序數(shù)據(jù)特有的分析,而且支持方便靈活的
schemaless數(shù)據(jù)寫(xiě)入。
完全開(kāi)源,TDengine的核心代碼包括集群功能全部開(kāi)源,全球超過(guò) 109.0k個(gè)實(shí)例,GitHub Star 18k,F(xiàn)ork 4.3k,社區(qū)活躍。
(三)項(xiàng)目應(yīng)用場(chǎng)景及效果
TDengine 能被廣泛運(yùn)用于物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、IT 運(yùn)維、能源、金融等領(lǐng)域。自 2018 年商業(yè)化版本發(fā)布后,TDengine 已經(jīng)在全球 400 多個(gè)城市中,被廣泛應(yīng)用在了物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維、車聯(lián)網(wǎng)、能源和金融等各行業(yè),為各企業(yè)的數(shù)字化改造和轉(zhuǎn)型、效率提升以及存儲(chǔ)、運(yùn)維成本降低上做出很大貢獻(xiàn)。在已發(fā)布的70余個(gè)Case 文章中,我們可以看到各種傳統(tǒng)監(jiān)控平臺(tái)的性能癥結(jié)被解決,數(shù)字化、智慧化轉(zhuǎn)型變得更順暢,一部分案例如下:
順豐科技:根據(jù)容量規(guī)劃完成相關(guān)參數(shù)調(diào)整后,在理想情況下,TDengine集群寫(xiě)入速度最高達(dá)到90w條/s的寫(xiě)入速度。服務(wù)端物理機(jī)
由 21 臺(tái)降至 3 臺(tái),每日所需存儲(chǔ)空間為 93G(2副本),同等副本下僅為OpenTSDB+HBase的約 1/10。
零跑科技:不用再像 MongoDB 一樣,在查詢前還需要根據(jù)業(yè)務(wù)加工出需求數(shù)據(jù),TDengine的列式存儲(chǔ),直接以 SQL 計(jì)算即可,大大提高了業(yè)務(wù)的靈活性,同時(shí)其高壓縮算法提升了 10 到 20倍的壓縮性能。
跨越速運(yùn):應(yīng)用TDengine后服務(wù)器數(shù)量從 21 臺(tái)降至 3 臺(tái),壓縮一個(gè) 5 萬(wàn)行、每行在 600 字節(jié)以上的表,壓縮后的磁盤(pán) size 是 1665KB,壓縮率高達(dá) 1%。
浙商銀行:目前微服務(wù)可視化服務(wù)治理平臺(tái)對(duì)并發(fā)要求較高,但是TDengine可以很好地滿足需求,插入/查詢平均耗時(shí)均在 10ms 以內(nèi)。
同花順:在穩(wěn)定性上,改造前調(diào)用數(shù)據(jù)情況共40W次,共出現(xiàn)異常 0.01% 的異常,使用TDengine改造后出現(xiàn)異常降低至 0.001%。
得物:在批量寫(xiě)入設(shè)置上設(shè)置最大寫(xiě)入條數(shù),耗時(shí)基本也能保持在毫秒。目前 Sentinel 的數(shù)據(jù)沒(méi)有使用副本,全量數(shù)據(jù)分散在三臺(tái)機(jī)器中,根據(jù)計(jì)算得知TDengine對(duì)于 Sentinel 監(jiān)控?cái)?shù)據(jù)的壓縮率達(dá) 10%,相當(dāng)可觀。
貨拉拉:將監(jiān)控的數(shù)據(jù)存儲(chǔ)由 MySQL 改造為T(mén)Dengine后,不僅頂住了監(jiān)控?cái)?shù)據(jù)增長(zhǎng)所帶來(lái)的壓力,還節(jié)約了存儲(chǔ)空間,成本壓縮到了原來(lái)的 1/10 甚至更低。歷史原生監(jiān)控?cái)?shù)據(jù)可回溯時(shí)間也變得更長(zhǎng),之前存儲(chǔ) 3 天原生數(shù)據(jù)及聚合數(shù)據(jù)的空間,現(xiàn)在可供原始數(shù)據(jù)存儲(chǔ) 45 天。