零基礎學編程需要什么基礎？英語不好可以學嗎 2022-09-06
零基礎學編程需要什么基礎？英語不好可以學嗎？零基礎學習編程需要具備扎實的計算機基礎常識，較強的邏輯思維、計算機操作系統(tǒng)體系結構、計算...詳情>
爬蟲分類有哪些？ 2022-09-05
通用網(wǎng)絡爬蟲從互聯(lián)網(wǎng)中搜集網(wǎng)頁，采集信息，這些網(wǎng)頁信息決定著整個引擎系統(tǒng)的內(nèi)容是否豐富，信息是否即時，因此其性能的優(yōu)劣直接影響著搜索...詳情>
2022年it行業(yè)的就業(yè)方向及前景分析 2022-09-05
在2022年it主流就業(yè)方向包括前端開發(fā)、數(shù)據(jù)庫管理、大數(shù)據(jù)開發(fā)、后臺開發(fā)、嵌入式開發(fā)、AI智能和UI設計這七大方向，每個方向所需要的技能都會...詳情>
SparkStreaming消費速度趕不上生產(chǎn)速度怎么辦？ 2022-09-02
在默認情況下，Spark Streaming 通過receiver或者Direct方式以生產(chǎn)者生產(chǎn)數(shù)據(jù)的速率接收數(shù)據(jù)。當 batch processing time > batch interval 的...詳情>
SparkStreaming一個批次有多久？一個批次有多少條數(shù)據(jù)？ 2022-09-02
關于批次間隔需要結合業(yè)務來確定的，如果實時性要求高，批次間隔需要調(diào)小。 每個批次的數(shù)據(jù)量是和每天產(chǎn)生的數(shù)據(jù)量有直接關系，在計算的時候需...詳情>
批次累加 2022-09-02
UpdataStateBykey updataStateBykey是特殊的reduceByKey， 相當于oldValue+reduceByKey(newValue1,newValue2)，通過傳入一個updateFunc來實現(xiàn)...詳情>
解決數(shù)據(jù)積壓（重點） 2022-09-02
批處理時間<<批間隔時間：流量太小，集群閑置，浪費資源，批處理時間>>批間隔時間：流量太大，集群繁忙，數(shù)據(jù)積壓導致系統(tǒng)崩潰#####通過設置sp...詳情>
SparkStreaming整合Kafka（重點） 2022-09-02
receiver方式 sparkStream啟動一個單獨的線程receiver定時使用kafka高階API向kafka拉取數(shù)據(jù)，并自動地更新zk的offsets。優(yōu)點：用戶專注于業(yè)務...詳情>
DStream 2022-09-02
DStream是Spark Streaming的基礎抽象，代表持續(xù)的數(shù)據(jù)流，它由一系列連續(xù)的RDD組成，一個批次間隔接收的數(shù)據(jù)只會存放在一個block中，因此每個...詳情>
SparkSQL的時間類型？ 2022-09-02
SparkSQL的時間類型？SparkSQL的所有類型都在org.apache.spark.sql.types._的包下面，這個里面我們可以引入對應的schema類型，包括事件的Date...詳情>
熱問標簽 更多>>
在線提問
專業(yè)導師線上坐鎮(zhèn)，解答個性化學習難題
提交問題
京公網(wǎng)安備 11010802030320號