應(yīng)用上線后出現(xiàn)卡頓,是團(tuán)隊(duì)最容易慌亂的時(shí)刻。測試時(shí)一切正常,用戶卻反饋打開慢、頁面轉(zhuǎn)圈、滑動(dòng)不跟手、點(diǎn)擊沒反應(yīng)。此時(shí)如果直接開始加緩存、擴(kuò)服務(wù)器、改代碼,往往忙了半天沒效果。卡頓是一個(gè)表象,真正原因可能藏在客戶端渲染、網(wǎng)絡(luò)鏈路、網(wǎng)關(guān)、應(yīng)用服務(wù)、中間件、數(shù)據(jù)庫任何一層。排查的核心思路是分層定位,先縮小范圍,再針對瓶頸動(dòng)手。
先區(qū)分是界面卡還是接口慢
用戶口中的卡通常有三種。第一種是滑動(dòng)掉幀、動(dòng)畫不流暢,這大概率是客戶端問題。常見原因是把網(wǎng)絡(luò)請求、文件讀寫、大體積數(shù)據(jù)解析放在主線程,布局層級過深導(dǎo)致測量和布局耗時(shí),界面重繪頻繁,圖片在界面線程解碼,對象頻繁創(chuàng)建銷毀引發(fā)內(nèi)存抖動(dòng)和回收搶占資源,或者鎖等待把主線程卡住。排查時(shí)可以先觀察幀率和渲染耗時(shí),看是否有持續(xù)掉幀,再用系統(tǒng)追蹤能力查看渲染流程、進(jìn)程通信和鎖競爭,用性能剖析工具定位耗時(shí)方法,用內(nèi)存分析工具確認(rèn)是否存在泄漏和頻繁回收。優(yōu)化方向是把耗時(shí)操作移到后臺,精簡布局層級,減少重繪,圖片壓縮并按需加載,避免在繪制過程中創(chuàng)建對象,縮小鎖范圍。
第二種是點(diǎn)擊后長時(shí)間轉(zhuǎn)圈,重點(diǎn)看接口和網(wǎng)絡(luò)。可以在客戶端記錄請求從發(fā)起、連接、握手、等待響應(yīng)到接收完成的各階段耗時(shí),再和服務(wù)端記錄的接口處理時(shí)間對比。如果服務(wù)端處理很快但客戶端等待很久,問題多半在網(wǎng)絡(luò)鏈路、網(wǎng)關(guān)、帶寬或者解析環(huán)節(jié)。如果服務(wù)端本身處理就慢,那就是后端問題。
第三種是間歇性卡,一陣好一陣壞,常見于回收停頓、緩存集中失效、下游偶發(fā)超時(shí)、網(wǎng)絡(luò)抖動(dòng)、定時(shí)任務(wù)集中執(zhí)行。這類問題最難靠復(fù)現(xiàn)解決,必須依賴長期監(jiān)控?cái)?shù)據(jù)。
用監(jiān)控和日志快速縮小范圍
先看三個(gè)維度。是所有接口都慢,還是單個(gè)接口慢。是所有用戶都慢,還是部分用戶慢。是持續(xù)慢,還是間歇性慢。
所有接口都慢,通常說明公共環(huán)節(jié)出問題,比如數(shù)據(jù)庫壓力過大、緩存服務(wù)異常、連接池耗盡、服務(wù)器資源打滿、網(wǎng)關(guān)限流或者帶寬被占滿。單個(gè)接口慢,更可能是該接口自身查詢邏輯低效、循環(huán)調(diào)用下游、鎖競爭嚴(yán)重或者依賴服務(wù)拖慢。持續(xù)慢多指向代碼邏輯、慢查詢和資源不足。間歇性慢多指向回收停頓、緩存失效和下游抖動(dòng)。
日志重點(diǎn)看三類。錯(cuò)誤日志暴露異常堆棧、連接失敗和依賴不可用。慢查詢?nèi)罩局苯臃从硵?shù)據(jù)庫是否成為瓶頸,把最慢的幾條語句優(yōu)先處理,通常收益最大。訪問日志能看出請求量是否突增,是否存在異常來源高頻刷接口,如果確實(shí)存在,需要盡快加上限流和風(fēng)控策略,避免正常用戶被拖垮。
從網(wǎng)絡(luò)到網(wǎng)關(guān),別忽略接入層
先確認(rèn)解析是否耗時(shí),連接建立是否緩慢,是否存在丟包和抖動(dòng),是否跨地域跨運(yùn)營商導(dǎo)致延遲偏高,帶寬是否被打滿。響應(yīng)體過大時(shí),壓縮、只返回必要字段、分頁返回都能明顯改善體感。
網(wǎng)絡(luò)沒問題,再看網(wǎng)關(guān)和負(fù)載均衡。很多后端負(fù)載不高卻頻繁超時(shí)的情況,是接入了連接數(shù)限制、帶寬限制或者防護(hù)策略,把正常流量也攔住了。此時(shí)盲目擴(kuò)容服務(wù)器毫無意義,需要先確認(rèn)接入層配置。
服務(wù)器資源要看細(xì)節(jié),不要只看使用率
關(guān)注處理器、內(nèi)存、磁盤讀寫和網(wǎng)絡(luò)吞吐。處理器用戶態(tài)高,通常是密集計(jì)算或者低效循環(huán)。內(nèi)核態(tài)高,可能是系統(tǒng)調(diào)用過于頻繁。大量處于等待狀態(tài),往往是磁盤壓力大,比如日志寫得太多太頻繁,可以降低日志量、改成異步寫入或者提升磁盤性能。
內(nèi)存不要只看使用率,更要看是否有單個(gè)進(jìn)程異常占用,是否頻繁觸發(fā)交換。一旦開始交換,整體響應(yīng)會(huì)明顯變慢。同時(shí)關(guān)注回收頻率和停頓時(shí)間,堆內(nèi)存配置不合理或者存在泄漏,會(huì)導(dǎo)致頻繁回收甚至長時(shí)間停頓,表現(xiàn)為接口間歇性卡頓??梢酝ㄟ^回收統(tǒng)計(jì)觀察趨勢,再結(jié)合堆內(nèi)存快照分析哪些對象長期無法釋放。
應(yīng)用層重點(diǎn)看排隊(duì),而不是只看計(jì)算
很多接口慢不是算得慢,而是請求在排隊(duì)。線程池打滿,新請求只能等待。數(shù)據(jù)庫連接池或者下游服務(wù)連接池耗盡,請求會(huì)阻塞在獲取連接上。排查時(shí)看線程是否大量處于等待狀態(tài),是否存在死鎖或者鎖競爭,是否存在串行調(diào)用多個(gè)下游導(dǎo)致耗時(shí)疊加。
序列化開銷也容易被忽略。返回巨大的結(jié)構(gòu)化數(shù)據(jù),反復(fù)序列化和反序列化,會(huì)明顯消耗處理器資源??梢酝ㄟ^分頁、裁剪字段、使用更緊湊的數(shù)據(jù)格式降低開銷。非核心邏輯,比如記錄行為、發(fā)送通知、生成統(tǒng)計(jì),可以放到消息隊(duì)列異步執(zhí)行,避免占用主流程時(shí)間。多個(gè)互不依賴的下游調(diào)用,可以改成并行或者提前預(yù)取。