1992 онд технологийн эхлэх хойш (дүүнээс дээш долоо хоногийн өмнө!), Би "түүнийг багатайгаар илүү хийж" гэж үзэж буй хэд хэдэн үзэсгэлэнтэй үзэсгэлэнтэй байдаг. Энэ нь бага багны гишүүдтэй илүү их хүргэх эсвэл хязгаарлагдмал тоноглогдсон тоног төхөөрөмжийн нөөцийг ажиллуулах гэж нэрлэдэг гэж нэрлэдэг гэж нэрлэдэг.
нэг туршлага нь хөнгөн модернизацийн төсөл дээр backend архитектор гэж миний туршлагатай байна. Хэвийн багасгахад бидminimize or eliminate service-level logging—Logging бид маш их debugging болон ач холбогдол шинжилгээ хийхэд хэрэглэдэг. Эдгээр шийдэл нь бидний харах боломжтой платформ дээр log ingestion-ийн өндөр зардалтай юм.
Энэ нь ажиллаж байна - тэр хүртэл.
Бид үнэхээр тавтай морилно уу!
Хязгааргүйгээр, ямар ч ач холбогдолтой асуудал болсон, бид тэдний хязгаарлагдмал бүртгүүлэг хэрэгтэй. Тэдний эх үүсвэрийг тодорхойлох нэг арга юм. Тэдгүйгээр, шийдэлгүйгээр цаг ачаалал, нягтрал нэмэгдэж, анхаарал бүх багт дараах байна.
// Sample (but not the real) log line removed during our cost-cutting
{
"timestamp": "2025-03-21T14:05:03Z",
"service": "preference-engine",
"level": "ERROR",
"message": "Worker queue overflow: unable to dispatch to worker pool",
"requestId": "abc123",
"userId": "admin_42"
}
Хэрэв бид үүнийг хадгалж байгаа бол, энгийн структурын алдааны жагсаалт (ямар ч) нь энгийн жагсаалт жагсаалт (ямар ч дараах жагсаалт) ашиглан жагсаалтын платформ дээр хялбар шүүлтүүр болно бөгөөд бидэнтэй мэдэгдэж, диагноз, асуултуудыг сайжруулдаг.
_sourceCategory=prod/preference-engine "Worker queue overflow"
| count by userId, requestId
Бидний босоо хуваалцах нь ихэвчлэн багасгах гэж нэрлэдэг бөгөөд бүх төсөл нь хязгаарлагдмал байдалтай байдаг.
Lean нь ресурсны алдартай байх ёстой биш юм
Ямар ч, "түүнийг багатай нь илүү хийх" мэдрэмж байгалийн богино биш юм. Олон эх үүсвэрүүд гол приоритет дээр төвлөрөг, хялбар, үр ашигтай програм хангамжийг ашиглаж, хөгжилтэй байдаг. Минималист загвар нь хамгийн сайн чанарыг сайжруулах боломжтой бөгөөд гол хэрэгсэл байрладаг бол.
But this wasn’t the “good” kind of lean. And our deadline to move to the cloud was fixed. We were racing against a browser deprecation date. That meant rewriting services to a cloud-native design, coordinating with client teams, and delivering under pressure. With no time for complete test coverage or deep observability integrations, we relied on logs to resolve our issues and help determine the root cause for unexpected scenarios. That was OK at first, we just inserted the necessary logging while working on each method.
Гэсэн хэдий ч, хавтгай дүүргэлсэн үед, баг дээр хязгаарлагддаг. Бидний үндсэн аюулгүй байдлын сүлжээг олсон байна.
Root Cause ямар ч сүлжээ
Интернетийн туршилт сайн байсан. Бүтээгдэхүүний ойролцоогоор бид шинэ хөнгөн дээр суурилсан архитектуудад итгэлтэй байсан. Бид туршилтын талаархи мэдэгдсэн асуултуудыг шийдсэн бөгөөд бидний хугацааны хугацааг хангасан.
Гэхдээ бид тавтай морилно уу бидний найдвартай байсан, бидний туршилтын хавхлага хязгааргүй байсан.
Бид үйлдвэрлэлд байсан бөгөөд үнэхээр хэрэглэгчид платформ ашиглаж байсан бөгөөд энэ нь гайхалтай найдвартай хязгаарлагдмал тохиолдолд харуулсан. Тэгээд байтугай, нарийвчлалтай дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөр
Хэрэв бид backend туршилтын болон frontend дээр үйлдвэрлэлийн хэрэглэгчдийн дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин д
_sourceCategory=prod/preference-engine OR prod/frontend error
| join ( _sourceCategory=prod/tester-feedback “queue error” )
on requestId
| fields requestId, _sourceCategory, message
Гэсэн хэдий ч, бүртгэлүүдгүйгээр орон нутгийн үйл явдлыг хуваалцах нь ихэвчлэн хялбаргүй байсан. Үнэлэг хэрэглээний тохиолдолд ихэвчлэн өөр өөр өөр өөр өөр өөр өөр байдаг. Бид эд ангины бүртгэлг шинэчлэхэд тусалсан боловч энэ нь зөвхөн үйл ажиллагаа явуулж буй мэдлэггүйгээр багасгахын тулд бидний хэрэглээний төлбөр нэмэгдүүлэхэд тусалсан.
Зарим тохиолдолд, бид алдартай шалтгаан нь ямар ч мэдэгдэж чадахгүй байна. Энэ нь хэцүү байрладаг: хэрэглэгчдэд нөлөөлж буй асуудал байдаг гэж мэдэгдэх бөгөөд энэ нь мэдэгдэж чадахгүй байна. Энэ нь баг дээрх хязгааргүй байдал мэдрэмжийг бий болгосон.
MTTR vs Сигнал чанарын
Үүнээс гадна, бидний үйл явдлын ретроспектив дээр нэг асуудал байсан, энэ нь эвдэх цаг хугацаа (МТРБид MTTR-ийг ихэвчлэн өвчин биш, эх үүсвэр гэж үзэж байна.
Аж үйлдвэрийн бенчмарк нь ихэвчлэн элит бүлэг MTTR-ийг долоо хоногийн дотор олж авсан. Гэхдээ бид хурд нь зүгээр л автоматжуулалт биш юм гэж мэдэж байна.high-fidelity signals. Low-fidelity сигнал, жинхэнэ 500 алдаа, агуулсан метрикийн зардлыг гэх мэт, үнэхээр туслах биш юм. Тэд зөвхөн хязгаарлалт, ресурсны хязгаарлалт (жишээ нь үнэ цэнэтэй цуглуулах цаг, бүртгүүлэх зардал).
Үүнээс гадна, дэлгэрэнгүй, контекстны сигналууд - userId, requestId, үйлчилгээний шугам нь бүтэцтэй жагсаалт гэх мэт - шууд эх үүсвэртэй болно. Нарийвчлалтын платформ MTTR-ийг багасгах боломжтой боловч энэ нь танд ашиглаж байгаа өгөгдөл нь үйл ажиллагаа явуулж болно.
Хэрэв таны бүртгэлүүд Эдгээр асуултанд хариу биш бол таны MTTR нь багны хурд тухай биш - энэ нь сигнал ягаан туяаны тухай юм.
Sumo Logic-ийн загварууд нь цаг хугацааг хэрхэн хадгалж болно
Тэгэхээр миний хөнгөн модернизацийн төслийн үед ямар нэгэн янз бүрийн - болон илүү сайн - байж болох вэ?
Эх, би танд илүү сайн лог аналитик, програм хангамжийн гүйцэтгэлийн хяналтын (APM) байхыг хүсч байна. Тэгээд энэ нь APM, лог удирдлагын, үйлчилгээний мониторууд, илрүүлэг, тохирсон метрик нь үйл ажиллагаатай амжилт, эсвэл алдаатай харьцуулагдсан байна. Би (нэн бүх төсөл дээр) би бүх шинэ шинж чанарын хувьд түүний амжилттай холбогдсон метриктэй байхыг хүсч байна.
Идэвхжүүлэхийн тулд би хүсэж байна! Миний өмнөх хэвлэлд, "DevSecOps: Хэрэв та өөрийн хүсэлтийг төлөх цаг юм, хэрэглэх биш,«Би хайж байна вэSumo логикБүртгүүлэг нь үргэлжлэхэд ашиглаж болно, гэхдээ та зүгээр л анхаарах, эсвэл анхаарах хэрэгтэй үед төлөх болно.
Та бүрэн нэгжийн туршилтын хавтгайгүй баг байна уу? Реал хугацааны давуу талбар, гранулийн метрикийн хязгаарлалттай? Хатуу буцаан дээр байна уу? Логтуудын хязгаарлалттай?
Үнэгүй үнэ цэнэтэй бүрэн хэрэглээг ашиглан, багтууд тэдний хэрэгцээтэй хязгааргүйгээр бүртгүүлэх болно. Тэгээд энэ үйл явцад эцсийн үед (ийг байх болно), анализ нь хэрэглэгчийн нөлөө, бизнесийн байлгах нь шууд хамарсан үнэ цэнэтэй, хэрэглэгчийн хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээтэй болно.
Энэ арга хэрэгсэл хяналтыг сайжруулдаг, анхаарал бууруулдаг, учир нь бүлэгүүд хамгийн чухал үед ихэвчлэн судлах боломжийг олгодог.
But Wait: You Also Need Machine-Assisted Triage to Clear Up Your Queries
Modern observability is not just about having all that beautiful log data—it is also about knowing where to look in that data. Үүнээс гадна, та organized байх ёстой,high-fidelity signals.
Хэрэв та хязгааргүй хэрэглээтэй бол та олон өгөгдөлтэй байна. Тэгээд та мэдээлэл хайж эхэлж байгаа үед та эхлэх газар хэрэгтэй. туслахын тулд, Sumo Logic бас санал болгож байнаmachine-assisted triage toolsЭнэ нь автоматаар аномалын үйл явцыг группируулдаг, outliers-ийг олж, нэг асуулт бичнэ өмнө үйлчилгээнд харьцуулахад харьцуулагдсан сигналуудыг харуулдаг.
Сэдэв, Sumo Logic статистик алгоритм, машин суралцах хэрэглэдэг:
- Cluster logs by similarity (хэдийгээр nodes хооронд янз бүрийн хэлбэрийн хэлбэрийн хэлбэрийн талаар).
- Метрикийн болон бүртгүүлэгчдэд хязгаарлалт мэдэгдэх (жишээ нь, үйлчилгээ, бүс, хэрэглэгчийн бүлэгт дагуу алдааны түлхүүр).
- Метад аномалийг багасгахад (жишээ нь, AWS tags, Kubernetes pod info, суулгах маркер).
- Эмэгтэй хэлний боловсруулах цуглуулаг semantic similarity, зүгээр л string matching биш logs.
Энэ нь хязгааргүй хэрэглээний өндөр тооны орчинд маш их ашигтай байдаг. Хязгааргүй хэрэглээний орчинд илгээрийн лог шугам дамжуулан шилжихын тулд та "лог бүртгэлийг" олж авах болно — холбогдсон үйл явдлын бүлэгүүдийг харуулсан загвар.
Бүтээгдэхүүний Workflow
_sourceCategory=prod/* error
| logreduce
Эдгээр нэг үйл явдал нь шулуун бүртгэлийн өгөгдлийг үйл ажиллагаа явуулж болно:
Error: Worker queue overflow
Error: Auth token expired for user *
Error: Timeout in service *
Нэг удаа хуваалцсан, багц нь доорх контекст руу хуваалцах боломжтой:
| where message matches "Auth token expired*"
| count by userId, region
Бүтээгдэхүүний үр дүнд? Хязгаарлагдмал хайлт бага. Хязгаарлагдмал шийдэл хурдан. Хязгаарлалт бага.
Баримтлал
"Нэмэлттэй илүү хийх" философии нь инженерийн багдыг хязгааргүй болгоно. Гэхдээ энэ нь зөв тоног төхөөрөмжтай байх ёстой. Тэдгүйгээр, найдвартай баг ч байтугай хязгааргүй үйл ажиллагаа явуулж болохыг мэдэрч болно. Хязгааргүй байдал, стресс.
Миний оюутнууд миний хувийн миссийн хэлтэс мэдэгдэх болно, би ямар ч IT мэргэжилтнүүдэд хэрэглэж болно гэж бодож байна:
"Зөвхөн таны цаг хугацааг шинж чанарыг / функцийг санал болгож чадна. Бүх бусад зүйлсэд frameworks, бүтээгдэхүүний, үйлчилгээг ашиглах. " - J. Vester
"Зөвхөн таны цаг хугацааг шинж чанарыг / функцийг санал болгож чадна. Бүх бусад зүйлсэд frameworks, бүтээгдэхүүний, үйлчилгээг ашиглах. " - J. Vester
Энэ нийтлэлд бид нунтаг үсэг загварын загварыг энэ үйл ажиллагаатай харьцуулахад хэрхэн үзсэн. Энэ нь багдад хурдан эх үүсвэрийг идентичлэх, хязгаарлалт хугацааг багасгах, стресс түвшинд багасгахад туслахын тулд туслах болно.
Үнэндээ маш сайн өдөр!
