开源的监控系统。当年,由于SoundCloud公司生产了太多的服务,传统的监控已经无法满足监控需求,于是他们在2012年决定着手开发新的监控系统,即普罗米修斯。
普罗米修斯(下称普罗)的作者 Matt T.Proud 在2012年加入SoundCloud公司,他从google的监控系统Borgmon中获得灵感,与另一名工程师Julius Volz合作开发了开源的普罗,后来其他开发人员陆续加入到该项目,最终于2015年正式发布。
要采集目标(主机或服务)的监控数据,首先就要在被采集目标上安装采集组件,这种采集组件被称为Exporter。prometheus.io官网上有很多这种exporter,比如:
这些exporter能为我们采集目标的监控数据,然后传输给普罗米修斯。这时候,exporter会暴露一个http接口,普罗米修斯通过HTTP协议使用Pull的方式周期性拉取相应的数据。
不过,普罗也提供了Push模式来进行数据传输,通过增加Push Gateway这个中间商实现,你可以将数据推送到Push Gateway,普罗再通过Pull的方式从Push Gateway获取数据。
了解普罗米修斯的数据结构对于了解整个普罗生态非常重要。普罗采用键值对作为其基本的数据结构:
Key是指标名字,Value是该指标的值,此外Metadata(元信息)也非常重要,也可称之为labels(标签信息)。这些标签信息指定了当前这个值属于哪个云区域下的哪台机器,如果没有labels,数据有可能会被丢失。
计数器是我们最简单的指标类型。比如你想统计某个网站的HTTP错误总数,这时候就用计数器。
计数器的值只能增加或重置为0,因此特别适合计算某个时段上某个时间的发生次数,即指标随时间演变发生的变化。
Gauges可以用于处理随时间增加或减少的指标,比如内存变化、温度变化。
这可能是最常见的指标类型,不过它也有一定缺点:如果系统每5秒发送一次指标,普罗服务每15秒抓取一次数据,那么这期间可能会丢失一些指标,如果你基于这些数据做汇总分析计算,则结果的准确性会有所下滑。
直方图是一种更复杂的度量标准类型。它为我们的指标提供了额外信息,例如观察值的总和及其数量,常用于跟踪事件发生的规模。
比如,为了监控性能指标,我们希望在有20%的服务器请求响应时间超过300毫秒时发送告警。对于涉及比例的指标就可以考虑使用直方图。
摘要更高级一些,是对直方图的扩展。除了提供观察的总和和计数之外,它们还提供滑动窗口上的分位数度量。分位数是将概率密度划分为相等概率范围的方法。
随着分布式架构的不断发展和云解决方案的普及,现在的架构已经变得越来越复杂了。
分布式的服务器复制和分发成了日常架构的必备组件。我们举一个经典的Web架构,该架构由3个后端Web服务器组成。在该例子中,我们要监视Web服务器返回的HTTP错误的数量。
使用普罗米修斯语言,单个Web服务器单元称为实例(主机实例)。该任务是计算所有实例的HTTP错误数量。
事实上,这甚至可以说是最简单的架构了,再复杂一点,实例不仅能是主机实例,还能是服务实例,因此你需要增加一个instance_type的标签标记主机或服务。
再再复杂一点,同样的IP,可能存在于不同云区域下,这属于不同的机器,因此还需要一个cloud标签,最终该数据结构可能会变为:
如果使用过基于InfluxDB的数据库,你可能会熟悉InfluxQL。普罗米修斯也内置了自己的SQL查询语言用于查询和检索数据,这个内置的语言就是PromQL。
我们前面说过,普罗米修斯的数据是用键值对表示的。PromQL也用相同的语法查询和返回结果集。
Grafana是一个大型可视化系统,功能强大,可以创建自己的自定义面板,支持多种数据来源,当然也支持普罗米修斯。
通过配置数据源,Grafana会使用相应的SQL拉取并绘制图表,能直接看到普罗米修斯的各个指标数据图表:
更方便的是,Grafana有很多仪表盘模板供你使用,只要import模板进行简单的配置,就能得到以下效果:
为了观察整个服务体系是否在正常运转,运维非常需要监控系统。在实例的创建速度和销毁速度一样快的容器世界中,灵活配置各类容器的监控项并迅速安装启动监控是非常重要的。
金融服务巨头Northern Trust于2017年6月选择普罗米修斯,不是为了进行应用程序的监视,而是为了更好地了解其某些硬件的运作情况。Northern Trust使用普罗米修斯监控其平台上的750多种微服务。
Life360是一款用于定位、行车安全和家庭成员之间共享信息的移动应用程序,他们需要给用户提供稳定的定位服务,而原有的监控方案都非常局限,无法监视到所有组件的工作状态。
因此该公司使用普罗米修斯来监视其MySQL多主群集和一个12节点的Cassandra环,该环可容纳约4TB的数据。普罗米修斯在初步测试中表现良好。
在普罗米修斯的有限部署之后,Life360报告了监控方面的巨大进步,并设想在其数据中心基础架构的其他部分中使用它。
总而言之,普罗米修斯这样的分布式监控系统,在未来的世界中用处可能会越来越大,它或许将会成为监控领域寡头式的存在,希望我们能熟悉这个工具,并在以后的架构和实践中使用它解决系统和应用监控的问题。
的火种,为人类文明的延续与发展燃起了希望之光。不论是曾震惊世界的中国古代四大发明、诞生于美国硅谷的第一台可编程计算机,还是令沙漠开出花朵的以色列滴灌技术,都体现出了人类在不同时期
之火。比特币的火焰应该燃烧在每一个区块链信徒的心灵的圣坛之中。这是我们致敬的方式,也是我们时时照看初心的方式。
1600A油电合物流无人机在国家级贫困县陕西旬阳完成山区恶劣天气条件下首次载货飞行。
计划—小度校园Open Day活动开始在全国范围内展开,全年计划走访6大城市的10余所高校,同时选拔高校学子作为小度在家的体验官。
》中有一个桥段,女主通过全自动手术机器人取出寄生在体内的外星生物。电影展现的医疗AI,给我们带来了强烈的视觉震撼与对未来无限的遐想!或许某一天电影中的情节能够实现。
为人间盗火一般的时刻里,中国的有志之士第一次和西方同仁站在了同一起跑线w
容器和微服务,对于规模企业通常会更加激进,所以当他们规模部署时将面临扩展的挑战。
为人类盗来的技术与火种正是人类得以超越自身“缺陷”的工具。千百年来,人类凭借技术获得生存之道,追求自我的不断完善。
》中,女主在太空舱里让机器人帮自己做剖腹手术的情节令人印象深刻。8年后,尽管科幻理想尚未照进现实中的手术室,人工智能却已深度介入生命健康管理的各个阶段,在辅助诊断、介入治疗、术后康复和健康监测等方面不断打磨医疗精度。
,推出一款价格较低的互动平板ActivPanel LX,为客户提供更优越的易用性及灵活性功能,同时保证产品的质量和使用寿命。随着这一新产品的推出,
已做足准备以满足教育技术市场细分领域不断增长的需求。 ActivPane
工控机通过485modbus转profinet网关与温度智能表通讯配置案例
存储深度——买示波器之前一定要多问一句!#示波器 #选型 #电子工程师
ESP8266 RTOS_SDK V3.2 开发环境搭建,编译工具链设置3-3 #ESP8266
【不推荐方法演示】危险!你还在这样用示波器测量市电吗?#电子工程师 #示波器 #交流电