Grafana Dashboard 配置导入导出

我司最近的一件大事是AWS迁移阿里云,因此之前部署在AWS上的Prometheus监控系统需要迁移到Aliyun机器上,组件之一展示面板Grafana有很多自定义好的配置,而这些配置是存在于grafana.db中的,因此需要导出导入配置到新的db中。Grafana提供了丰富的api供用户使用,我们调用api导出

导出配置

首先获取Grafana的api_key:menu–configuration–api keys – add API key

然后安装jq:命令行下处理JSON 数据的工具,可以对json数据进行分片、过滤、映射和转换

陆蓉的行为金融学

准备好这个思维导图都大半年了,一直没有时间发布一下,总觉得自己会再多写一写感悟,写一写自己的投资经历,但是发现积攒的todo list变得越来越长,有时候想说的其实并没有那么多,一些单纯的分享也挺好,不求每个人都能看懂,但是能给想看的人一个整体结构。

刚好国庆放假前需要在技术中台的几个后端工程师之间做个分享,但是要准备国庆出游的行程,完全没有时间准备技术分享,因此就选择了两个偏娱乐的主题供同事选择:

  1. 男女间的一些小八卦,一些关于旅游的小趣事
  2. 陆蓉的行为金融学

本来想划下水,随便分享一个就结束了。出乎意料的结果同事们对这两个主题都很感兴趣,不过也是,一个是感情八卦,一个是关于钱的。这个不管是谁应该都是想听的吧。而且整个分享的过程中气氛都特别好,嗯,自认为是一次成功的分享。

具体的行为金融学的知识就看下面的思维导图了,需要mindnode源文件的文末的链接。

一次奇怪的http状态码改变

最近将一个很久没有更新的部署在物理机上的一个老服务迁移到k8s时,发现在gitlab ci跑pytest的过程中出现以下报错:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
___________________________ HelloTests.test_redirect ___________________________

self = <tests.test_hello.HelloTests testMethod=test_redirect>

    def test_redirect(self):
        resp = self.get('/api/hello')
>       self.assertEqual(http.HTTPStatus.MOVED_PERMANENTLY.value, resp.status_code)
E       AssertionError: 301 != 308

tests/test_hello.py:18: AssertionError

按照python系的习惯,一般而言,我们习惯在接口最后加上一个slash,因此会将所有不带slash的接口301重定向到带slash。但是这一次提示重定向的状态码是308。

如何看待work from travel

什么是work from travel?简单说就是边旅行边工作。每时每刻都想体验不一样的生活,想待在不同的地方思考当地人的生活方式,想一直走在路上,想永不停歇,想…

其实也就是一直在想,虽然也做了一些探索,也尝试做了一些准备,但是终归没有迈出这一步。不知不觉就过了毕业之时给自己设立的前3年:3年内可以随心随意玩任何地方做任何事情,不需要攒钱也不需要考虑任何人的想法。当然,也是为了用3年时间去记住一个人也去忘记一个人。确实,这三年我差不多是这么过来的。

所以,子龙经常会说,你怎么又出去玩了,下次去哪儿呀?朋友圈底下,红姐又评论了一句”潇洒哥“。说好不失散到后来慢慢没人水群的老同学们明确的表示羡慕。但是我知道,所有的这些不过是我在多年前就规划好的人生路线,我很清楚的知道自己在干什么。从我的规划里面也不难看出,为什么我一直都想谈一谈work from travel这个话题。

说回work from travel,我大致问了一些不同行业的朋友他们的想法,算是一次简易的线上采访。从中挑了几个算是有代表性又想法略有差异的看法,他们的职业不一,问题也不尽相同,就在这里记录一下,没有做任何改动的原始记录,也不做任何评价。

大数据OLAP系统比较

大数据OLAP系统比较

结论

选择presto和clickhouse配合使用

  • 对实时性要求不严格的数据用presto查询

  • 对于实时性有要求的数据查询clickhouse

理由:

  1. 核心原因:clickhouse相对于Apache Kylin等预计算方案非常省机器,成本最关键(比较穷,没办法)
  2. clickhouse的单表查询非常非常快
  3. 目前再惠的数据仍然处于并将长期处于小规模阶段(集群内存少于1T,Cpu少于200vCore),clickhouse在小规模集群上表现优于Druid和Pinot
  4. presto的综合性能好,在join操作时表现较好,保持目前数仓的这一套不变

Clickhouse创建分布式表以及表引擎介绍

表引擎

表引擎(即表的类型)决定了:

  • 数据的存储方式和位置,写到哪里以及从哪里读取数据
  • 支持哪些查询以及如何支持。
  • 并发数据访问。
  • 索引的使用(如果存在)。
  • 是否可以执行多线程请求。
  • 数据复制参数。

在读取时,引擎只需要输出所请求的列,但在某些情况下,引擎可以在响应请求时部分处理数据。

对于大多数正式的任务,应该使用MergeTree族中的引擎。

MergeTree 引擎系列的基本理念如下。当你有巨量数据要插入到表中,你要高效地一批批写入数据片段,并希望这些数据片段在后台按照一定规则合并。相比在插入时不断修改(重写)数据进存储,这种策略会高效很多。

Clickhouse简介和性能对比

Clickhouse简介和性能对比

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

常见的列式数据库有: Vertica、 Paraccel (Actian Matrix,Amazon Redshift)、 Sybase IQ、 Exasol、 Infobright、 InfiniDB、 MonetDB (VectorWise, Actian Vector)、 LucidDB、 SAP HANA、 Google Dremel、 Google PowerDrill、 Druid、 kdb+。

怎样拍出一张好照片

怎样拍出一张好照片?

到达合适的位置,选择好合适的角度,安排好想要突出主题的构图,调好曝光和色彩,按下快门,适当的加一点后期处理和美化,一张好照片就诞生了。

所以一张好照片的基本要求也就和照片诞生过程的每一个环节息息相关了。

好照片的基本要求

什么是好照片?这个问题本身就是非常主观的。不同人有不同的看法。不过,对于一张好照片,有一些客观的基本要求。做不到这些基本要求,运气再好也拍不出好照片。

下面有5个基本要求:

  • 要求1:把相机端平

  • 要求2:把相片拍清楚

  • 要求3:曝光不要过度

  • 要求4:构图好

  • 要求5:有主题

下面分别来介绍如何才能做到这5点基本要求。