Applet: 数据分析应用

使用Pigsty工具箱进行数据分析与可视化

Applet的结构

Applet,是一种自包含的,运行于Pigsty基础设施中的数据小应用。

一个Pigsty应用通常包括以下内容中的至少一样或全部:

  • 图形界面(Grafana Dashboard定义) 放置于ui目录
  • 数据定义(PostgreSQL DDL File),放置于 sql 目录
  • 数据文件(各类资源,需要下载的文件),放置于data目录
  • 逻辑脚本(执行各类逻辑),放置于bin目录

Pigsty默认提供了几个样例应用:

  • pglog, 分析PostgreSQL CSV日志样本。
  • covid, 可视化WHO COVID-19数据,查阅各国疫情数据。
  • pglog, NOAA ISD,可以查询全球30000个地表气象站从1901年来的气象观测记录。

应用的结构

一个Pigsty应用会在应用根目录提供一个安装脚本:install或相关快捷方式。您需要使用管理用户元节点执行安装。安装脚本会检测当前的环境(获取 METADB_URLPIGSTY_HOMEGRAFANA_ENDPOINT等信息以执行安装)

通常,带有APP标签的面板会被列入Pigsty Grafana首页导航中App下拉菜单中,带有APPOverview标签的面板则会列入首页面板导航中。

您可以从 https://github.com/Vonng/pigsty/releases/download/v1.5.1/app.tgz 下载带有基础数据的应用进行安装。

COVID

COVID是一个可视化WHO COVID-19数据,查阅各国疫情数据的应用样例。

公开演示:http://demo.pigsty.cc/d/covid-overview

安装方式

cd covid
make all         # 完整安装(会从WHO下载最新数据)
make all2        # 完整安装(会直接使用本地下载好的数据)

更精细的控制:

make ui          # 将covid dashboards安装至grafana
make sql         # 将covid 数据库表定义创建至metadb中
make download    # 下载WHO最新数据
make load        # 加载下载好的WHO数据
make reload      # download + load

如果已经下载了数据(例如,通过下载app.tgz获得应用程序),运行make all2代替,以跳过下载。


PGLOG:PG自带日志分析应用

Pigsty自带的,用于分析PostgreSQL CSV日志样本的一个样例Applet

COVID:WHO新冠疫情数据大盘

Pigsty自带的,用于展示世界卫生组织官方疫情数据的一个样例Applet

NOAA ISD气象站历史数据查询

以ISD数据集为例,展现如何将数据导入数据库中


最后修改 2022-06-18: v1.5.1 (8de4142)