signed

QiShunwang

“诚信为本、客户至上”

【Elasticsearch】基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化

2021/5/14 23:01:22   来源:

在这里插入图片描述

1.概述

转载:基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化

1、需求
有一批特定用途(文末揭晓)的 IP 地址。

想通过地图形式可视化展示 IP 地址对应的经纬度坐标的分布。

2、方案探讨
基础方案如下:

第一步:IP 地址转经纬度坐标。

实现借助第三方工具:https://ipstack.com/

第二步:经纬度坐标借助可视化工具(如:echarts)渲染展示。

这时候不免进一步思考:

有没有更快捷的方案呢?ELK 能实现不?

已知的知识点:

Elasticsearch 支持 Geo-point、Geo-shape 数据类型。

Kibana 支持 Coordinate Map(坐标图)、Region Map(区域地图)可视化地图展示。

两个已知知识点一整合不就是基于 Elasticsearch + Kibana 的可视化展示方案吗?

且慢,有没有更快捷的 IP 地址转经纬度坐标的信息呢?

有的。Ingest 数据预处理管道的 GeoIP processor (处理器)就能达到这个目的。

整体架构图如下图所示:
在这里插入图片描述

3、GeoIp processor 介绍
官方解读如下:GeoIp processor 根据来自 Maxmind 数据库的数据添加有关IP地址地理位置的信息。

默认情况下,GeoIp processor 将此信息添加到 geoip 字段下。GeoIp processor 可以解析 IPv4 和 IPv6 地址。

更多 Maxmind 数据库信息参见:

https://dev.maxmind.com/geoip/geoip2/geolite2/

在 Elasticsearch 早期版本中 GeoIp processor 需要安装插件才能使用。7.X 版本后,ES 已自带,不需要安装。

4、导入一条数据实战一把
4.1 步骤 1:创建预处理管道

PUT _ingest/pipeline/geoip_pipeline
{
  "description" : "Add geoip info",
  "processors" : [
    {
      "geoip" : {
        "field" : "ip"
      }
    }
  ]
}
 

该预处理的目的就是:将输入的 IP 字段转换为:Geoip 类型。具体 Geoip 类型张什么样?后面会揭晓。

4.2 步骤 2:创建索引

DELETE niu_20210215
PUT niu_20210215
{
  "settings": {
    "index.default_pipeline": "geoip_pipeline",
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties": {
      "geoip": {
        "properties": {
          "location": {
            "type": "geo_point"
          }
        }
      },
      "ip":{
        "type":"keyword"
      }
    }
  }
}
 

考虑到后面要批量导入数千条+数据,我们采用了取巧的方式。

使用了在创建索引的时候指定缺省管道(index.default_pipeline)的方式。

这样的好处是:

灵活:用户只关心 bulk 批量写入数据。

零写入代码修改:甚至写入数据的代码一行都不需要改就可以。

4.3 步骤 3:写入一条数据

PUT niu_20210215/_doc/1
{
  "ip": "8.8.8.8"
}

这时候,我们查看一下完整的 Mapping 张什么样?

GET niu_20210215/_mapping

{
  "niu_20210215" : {
    "mappings" : {
      "properties" : {
        "geoip" : {
          "properties" : {
            "continent_name" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "country_iso_code" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "location" : {
              "type" : "geo_point"
            }
          }
        },
        "ip" : {
          "type" : "keyword"
        }
      }
    }
  }
}

写入后的数据,查看返回如下:

GET niu_20210215/_search

 "_source" : {
  "geoip" : {
    "continent_name" : "North America",
    "country_iso_code" : "US",
    "location" : {
      "lon" : -97.822,
      "lat" : 37.751
    }
  },
  "ip" : "8.8.8.8"
}

有点长,铭毅解读一下:

第一:geoip 是 object 类型,它有几个子字段,含义如下:

geoip.city_name:城市

geoip.continent_name:大陆名称

geoip.country_iso_code:国家编码

geoip.location:经纬度坐标,必须是:geo_point 类型

geoip.region_iso_code:地域编码

geoip.region_name:地域名称

第二:为节省存储,Mapping 可以优化。

比如:所有的默认字符串类型改成:keyword 类型。

第三:为了后面的作图必须将 location 设置为 geo_point 类型。

以上三个步骤:就完成了单条数据的写入。

4.4 步骤 4:kibana 可视化展示

后面的展示 7.8 我找不到地方