英彩购彩

英彩购彩

让建站和SEO变得简单

让不懂建站的用户快速建站,让会建站的提高建站效率!

202205月15日

Flink SQL 知其是以然之Flink SQL 建设企业级利器之 Dlink

发布日期:2022-05-15 15:02    点击次数:118

本文转载自微信公众号「大数据羊说」,作家antigeneral了呀。转载本文请辩论大数据羊说公众号。

1.序篇

博主这个系列都是讲 flink sql 相干的践诺的。

讲到这个章节,其实挺多常用的 flink sql 语法及实战案例都照旧讲了。

那么旨趣讲了,得在我方家公司把 flink sql 这等好东西用起来啊。

搞大数据建设的同学基本都澄莹在 HUE 上头写 hive sql 贼爽。那么有莫得写 flink sql 的企业级的 web IDE 推选的呢?

历程博主调研之后,发现存两款尽头优秀的利器:

Apache Zeppelin Dlink

为啥先先容 Dlink 呢?

因为博主和其建设人员混的很熟了,是以就先拿 Dlink 来尝试尝试。

妄言未几说,各人都想先看效劳再看怎么部署。先望望最终效劳。

2.Dlink 平台效劳 2.1.登录

登录

登录账号和密码默许为 admin/admin。

2.2.flink sql 建设界面

具体功能如下图所示:

sql 建设

提防:

预跑即是用于快速考据 sql 是否是正确的,不错快速以 standalone 格式跑出来一个赶走。肥肠地好用。想看到预跑的赶走,在 sql 中不可写 insert into xxx 这段。

不错看到是一个功能很无缺的 web IDE。

接下来咱们望望怎么装配部署 Dlink 0.4.0。

3.装配部署篇 3.1.Dlink 的 github

源码获胜去 github 上看,照旧开源了,融会如下。

https://github.com/DataLinkDC/dlink

3.2.部署环境准备

此部署示例是在 Mac OS 上进行,其他环境未测试。

环境 版块 备注 jdk 1.8.0_201 web 基础环境 mysql 8.0+ 存储 web IDE 功课,集群等信息 nginx 博主使用的是 1.21.1 web 前端访谒 3.3.下载解压 Dlink 装配包

博主是基于 Dlink 0.4.0 版块部署装配的。

第一步:下载 Dlink 0.4.0 装配包。

咱们大开 Dlink 0.4.0 release Notes 望望,融会如下:

https://github.com/DataLinkDC/dlink/releases/tag/0.4.0

大开上述 0.4.0 release Notes 融会后,点击下图中的 dlink-release-0.4.0.tar.gz 下载 Dlink 0.4.0 的装配包。

Dlink 下载

第二步:解压 Dlink 0.4.0 装配包望望。

Dlink

解压后获得的 dlink-release-0.4.0 目次结构如下:

提防这里仅仅 Dlink 相干的包和文献,flink 任务的奉行势必还会依赖到 flink 相干的包,这就需要你在 dlink-release-0.4.0 目次下我方创建一个 plugins 文献夹。而且将 flink 相干的 jar 放在 plugins 文献夹下。即从 https://archive.apache.org/dist/flink/flink-1.13.2/ 下载对应的 flink tar.gz 到土产货后,将解压后的 flink jar 沿路 copy 到 plugins 文献夹下即可。

config/ -- 确立文献

config/ -- 确立文献 |- application.yml lib/ -- 外部依赖及Connector |- dlink-client-1.13-0.4.0.jar |- dlink-connector-jdbc-1.13-0.4.0.jar |- dlink-function-0.4.0.jar |- dlink-metadata-clickhouse-0.4.0.jar |- dlink-metadata-mysql-0.4.0.jar |- dlink-metadata-oracle-0.4.0.jar |- dlink-metadata-postgresql-0.4.0.jar sql/ |- dlink.sql -- Mysql开动化剧本 auto.sh -- 启动住手剧本 dlink-admin-0.4.0.jar -- 才能包 
3.4.确立 Dlink MySQL

既然是一个 web IDE,势必会存储一些 web 垄断相干的信息。这些信息即是存储在 MySQL 中的。

第一步:创建 MySQL dlink 库。

使用 MySQL-cli 连合 MySQL 创建库。

> mysql -u用户名 -p密码  mysql> create database dlink; mysql> show databases; 

Dlink MySQL

第二步:使用 Dlink 的 sql 剧本(dlink 目次\sql 目次\dlink.sql)开动化 Dlink 数据库表信息,具体开动化敕令行如下。

> mysql -h localhost -u用户名 -p密码 -Ddlink < dlink.sql > mysql -u用户名 -p密码 mysql> use dlink; mysql> show tables; 

Dlink MySQL Table

第三步:Dlink 亦然个 web 技俩,用的是 SpringBoot 那一套东西,是以连合 MySQL 得需要进行 Spring 相干着实立。

是以需要去 dlink 目次\config 目次\application.yml 中修改 MySQL 相干着实立。由于博主是在土产货部署。是以触及到变嫌的只消用户名和密码,改完之后保存。

application.yml

3.5.启动 web 后端

Dlink 是前后端区别的,刚刚咱们确立了 MySQL 相干的环境,则不错获胜启动后端了,后端占用的端口是 8888,启动敕令如下。

sh auto.sh start 

在 Mac OS 下启动可能会碰到底下的问题:

bash error

这个失实的原因如下融会:

https://jingyan.baidu.com/article/9f63fb91d014b8c8410f0e7a.html

贬责决策如下:

获胜把 auto.sh 在其他裁剪器中从头复制出来一个 auto1.sh 启动就不错。

其他敕令:

# 住手 sh auto.sh stop # 重启 sh auto.sh restart # 景色 sh auto.sh status 

运行日记:

猖狂台输出:技俩根目次下的 dlink.log 文献。

日记存档输出:技俩根目次下的 logs 目次下。

3.6.确立 web 前端

前端都是一些静态文献,Dlink 使用 Nginx 当作访谒前端静态文献的工作器。

第一步:Nginx 在 Mac OS 的装配,如下融会:

https://www.jianshu.com/p/4f433d219ab7

第二步:在 nginx.conf 文献中确立 Dlink 的 server 信息。

土产货装配的话,获胜把底下这段 copy 到 nginx.conf 中对应的 server 确立下就行。

server {

listen 9999;

server_name localhost;

# gzip config

gzip on;

gzip_min_length 1k;

gzip_comp_level 9;

gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;

gzip_vary on;

gzip_disable "MSIE [1-6]\.";

#charset koi8-r;

#access_log logs/host.access.log main;

location / {

root html;

index index.html index.htm;

try_files $uri $uri/ /index.html;

}

#error_page 404 /404.html;

# redirect server error pages to the static page /50x.html

#

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

location ^~ /api {

proxy_pass http://127.0.0.1:8888;

proxy_set_header X-Forwarded-Proto $scheme;

proxy_set_header X-Real-IP $remote_addr;

}

}

第三步:提防,重心。一定要将 【dlink 目次\html 目次\通盘文献】上传至 Nginx 的 [html 目次]下。否则访谒 http://127.0.0.1:9999 啥都看不到。

第四步:reload Nginx 确立信息。

第五步:然后咱们就不错 happy 的使用 Dlink 了。

4.追念及权衡

其他功能博主还在测试中。

 

援用 Dlink 官网的先容,Dlink 将紧跟 Flink 官方社区发展,为推行及发展 Flink 的垄断而清脆,打造 FlinkSQL 的最好搭档的形象。

 



TOP

Powered by 英彩购彩 @2013-2022 RSS地图 HTML地图

Copyright 365建站 © 2013-2021 365建站器 版权所有