51 lines
2.6 KiB
Markdown
51 lines
2.6 KiB
Markdown
# 关于使用IDEA直接运行(免安装)
|
||
## 使用IDEA直接运行的好处
|
||
|
||
方便看在控制台直接看日志，方便本地Debug可以快速阅读底层，方便参与贡献
|
||
|
||
## 步骤
|
||
|
||
```
|
||
1、使用git clone 到本地后，使用IDEA打开项目
|
||
|
||
2、修改数据库连接 flink-streaming-web/src/main/resources/application.properties
|
||
|
||
3、在本地数据库中创建 flink_web 库，并执行 docs/sql/flink_web.sql 构建数据库表
|
||
|
||
4、执行 mvn clean package -DskipTests
|
||
|
||
5、在 flink-streaming-platform-web 主目录下创建 lib 文件夹
|
||
|
||
6、将 flink-streaming-core/target/flink-streaming-core.jar 移动到 刚创建的lib 中
|
||
|
||
7、将 flink-streaming-core.jar 改名为 flink-streaming-core-1.5.0.RELEASE.jar
|
||
|
||
8、flink-streaming-web 模块是REST服务模块，运行启动类是：com.flink.streaming.web.StartApplication
|
||
|
||
9、启动完成后，访问本地: localhost:8180 用户名: admin 密码: 123456
|
||
|
||
10、系统设置：flink_streaming_platform_web_home=你自己的路径/flink-streaming-platform-web/
|
||
|
||
11、本地启动flink集群./start-cluster.sh 并在系统配置中 flink_rest_http_address为http://localhost:8180/
|
||
|
||
12、创建任务,并设置运行模式为Local Cluster，然后就可以愉快的写sql了
|
||
```
|
||
|
||
## 原理
|
||
|
||
```
|
||
1、平台提交任务，是使用的 Process pcs = Runtime.getRuntime().exec(command); 来执行
|
||
|
||
2、command 类似于，下面这个命令是 平台生成的 使用 yarn 提交 批任务
|
||
|
||
/Users/gump/dreamware/flink-1.13.1/bin/flink run -yjm 1024m -ytm 1024m -p 1 -yqu default -ynm flink@my_batch_job -yd -m yarn-cluster -c com.flink.streaming.core.JobApplication /Users/gump/study/source/github/flink-streaming-platform-web/lib/flink-streaming-core-1.5.0.RELEASE.jar -sql /Users/gump/study/source/github/flink-streaming-platform-web/sql/job_sql_3.sql -type 2
|
||
|
||
3、大家可以去分析这个命令，其实就是要知道 Flink 的客户端在哪个目录 ，提交的jar 就是导入到lib下的 flink-streaming-core-1.5.0.RELEASE.jar
|
||
|
||
4、yarn 的url 貌似只是 日志那里有使用
|
||
|
||
5、com.flink.streaming.core.JobApplication 这个就是真正运行的JOB,在IDEA 里面也是可以执行的，配置一下参数就可以了，相信大家可以举一反三的
|
||
我debug时用的参数参考： -sql /Users/gump/study/source/github/flink-streaming-platform-web/sql/job_sql_1.sql -type 0
|
||
这里有个细节：core pom中的Flink 依赖包是 provide 的，本地要debug job时可以 注释这个刷新Maven
|
||
|
||
6、我们在任务中配置的SQL，会生成在项目的 /sql 目录下 ，也就是上面命令的 -sql 后的路径 -type 是告诉任务是流任务还是 批任务 |