持续提升技术，完善知识体系
技术点滴
阿里巴巴DataX安装同步使用 1、安装jdk及maven运行环境 下载安装压缩包后，解压到指定目录/software并加入环境变量/etc/profile export JAVA_HOME=/software/jdk1.8.0_65 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH export PATH=$PATH:/software/apache-maven-3.6.1/bin 2、下载datax源码进行编译安装 下载源码 git clone https://github.com/alibaba/DataX.git 打包应用 mvn -U clean...
HBase2.3单机版安装使用 1、安装单机版HBase 下载hbase-2.3.0-bin.tar.gz及jdk-8u151-linux-x64.tar.gz并解压到目录/software 关闭防火墙、禁用ipv6并设置hostname为hbase，，同时需调整时区为中国时区 检查系统版本为centos7 [root@hbase ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core) [root@hbase ~]# uname -a Linux hbase...
SpringCloudStream使用kafka 1、安装应用环境 1.1、安装zookeeper 1)、下载最新版本安装包apache-zookeeper-3.6.1-bin.tar.gz 2）、解压到安装目录，并将conf目录下文件zoo_sample.cfg拷贝一份命名为zoo.cfg，此文件为zookeeper配置文件 3）、进入安装目录bin中启动zookeeper， ./zkServer.sh start 1.2、安装kafka 1）、下载最新版本安装包kafka_2.13-2.5.0.tgz 2）、解压到安装目录，并完成config/server.properties基本配置 3）、进入安装目录bin中启动kafka ./kafka-server-start.sh ../config/server.properties 2、spring-cloud中使用kafka完成消息发送与接收 2.1、demo程序代码如下 pom.xml <?xml version="1.0" encoding="UTF-8"?>...
SpringCloud中应用Rabbitmq实现延时消息的两种方式 1、使用队列的ttl特性【延时队列】 使用队列的ttl特性，即配置死信队列的消息重新路由到消费队列中，同一个队列的消息过期时间将相同，即使消息本身可能带上了ttl，同样会因队头的消息未过期而无法消费； 关键配置说明 spring: cloud: stream: bindings: input: destination: delay_message_queue_input group: test-service output: destination: delay_message_queue_output producer: required-groups: test-service rabbit:...
JDK8模拟jvm中Metaspace内存溢出(OutOfMemoryError) 我们通过动态生成大量类来模拟Metaspace内存溢出 1、创建一个web项目 mvn archetype:generate -DgroupId=com.mixfate -DartifactId=metaspace -DarchetypeArtifactId=maven-archetype-webapp 2、修改pom.xml如下 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.mixfate</groupId> <artifactId>metaspace</artifactId> <packaging>war</packaging> <version>1.0.0</version> <name>metaspace...
JVM SurvivorRatio NewRatio参数配置说明 1、SurvivorRatio参数说明 JVM参数-XX:SurvivorRatio控制了两个survivor空间(from&to)的大小，比如-XX:SurvivorRatio=6表示每个survivor空间和eden空间的比例为1:6，每个survivor空间则占年轻代的八分之一, 下面用代码演示一下。 MainTest.java public class MainTest{ public static void main(String[] args){ System.out.println("test is ok"); } }...
jps jstat命令说明 1、jps命令说明 jps可查看虚拟机进程状态，jps 可查看当前进程id，参数说明如下 jps -m 输出虚拟机进程启动时传递给main()函数的参数 jps -l 输出主类全名，如果进程执行的是jar包，则输出jar路径 jps -v 输出虚拟机进程启动时jvm参数 下面用一个测试类简单模拟一下 MainTest.java public class MainTest{ public...
Centos7环境使用Nginx自建双向认证 1、配置双向认证基于已经搭建好单向认证，如果我们需要对客户端进行验证，让受信任的客户端即持有证书的客户端才能访问，这时我们就需要双向认证来处理， 使用自建CA生成证书 2、服务端证书生成 openssl genrsa -out ca.key 2048 openssl req -new -x509 -days 3650 -key ca.key -out ca.crt openssl...
Centos7环境使用Nginx自建单向认证 1、应用安装准备 下载nginx安装包nginx-1.17.7.tar.gz 使用以下命令安装依赖 yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel 2、安装nginx (1)、解压 tar -zxvf nginx-1.17.7.tar.gz...
Windows环境下MariaDB 10.3开启慢查询 1、在MairaDB的配置文件my.ini的配置标识[mysqld]下，增加以下配置 [mysqld] slow_query_log = ON slow_query_log_file = C:/Program Files/MariaDB 10.3/data/slow.log long_query_time = 0.2 其中 long_query_time表示慢查询阈值，设置为大于200ms即为慢查询；设置成功后可使用命令查看mysql变量，可以看到slow_query_log标识已为ON（默认为OFF）， MariaDB [mysql]> show...
rabbitmq3.7.10离线安装及使用 1、RabbitMQ安装及使用，下载离线安装包 [root@localhost file]# ll total 227092 -rw-r--r--. 1 root root 221143040 Dec 19 01:51 otp_src_19.3.tar.gz -rw-r--r--. 1 root root...
Mongodb聚合操作 1、 sql语句 select code,count(*) from user group by code having count(*)>2 mongodb脚本 db.user.aggregate([{$group:{_id:'$code',count:{$sum:1}}},{$match:{count:{$gte:2}}}]); 2、 sql语句 select count(distinct name) from...
centos7使用rpm包安装elk 1、检查安装环境，安装辅助工具 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) [root@localhost ~]# yum install -y net-tools lrzsz.x86_64 [root@localhost ~]#...
Nginx使用image-filter模块生成缩略图 1、nginx安装步骤可参考Linux环境下安装nginx，默认安装是没有image-filter模块的，我们需要动态增加此模块； 先安装好image-filter模块所需的依赖 yum install gd-devel -y 到nginx的目录执行命令完成配置 ./configure --prefix=/usr/local/nginx-1.14.2 --conf-path=/usr/local/nginx-1.14.2/nginx.conf --with-http_ssl_module --with-http_stub_status_module --with-http_image_filter_module --with-pcre 配置成功后执行编译(注意不需要执行安装 make install) make 编译成功后将文件覆盖到安装目录下...
docker创建与使用镜像 1、接上一篇docker安装与基本使用，我们已经装好docker环境了，接下来看看怎么使用它了，可以直接到镜像仓库拉取直接使用 可先查找镜像，如查找一个jdk8的镜像 docker search jdk8 找到合适的镜像后，可直接拉取，其中xxx为镜像名 docker pull xxx 2、直接在线拉取镜像使用本文不作介绍，下面动手创建一个jdk8的基本环境的镜像，当然这个jdk8环境是基于centos镜像的， mkdir /docker cd /docker 在docker目录中编写一个文件Dockerfile，内容如下 FROM centos MAINTAINER mixfate...