一、编译环境准备

1、hadoop和hive安装

hive官网版本依赖：https://hive.apache.org/general/downloads/

这里都是用了hadoop3.1.3和hive3.1.3版本，具体的安装可以参考之前的文章

Hive引擎简介

Hive引擎包括：默认MR、Tez、Spark

• Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。
• Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。

一、HBase 简介

1、HBase 定义

官网：https://hbase.apache.org/

1.1 概述

HBase 是 BigTable 的开源 Java 版本。是建立在 HDFS 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 NoSql 的数据库系统。它介于 NoSql 和 RDBMS 之间，仅能通过主键(row key)和主键的 range 来检索数据，仅支持单行事务(可通过 hive 支持来实现多表 join 等复杂操作)。

一、Flink概述与入门

1、Flink概述

1.1 Flink是什么

官网：https:flink.apache.org

Flink核心目标，是“数据流上的有状态计算”(Stateful Computati ons over Data Streams)具体说明：Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

一、Flink SQL

Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。我们主要还是以流处理应用为例进行讲解。

SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的，可通过纯 SQL 来开发和运行一个Flink 任务

kswapd0挖矿病毒攻击记录

一、起因与病毒分析

1、起因

最近内网穿透服务以及自建的博客一直掉线，重启服务也不行，用 top 查看发现1个kswapd0进程占用了一整个核（机器是2C4G），遂查刚开始以为是使用swap分区与内存换页操作交换数据造成的，但是清理了缓存仍无果，最终发现被挖矿木马攻击了。

OpenVPN 安装与使用

一、一键安装与使用

1、服务端安装使用

1
2
3
4
5
6
7
8
9
10
11

# 进入Linux服务器以后，请使用下面的一键安装命令
# 脚本来源于开源Github:https://github.com/Nyr/openvpn-install
# 可能会下载失败，需要手动或者科学
wget https://git.io/vpn -O openvpn-install.sh && bash openvpn-install.sh

# 安装失败的话，先下载在执行
bash openvpn-install.sh

##
# 另一个脚本，但是大差不差，可以结合使用
# https://github.com/hwdsl2/openvpn-install/blob/master/README-zh.md

然后按照流程选择，注意公网的ip和端口要保证通

Zookeeper3.5.7源码分析

一、Zookeeper算法一致性

1、Paxos 算法

1.1 概述

Paxos算法：一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法解决的问题：就是如何快速正确的在一个分布式系统中对某个数据值达成一致，并且保证不论发生任何异常，都不会破坏整个系统的一致性。

在一个Paxos系统中，首先将所有节点划分为Proposer（提议者），Acceptor（接受者），和Learner（学习者）。（注意：每个节点都可以身兼数职），一个完整的Paxos算法流程分为三个阶段：

Prepare准备阶段

• Proposer向多个Acceptor发出Propose请求Promise（承诺）
• Acceptor针对收到的Propose请求进行Promise（承诺）

Accept接受阶段

• Proposer收到多数Acceptor承诺的Promise后，向Acceptor发出Propose请求
• Acceptor针对收到的Propose请求进行Accept处理

Learn学习阶段：Proposer将形成的决议发送给所有Learners

Zookeeper3.5.7基础学习

一、Zookeeper入门

官网：https://zookeeper.apache.org/

1、概述

Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应**。Zookeeper=文件系统+通知机制**

Spark3学习笔记

一、Spark 基础

1、Spark概述

1.1 Spark简介

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。在 FullStack 理想的指引下，Spark 中的 Spark SQL 、SparkStreaming 、MLLib 、GraphX 、R 五大子框架和库之间可以无缝地共享数据和操作， 这不仅打造了 Spark 在当今大数据计算领域其他计算框架都无可匹敌的优势， 而且使得 Spark 正在加速成为大数据处理中心首选通用计算平台。