Java之SPI机制详解

一、SPI概述

1、概述

SPI 即 Service Provider Interface ，字面意思就是：“服务提供者的接口”，专门提供给服务提供者或者扩展框架功能的开发者去使用的一个接口。SPI 将服务接口和具体的服务实现分离开来，将服务调用方和服务实现者解耦，能够提升程序的扩展性、可维护性。修改或者替换服务实现并不需要修改调用方。例如SpringBoot 的自动装配就是基于spring 的 SPI 扩展机制和EnableAutoConfiguration实现的

Docker常用应用部署

一、Ubuntu系统Docker快速安装

Docker官网安装文档：https://docs.docker.com/engine/install/ubuntu/

一、内网穿透概述

1、传统内网穿透介绍

传统内网穿透的方式为：内网设备<——>中转服务器<———>网络设备（手机、电脑），例如frp，nps，可以参考：内网穿透工具；但是这种方法弊端也很明显

• 中转服务器需要一定的费用进行支撑(带公网的云服务器)，如果是外网的服务器还可能存在被墙的风险
• 中转服务器直接决定了中转的"速度"，而这个"速度"越快其对应的服务器带宽就越大，通常来说价格就越高
• 需要一定的知识储备来搭建内网穿透的服务端，而且只能转发某个特定的端口

一、MDC日志定位

1、概述

1.1 简介

MDC是可以帮组我们 在多线程条件下记录追踪日志的功能，它支持 Log4J和LogBack 两种日志框架通常打印出的日志会有线程号等信息来标志当前日志属于哪个线程，然而由于线程是可以重复使用的，所以并不能很清晰的确认一个请求的日志范围。处理这种情况一般有两种处理方式：

• 手动生成一个唯一序列号打印在日志中；
• 使用日志控件提供的MDC功能，生成一个唯一序列标记一个线程的日志

在现网出现故障时，我们经常需要获取一次请求流程里的所有日志进行定位。如果请求只在一个线程里处理，则我们可以通过线程ID来过滤日志，但同时如果请求包含异步线程的处理，那么光靠线程ID就显得捉襟见肘了，这也是需要解决的一个问题

一、Sqoop安装与使用

1、简介

Sqoop全称是 Apache Sqoop(现已经抛弃)，是一个开源工具，能够将数据从数据存储空间（数据仓库，系统文档存储空间，关系型数据库）导入 Hadoop 的 HDFS或列式数据库HBase，供 MapReduce 分析数据使用。数据传输的过程大部分是通过 MapReduce 过程来实现，只需要依赖数据库的Schema信息Sqoop所执行的操作是并行的，数据传输性能高，具备较好的容错性，并且能够自动转换数据类型。

Sqoop是一个为高效传输海量数据而设计的工具，一般用在从关系型数据库同步数据到非关系型数据库中。Sqoop专门是为大数据集设计的。Sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上，或者指定上次修改的时间戳。

Security入门笔记：Spring Security学习笔记

一、Security认证和原理

Spring Security是一种基于Spring AOP和Servlet Filter的安全框架，其核心是一组过滤器链，实现 Web 请求和方法调用级别的用户鉴权和权限控制

1、认证基本流程

1.1 表单认证概述

Spring Security提供了两种认证方式：HttpBasic 认证和 HttpForm 表单认证。HttpBasic 认证不需要我们编写登录页面，当浏览器请求 URL 需要认证才能访问时，页面会自动弹出一个登录窗口，要求用户输入用户名和密码进行认证。大多数情况下，我们还是通过编写登录页面进行 HttpForm 表单认证(现在默认是这个模式)

一、Rsync远程同步

1、概述

1.1 介绍

rsync官方文档：https://www.samba.org/ftp/rsync/rsync.html

Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快；Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试；此外，它在windows平台下也有相应的版本，如cwRsync和Sync2NAS等工具

一、PM2概述

1、简介

进程管理主要是指创建，终止和监控进程。进程管理器主要是用来确保你的应用在启动后能够保持在线

pm2 是 nodejs 的进程管理器，默认支持负载均衡，能够守护进程。还支持查看应用运行时的性能，资源占用情况等

2、普通 node 进程的缺陷

• 普通启动方式：node index.js，关闭终端就结束进程
• node 进程挂掉和“僵死”：
  • 进程挂掉大概有以下几种原因：
    • 内存泄漏：内存一点点积累到达临界值爆掉
    • 死循环导致内存突增爆掉
    • 死循环导致磁盘写爆
    • 被动被kill，主动退出。
  • “僵死”大概有以下几种可能:
    • 有某个非常耗时的cpu操作正在执行
    • 写了个死循环（死循环不一定会导致服务挂掉，有可能只会cpu飙升，让服务处于假死状态）

不管发生上面哪种情况，都会造成服务的不可访问，需要等我们自己去发现问题后，然后重启应用。

一、iptables概念

1、防火墙基础

1.1 防火墙概念

从逻辑上讲，防火墙可以大体分为主机防火墙和网络防火墙。网络防火墙和主机防火墙并不冲突，可以理解为，网络防火墙主外（集体）， 主机防火墙主内（个人）

• 主机防火墙：针对于单个主机进行防护
• 网络防火墙：往往处于网络入口或边缘，针对于网络入口进行防护，服务于防火墙背后的本地局域网

从物理上讲，防火墙可以分为硬件防火墙和软件防火墙

• 硬件防火墙：在硬件级别实现部分防火墙功能，另一部分功能基于软件实现，性能高，成本高
• 软件防火墙：应用软件处理逻辑运行于通用硬件平台之上的防火墙，性能低，成本低

Linux防火墙体系主要工作在网络层，针对TCP/IP数据包实施过滤和限制，属于典型的包过滤防火墙（也称网络层防火墙）；Linux防火墙体系基于内核编码实现，具有非常稳定的性能和高效率，因此被广泛的应用

ES7.x版本可以参考：Elasticsearch7学习笔记

一、Elasticsearch8.x概述

1、Elasticsearch 新特性

从 2019 年 4 月 10 日 Elasticsearch7.0 版本的发布，到 2022 年 2 月 11 日 Elasticsearch8.0 版本的发布的近 3 年间，基于不断优化的开发设计理念，Elasticsearch 发布了一系列的小版本。这些小版本在以下方面取得了长足的进步并同时引入一些全新的功能：

• 减少内存堆使用，完全支持 ARM 架构，引入全新的方式以使用更少的存储空间，从而让每个节点托管更多的数据
• 降低查询开销，在大规模部署中成效尤为明显
• 提高日期直方图和搜索聚合的速度，增强了页面缓存的性能，并创建了一个新的"pre-filter"搜索短语
• 在 Elasticsearch 7.3 和 Elasticsearch 7.4 版中，引入了对矢量相似函数的支持在最新发布的 8.0 版本中，也同样增加和完善了很多新的功能
• 增加对自然语言处理 (NLP) 模型的原生支持，让矢量搜索功能更容易实现，让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果
• 直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等，而无需使用额外的组件或进行编码
• Elasticsearch 8.0 基于 Lucene 9.0 开发的，那些利用现代 NLP 的搜索体验，都可以借助（新增的）对近似最近邻搜索的原生支持，快速且大规模地实现。通过 ANN，可以快速并高效地将基于矢量的查询与基于矢量的文档语料库（无论是小语料库、大语料库还是巨型语料库）进行比较
• 可以直接在 Elasticsearch 中使用 PyTorch Machine Learning 模型（如 BERT），并在Elasticsearch 中原生使用这些模型执行推理