diff --git a/README.md b/README.md index 5eaedf2..ce422fc 100644 --- a/README.md +++ b/README.md @@ -149,6 +149,8 @@ AQS剩余部分，以及阻塞队列源码暂时先搁置一下。 [Netty入门-第一话](docs/netty/introduction/Netty入门-第一话.md) +[Netty入门-第二话](docs/netty/introduction/Netty入门-第二话.md) + # Apollo [Apollo简单入门](docs/Apollo/Apollo简单入门.md) diff --git a/docs/netty/introduction/Netty入门-第一话.md b/docs/netty/introduction/Netty入门-第一话.md index b50025e..613ce65 100644 --- a/docs/netty/introduction/Netty入门-第一话.md +++ b/docs/netty/introduction/Netty入门-第一话.md @@ -33,7 +33,7 @@ date: 2021-04-08 14:21:58 相对简单的一个体系图 - + ## Netty 的应用场景 @@ -67,7 +67,7 @@ date: 2021-04-08 14:21:58 ## Netty 的学习资料参考 - + @@ -97,11 +97,11 @@ date: 2021-04-08 14:21:58 2. `Java` 共支持 `3` 种网络编程模型 `I/O` 模式：`BIO`、`NIO`、`AIO`。 3. `Java BIO`：同步并阻塞（传统阻塞型），服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销。【简单示意图】 - + 4. `Java NIO`：同步非阻塞，服务器实现模式为一个线程处理多个请求（连接），即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有 `I/O` 请求就进行处理。【简单示意图】 - + 5. `Java AIO(NIO.2)`：异步非阻塞，`AIO` 引入异步通道的概念，采用了 `Proactor` 模式，简化了程序编写，有效的请求才启动线程，它的特点是先由操作系统完成后才通知服务端程序启动线程去处理，一般适用于连接数较多且连接时间较长的应用。 6. 我们依次展开讲解。 @@ -120,7 +120,7 @@ date: 2021-04-08 14:21:58 ## Java BIO 工作机制 - + 对 `BIO` 编程流程的梳理 @@ -207,7 +207,7 @@ public class BIOServer { } ``` - + @@ -277,7 +277,7 @@ public class BasicBuffer { 3. `BIO` 基于字节流和字符流进行操作，而 `NIO` 基于 `Channel`（通道）和 `Buffer`（缓冲区）进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。`Selector`（选择器）用于监听多个通道的事件（比如：连接请求，数据到达等），因此使用单个线程就可以监听多个客户端通道。 4. Buffer和Channel之间的数据流向是双向的 - + ## NIO 三大核心原理示意图 @@ -287,7 +287,7 @@ public class BasicBuffer { 关系图的说明: - + 1. 每个 `Channel` 都会对应一个 `Buffer`。 2. `Selector` 对应一个线程，一个线程对应多个 `Channel`（连接）。 @@ -303,17 +303,17 @@ public class BasicBuffer { 缓冲区（`Buffer`）：缓冲区本质上是一个**可以读写数据的内存块**，可以理解成是一个**容器对象（含数组）**，该对象提供了一组方法，可以更轻松地使用内存块，，缓冲区对象内置了一些机制，能够跟踪和记录缓冲区的状态变化情况。`Channel` 提供从文件、网络读取数据的渠道，但是读取或写入的数据都必须经由 `Buffer`，如图:【后面举例说明】 - + ### Buffer 类及其子类 1. 在 `NIO` 中，`Buffer` 是一个顶层父类，它是一个抽象类，类的层级关系图： - + 2. `Buffer` 类定义了所有的缓冲区都具有的四个属性来提供关于其所包含的数据元素的信息： - + @@ -321,13 +321,13 @@ public class BasicBuffer { 3. `Buffer` 类相关方法一览 - + ### ByteBuffer 从前面可以看出对于 `Java` 中的基本数据类型（`boolean` 除外），都有一个 `Buffer` 类型与之相对应，最常用的自然是 `ByteBuffer` 类（二进制数据），该类的主要方法如下： - + ## 通道（Channel） @@ -343,7 +343,7 @@ public class BasicBuffer { 5. `FileChannel` 用于文件的数据读写，`DatagramChannel` 用于 `UDP` 的数据读写，`ServerSocketChannel` 和 `SocketChannel` 用于 `TCP` 的数据读写。 6. 图示 - + ### FileChannel 类 @@ -444,7 +444,7 @@ public class NIOFileChannel02 { 2. 拷贝一个文本文件 `1.txt`，放在项目下即可 3. 代码演示 - + ```java package com.atguigu.nio; @@ -721,7 +721,7 @@ public class ScatteringAndGatheringTest { ### Selector 示意图和特点说明 - + 说明如下： @@ -733,7 +733,7 @@ public class ScatteringAndGatheringTest { ### Selector 类相关方法 - + ### 注意事项 @@ -748,7 +748,7 @@ public class ScatteringAndGatheringTest { `NIO` 非阻塞网络编程相关的（`Selector`、`SelectionKey`、`ServerScoketChannel` 和 `SocketChannel`）关系梳理图 - + 对上图的说明： @@ -938,21 +938,21 @@ public static final int OP_ACCEPT = 1 << 4; 2. `SelectionKey` 相关方法 - + ### ServerSocketChannel 1. `ServerSocketChannel` 在服务器端监听新的客户端 `Socket` 连接，负责监听，不负责实际的读写操作 2. 相关方法如下 - + ### SocketChannel 1. `SocketChannel`，网络 `IO` 通道，**具体负责进行读写操作**。`NIO` 把缓冲区的数据写入通道，或者把通道里的数据读到缓冲区。 2. 相关方法如下 - + ## NIO网络编程应用实例 - 群聊系统 @@ -965,7 +965,7 @@ public static final int OP_ACCEPT = 1 << 4; 5. 目的：进一步理解 `NIO` 非阻塞网络编程机制 6. 示意图分析和代码 - + 代码： @@ -1243,7 +1243,7 @@ socket.getOutputStream().write(arr); ### 传统 IO 模型 - + **DMA**：`direct memory access` 直接内存拷贝（不使用 `CPU`） @@ -1252,19 +1252,19 @@ socket.getOutputStream().write(arr); 1. `mmap` 通过内存映射，将文件映射到内核缓冲区，同时，用户空间可以共享内核空间的数据。这样，在进行网络传输时，就可以减少内核空间到用户空间的拷贝次数。如下图 2. `mmap` 示意图 - + ### sendFile 优化 1. `Linux2.1` 版本提供了 `sendFile` 函数，其基本原理如下：数据根本不经过用户态，直接从内核缓冲区进入到 `SocketBuffer`，同时，由于和用户态完全无关，就减少了一次上下文切换 2. 示意图和小结 - + 3. 提示：零拷贝从操作系统角度，是没有 `cpu` 拷贝 4. `Linux在2.4` 版本中，做了一些修改，避免了从内核缓冲区拷贝到 `Socketbuffer` 的操作，直接拷贝到协议栈，从而再一次减少了数据拷贝。具体如下图和小结： - + 5. 这里其实有一次 `cpu` 拷贝 `kernel buffer` -> `socket buffer` 但是，拷贝的信息很少，比如 `lenght`、`offset` 消耗低，可以忽略 diff --git a/docs/netty/introduction/Netty入门-第二话.md b/docs/netty/introduction/Netty入门-第二话.md new file mode 100644 index 0000000..020e681 --- /dev/null +++ b/docs/netty/introduction/Netty入门-第二话.md @@ -0,0 +1,1734 @@ +--- +title: Netty入门-第二话 +tags: + - Netty +categories: + - Netty + - 入门 +keywords: Netty +description: Netty入门-第二话。 +cover: 'https://cdn.jsdelivr.net/gh/youthlql/lqlp@master/netty/netty_logo.jpg' +abbrlink: f846f3f +date: 2021-04-15 14:21:58 +--- + + + +# Netty 概述 + +## 原生 NIO 存在的问题 + +1. `NIO` 的类库和 `API` 繁杂，使用麻烦：需要熟练掌握 `Selector`、`ServerSocketChannel`、`SocketChannel`、`ByteBuffer`等。 +2. 需要具备其他的额外技能：要熟悉 `Java` 多线程编程，因为 `NIO` 编程涉及到 `Reactor` 模式，你必须对多线程和网络编程非常熟悉，才能编写出高质量的 `NIO` 程序。 +3. 开发工作量和难度都非常大：例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。 +4. `JDK NIO` 的 `Bug`：例如臭名昭著的 `Epoll Bug`，它会导致 `Selector` 空轮询，最终导致 `CPU100%`。直到 `JDK1.7` 版本该问题仍旧存在，没有被根本解决。 + +## Netty 官网说明 + +官网：https://netty.io/ + +Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients. + + + +## Netty 的优点 + +`Netty` 对 `JDK` 自带的 `NIO` 的 `API` 进行了封装，解决了上述问题。 + +1. 设计优雅：适用于各种传输类型的统一 `API` 阻塞和非阻塞 `Socket`；基于灵活且可扩展的事件模型，可以清晰地分离关注点；高度可定制的线程模型-单线程，一个或多个线程池。 +2. 使用方便：详细记录的 `Javadoc`，用户指南和示例；没有其他依赖项，`JDK5（Netty3.x）`或 `6（Netty4.x）`就足够了。 +3. 高性能、吞吐量更高：延迟更低；减少资源消耗；最小化不必要的内存复制。 +4. 安全：完整的 `SSL/TLS` 和 `StartTLS` 支持。 +5. 社区活跃、不断更新：社区活跃，版本迭代周期短，发现的 `Bug` 可以被及时修复，同时，更多的新功能会被加入。 + +## Netty 版本说明 + +1. `Netty` 版本分为 `Netty 3.x` 和 `Netty 4.x`、`Netty 5.x` +2. 因为 `Netty 5` 出现重大 `bug`，已经被官网废弃了，目前推荐使用的是 `Netty 4.x`的稳定版本 +3. 目前在官网可下载的版本 `Netty 3.x`、`Netty 4.0.x` 和 `Netty 4.1.x` +4. 在本套课程中，我们讲解 `Netty4.1.x` 版本 +5. `Netty` 下载地址：https://bintray.com/netty/downloads/netty/ + + + +# Netty 高性能架构设计 + +## 线程模型基本介绍 + +1. 不同的线程模式，对程序的性能有很大影响，为了搞清 `Netty` 线程模式，我们来系统的讲解下各个线程模式，最后看看 `Netty` 线程模型有什么优越性。 +2. 目前存在的线程模型有：传统阻塞 `I/O` 服务模型 和`Reactor` 模式 +3. 根据 `Reactor` 的数量和处理资源池线程的数量不同，有 `3` 种典型的实现 + - 单 `Reactor` 单线程； + - 单 `Reactor`多线程； + - 主从 `Reactor`多线程 +4. `Netty` 线程模式（`Netty` 主要基于主从 `Reactor` 多线程模型做了一定的改进，其中主从 `Reactor` 多线程模型有多个 `Reactor`） + +## 传统阻塞 I/O 服务模型 + +### 工作原理图 + +1. 黄色的框表示对象，蓝色的框表示线程 +2. 白色的框表示方法（`API`） + +### 模型特点 + +1. 采用阻塞 `IO` 模式获取输入的数据 +2. 每个连接都需要独立的线程完成数据的输入，业务处理，数据返回 + +### 问题分析 + +1. 当并发数很大，就会创建大量的线程，占用很大系统资源 +2. 连接创建后，如果当前线程暂时没有数据可读，该线程会阻塞在 Handler对象中的`read` 操作，导致上面的处理线程资源浪费 + + + +## Reactor 模式 + +### 针对传统阻塞 I/O 服务模型的 2 个缺点，解决方案： + +基于 `I/O` 复用模型：多个连接共用一个阻塞对象`ServiceHandler`，应用程序只需要在一个阻塞对象等待，无需阻塞等待所有连接。当某个连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理。 + + `Reactor` 在不同书中的叫法： + +1. 反应器模式 +2. 分发者模式（Dispatcher） +3. 通知者模式（notifier） + +1. 基于线程池复用线程资源：不必再为每个连接创建线程，将连接完成后的业务处理任务分配给线程进行处理，一个线程可以处理多个连接的业务。（解决了当并发数很大时，会创建大量线程，占用很大系统资源） +2. 基于 `I/O` 复用模型：多个客户端进行连接，先把连接请求给`ServiceHandler`。多个连接共用一个阻塞对象`ServiceHandler`。假设，当C1连接没有数据要处理时，C1客户端只需要阻塞于`ServiceHandler`，C1之前的处理线程便可以处理其他有数据的连接，不会造成线程资源的浪费。当C1连接再次有数据时，`ServiceHandler`根据线程池的空闲状态，将请求分发给空闲的线程来处理C1连接的任务。（解决了线程资源浪费的那个问题） + + + + + + + +### I/O 复用结合线程池，就是 Reactor 模式基本设计思想，如图 + + + +对上图说明： + +1. `Reactor` 模式，通过一个或多个输入同时传递给服务处理器（ServiceHandler）的模式（基于事件驱动） +2. 服务器端程序处理传入的多个请求,并将它们同步分派到相应的处理线程，因此 `Reactor` 模式也叫 `Dispatcher` 模式 +3. `Reactor` 模式使用 `IO` 复用监听事件，收到事件后，分发给某个线程（进程），这点就是网络服务器高并发处理关键 + +> 原先有多个Handler阻塞，现在只用一个ServiceHandler阻塞 + +### Reactor 模式中核心组成 + +1. `Reactor（也就是那个ServiceHandler）`：`Reactor` 在一个单独的线程中运行，负责监听和分发事件，分发给适当的处理线程来对 `IO` 事件做出反应。它就像公司的电话接线员，它接听来自客户的电话并将线路转移到适当的联系人； +2. `Handlers（处理线程EventHandler）`：处理线程执行 `I/O` 事件要完成的实际事件，类似于客户想要与之交谈的公司中的实际官员。`Reactor` 通过调度适当的处理线程来响应 `I/O` 事件，处理程序执行非阻塞操作。 + +### Reactor 模式分类 + +根据 `Reactor` 的数量和处理资源池线程的数量不同，有 `3` 种典型的实现 + +1. 单 `Reactor` 单线程 +2. 单 `Reactor` 多线程 +3. 主从 `Reactor` 多线程 + +## 单 Reactor 单线程 + +原理图，并使用 `NIO` 群聊系统验证 + + + +### 方案说明 + +1. `Select` 是前面 `I/O` 复用模型介绍的标准网络编程 `API`，可以实现应用程序通过一个阻塞对象监听多路连接请求 +2. `Reactor` 对象通过 `Select` 监控客户端请求事件，收到事件后通过 `Dispatch` 进行分发 +3. 如果是建立连接请求事件，则由 `Acceptor` 通过 `Accept` 处理连接请求，然后创建一个 `Handler` 对象处理连接完成后的后续业务处理 +4. 如果不是建立连接事件，则 `Reactor` 会分发调用连接对应的 `Handler` 来响应 +5. `Handler` 会完成 `Read` → 业务处理 → `Send` 的完整业务流程 + +结合实例：服务器端用一个线程通过多路复用搞定所有的 `IO` 操作（包括连接，读、写等），编码简单，清晰明了，但是如果客户端连接数量较多，将无法支撑，前面的 `NIO` 案例就属于这种模型。 + +### 方案优缺点分析 + +1. 优点：模型简单，没有多线程、进程通信、竞争的问题，全部都在一个线程中完成 +2. 缺点：性能问题，只有一个线程，无法完全发挥多核 `CPU` 的性能。`Handler`在处理某个连接上的业务时，整个进程无法处理其他连接事件，很容易导致性能瓶颈 +3. 缺点：可靠性问题，线程意外终止，或者进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障 +4. 使用场景：客户端的数量有限，业务处理非常快速，比如 `Redis` 在业务处理的时间复杂度 `O(1)` 的情况 + +## 单 Reactor 多线程 + +### 方案说明 + + + + + +1. `Reactor` 对象通过 `Select` 监控客户端请求事件，收到事件后，通过 `Dispatch` 进行分发 +2. 如果是建立连接请求，则由 `Acceptor` 通过 `accept` 处理连接请求，然后创建一个 `Handler` 对象处理完成连接后的各种事件 +3. 如果不是连接请求，则由 `Reactor` 分发调用连接对应的 `handler` 来处理（也就是说连接已经建立，后续客户端再来请求，那基本就是数据请求了，直接调用之前为这个连接创建好的handler来处理） +4. `handler` 只负责响应事件，不做具体的业务处理（这样不会使handler阻塞太久），通过 `read` 读取数据后，会分发给后面的 `worker` 线程池的某个线程处理业务。【业务处理是最费时的，所以将业务处理交给线程池去执行】 +5. `worker` 线程池会分配独立线程完成真正的业务，并将结果返回给 `handler` +6. `handler` 收到响应后，通过 `send` 将结果返回给 `client` + + +### 方案优缺点分析 + +1. 优点：可以充分的利用多核 `cpu` 的处理能力 +2. 缺点：多线程数据共享和访问比较复杂。`Reactor` 承担所有的事件的监听和响应，它是单线程运行，在高并发场景容易出现性能瓶颈。也就是说`Reactor`主线程承担了过多的事 + +## 主从 Reactor 多线程 + +### 工作原理图 + +针对单 `Reactor` 多线程模型中，`Reactor` 在单线程中运行，高并发场景下容易成为性能瓶颈，可以让 `Reactor` 在多线程中运行 + + + + + + + +> SubReactor是可以有多个的，如果只有一个SubReactor的话那和`单 Reactor 多线程`就没什么区别了。 + +1. `Reactor` 主线程 `MainReactor` 对象通过 `select` 监听连接事件，收到事件后，通过 `Acceptor` 处理连接事件 +2. 当 `Acceptor` 处理连接事件后，`MainReactor` 将连接分配给 `SubReactor` +3. `subreactor` 将连接加入到连接队列进行监听，并创建 `handler` 进行各种事件处理 +4. 当有新事件发生时，`subreactor` 就会调用对应的 `handler` 处理 +5. `handler` 通过 `read` 读取数据，分发给后面的 `worker` 线程处理 +6. `worker` 线程池分配独立的 `worker` 线程进行业务处理，并返回结果 +7. `handler` 收到响应的结果后，再通过 `send` 将结果返回给 `client` +8. `Reactor` 主线程可以对应多个 `Reactor` 子线程，即 `MainRecator` 可以关联多个 `SubReactor` + +### Scalable IO in Java 对 Multiple Reactors 的原理图解 + + + +### 方案优缺点说明 + +1. 优点：父线程与子线程的数据交互简单职责明确，父线程只需要接收新连接，子线程完成后续的业务处理。 +2. 优点：父线程与子线程的数据交互简单，`Reactor` 主线程只需要把新连接传给子线程，子线程无需返回数据。 +3. 缺点：编程复杂度较高 + +结合实例：这种模型在许多项目中广泛使用，包括 `Nginx` 主从 `Reactor` 多进程模型，`Memcached` 主从多线程，`Netty` 主从多线程模型的支持 + +## Reactor 模式小结 + +### 3 种模式用生活案例来理解 + +1. 单 `Reactor` 单线程，前台接待员和服务员是同一个人，全程为顾客服 +2. 单 `Reactor` 多线程，`1` 个前台接待员，多个服务员，接待员只负责接待 +3. 主从 `Reactor` 多线程，多个前台接待员，多个服务生 + +### Reactor 模式具有如下的优点 + +1. 响应快，不必为单个同步时间所阻塞，虽然 `Reactor` 本身依然是同步的（比如你第一个SubReactor阻塞了，我可以调下一个 SubReactor为客户端服务） +2. 可以最大程度的避免复杂的多线程及同步问题，并且避免了多线程/进程的切换开销 +3. 扩展性好，可以方便的通过增加 `Reactor` 实例个数来充分利用 `CPU` 资源 +4. 复用性好，`Reactor` 模型本身与具体事件处理逻辑无关，具有很高的复用性 + +## Netty 模型 + +> 讲解netty的时候采用的是先写代码体验一下，再细讲里面的原理。前面看不懂的可以先不用纠结，先往后面看，后面基本都会讲清楚 + +### 工作原理示意图1 - 简单版 + +`Netty` 主要基于主从 `Reactors` 多线程模型（如图）做了一定的改进，其中主从 `Reactor` 多线程模型有多个 `Reactor` + + + +**对上图说明** + +1. `BossGroup` 线程维护 `Selector`，只关注 `Accecpt` +2. 当接收到 `Accept` 事件，获取到对应的 `SocketChannel`，封装成 `NIOScoketChannel` 并注册到 `Worker` 线程（事件循环），并进行维护 +3. 当 `Worker` 线程监听到 `Selector` 中通道发生自己感兴趣的事件后，就进行处理（就由 `handler`），注意 `handler` 已经加入到通道 + +### 工作原理示意图2 - 进阶版 + + + + + +`BossGroup`有点像主`Reactor` 可以有多个，`WorkerGroup`则像`SubReactor`一样可以有多个。 + +### 工作原理示意图3 - 详细版 + + + + + +1. `Netty` 抽象出两组线程池 ，`BossGroup` 专门负责接收客户端的连接，`WorkerGroup` 专门负责网络的读写 +2. `BossGroup` 和 `WorkerGroup` 类型都是 `NioEventLoopGroup` +3. `NioEventLoopGroup` 相当于一个事件循环组，这个组中含有多个事件循环，每一个事件循环是 `NioEventLoop` +4. `NioEventLoop` 表示一个不断循环的执行处理任务的线程，每个 `NioEventLoop` 都有一个 `Selector`，用于监听绑定在其上的 `socket` 的网络通讯 +5. `NioEventLoopGroup` 可以有多个线程，即可以含有多个 `NioEventLoop` +6. 每个 `BossGroup`下面的`NioEventLoop` 循环执行的步骤有 `3` 步 + - 轮询 `accept` 事件 + - 处理 `accept` 事件，与 `client` 建立连接，生成 `NioScocketChannel`，并将其注册到某个 `workerGroup` `NIOEventLoop` 上的 `Selector` + - 继续处理任务队列的任务，即 `runAllTasks` +7. 每个 `WorkerGroup` `NIOEventLoop` 循环执行的步骤 + - 轮询 `read`，`write` 事件 + - 处理 `I/O` 事件，即 `read`，`write` 事件，在对应 `NioScocketChannel` 处理 + - 处理任务队列的任务，即 `runAllTasks` +8. 每个 `Worker` `NIOEventLoop` 处理业务时，会使用 `pipeline`（管道），`pipeline` 中包含了 `channel（通道）`，即通过 `pipeline` 可以获取到对应通道，管道中维护了很多的处理器。（这个点目前只是简单的讲，后面重点说） + + +### Netty 快速入门实例 - TCP 服务 + +实例要求：使用 `IDEA` 创建 `Netty` 项目 + +1. `Netty` 服务器在 `6668` 端口监听，客户端能发送消息给服务器"hello,服务器~" +2. 服务器可以回复消息给客户端"hello,客户端~" +3. 目的：对 `Netty` 线程模型有一个初步认识，便于理解 `Netty` 模型理论 +4. + 1. 编写服务端 + 2. 编写客户端 + 3. 对 `netty` 程序进行分析，看看 `netty` 模型特点 + 4. 说明：创建 `Maven` 项目，并引入 `Netty` 包 +5. 代码如下 + +#### NettyServer + +```java +package com.atguigu.netty.simple; + +import io.netty.bootstrap.ServerBootstrap; +import io.netty.channel.*; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.SocketChannel; +import io.netty.channel.socket.nio.NioServerSocketChannel; +import io.netty.channel.socket.nio.NioSocketChannel; + +public class NettyServer { + public static void main(String[] args) throws Exception { + + + //创建BossGroup 和 WorkerGroup + //说明 + //1. 创建两个线程组 bossGroup 和 workerGroup + //2. bossGroup 只是处理连接请求 , 真正的和客户端业务处理，会交给 workerGroup完成 + //3. 两个都是无限循环 + //4. bossGroup 和 workerGroup 含有的子线程(NioEventLoop)的个数 + // 默认实际 cpu核数 * 2 + EventLoopGroup bossGroup = new NioEventLoopGroup(1); + EventLoopGroup workerGroup = new NioEventLoopGroup(); //8 + + + + try { + //创建服务器端的启动对象，配置参数 + ServerBootstrap bootstrap = new ServerBootstrap(); + + //使用链式编程来进行设置 + bootstrap.group(bossGroup, workerGroup) //设置两个线程组 + .channel(NioServerSocketChannel.class) //使用NioSocketChannel 作为服务器的通道实现 + .option(ChannelOption.SO_BACKLOG, 128) // 设置线程队列等待连接个数 + .childOption(ChannelOption.SO_KEEPALIVE, true) //设置保持活动连接状态 +// .handler(null) // 该 handler对应 bossGroup , childHandler 对应 workerGroup + .childHandler(new ChannelInitializer() {//创建一个通道初始化对象(匿名对象) + //给pipeline 设置处理器 + @Override + protected void initChannel(SocketChannel ch) throws Exception { + System.out.println("客户socketchannel hashcode=" + ch.hashCode()); //可以使用一个集合管理 SocketChannel， 再推送消息时，可以将业务加入到各个channel 对应的 NIOEventLoop 的 taskQueue 或者 scheduleTaskQueue + ch.pipeline().addLast(new NettyServerHandler()); + } + }); // 给我们的workerGroup 的 EventLoop 对应的管道设置处理器 + + System.out.println(".....服务器 is ready..."); + + //绑定一个端口并且同步生成了一个 ChannelFuture 对象（也就是立马返回这样一个对象） + //启动服务器(并绑定端口) + ChannelFuture cf = bootstrap.bind(6668).sync(); + + //给cf 注册监听器，监控我们关心的事件 + + cf.addListener(new ChannelFutureListener() { + @Override + public void operationComplete(ChannelFuture future) throws Exception { + if (cf.isSuccess()) { + System.out.println("监听端口 6668 成功"); + } else { + System.out.println("监听端口 6668 失败"); + } + } + }); + + + //对关闭通道事件 进行监听 + cf.channel().closeFuture().sync(); + }finally { + bossGroup.shutdownGracefully(); + workerGroup.shutdownGracefully(); + } + + } + +} +``` + + + +#### NettyServerHandler + +```java +package com.atguigu.netty.simple; + +import io.netty.buffer.ByteBuf; +import io.netty.buffer.Unpooled; +import io.netty.channel.Channel; +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.ChannelInboundHandlerAdapter; +import io.netty.channel.ChannelPipeline; +import io.netty.util.CharsetUtil; + +import java.util.concurrent.TimeUnit; + +/* +说明 +1. 我们自定义一个Handler 需要继承netty 规定好的某个HandlerAdapter(规范) +2. 这时我们自定义一个Handler , 才能称为一个handler + */ +public class NettyServerHandler extends ChannelInboundHandlerAdapter { + + //读取数据事件(这里我们可以读取客户端发送的消息) + /* + 1. ChannelHandlerContext ctx:上下文对象, 含有 管道pipeline , 通道channel, 地址 + 2. Object msg: 就是客户端发送的数据 默认Object + */ + @Override + public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { + System.out.println("服务器读取线程 " + Thread.currentThread().getName() + " channle =" + ctx.channel()); + System.out.println("server ctx =" + ctx); + System.out.println("看看channel 和 pipeline的关系"); + Channel channel = ctx.channel(); + ChannelPipeline pipeline = ctx.pipeline(); //本质是一个双向链表 + + + //将 msg 转成一个 ByteBuf + //ByteBuf 是 Netty 提供的，不是 NIO 的 ByteBuffer. + ByteBuf buf = (ByteBuf) msg; + System.out.println("客户端发送消息是:" + buf.toString(CharsetUtil.UTF_8)); + System.out.println("客户端地址:" + channel.remoteAddress()); + } + + //数据读取完毕 + @Override + public void channelReadComplete(ChannelHandlerContext ctx) throws Exception { + + //writeAndFlush 是 write + flush + //将数据写入到缓存，并刷新 + //一般讲，我们对这个发送的数据进行编码 + ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵1", CharsetUtil.UTF_8)); + } + + //发生异常后, 一般是需要关闭通道 + + @Override + public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { + ctx.close(); + } +} +``` + + + +#### NettyClient + +```java +package com.atguigu.netty.simple; + +import io.netty.bootstrap.Bootstrap; +import io.netty.channel.ChannelFuture; +import io.netty.channel.ChannelInitializer; +import io.netty.channel.EventLoopGroup; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.SocketChannel; +import io.netty.channel.socket.nio.NioSocketChannel; + +public class NettyClient { + public static void main(String[] args) throws Exception { + + //客户端需要一个事件循环组 + EventLoopGroup group = new NioEventLoopGroup(); + + + try { + //创建客户端启动对象 + //注意客户端使用的不是 ServerBootstrap 而是 Bootstrap + Bootstrap bootstrap = new Bootstrap(); + + //设置相关参数 + bootstrap.group(group) //设置线程组 + .channel(NioSocketChannel.class) // 设置客户端通道的实现类(反射) + .handler(new ChannelInitializer() { + @Override + protected void initChannel(SocketChannel ch) throws Exception { + ch.pipeline().addLast(new NettyClientHandler()); //加入自己的处理器 + } + }); + + System.out.println("客户端 ok.."); + + //启动客户端去连接服务器端 + //关于 ChannelFuture 要分析，涉及到netty的异步模型 + ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 6668).sync(); + //对关闭通道事件 进行监听 + channelFuture.channel().closeFuture().sync(); + }finally { + + group.shutdownGracefully(); + + } + } +} +``` + + + +#### NettyClientHandler + +```java +package com.atguigu.netty.simple; + +import io.netty.buffer.ByteBuf; +import io.netty.buffer.Unpooled; +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.ChannelInboundHandlerAdapter; +import io.netty.util.CharsetUtil; + +public class NettyClientHandler extends ChannelInboundHandlerAdapter { + + //当通道就绪就会触发该方法 + @Override + public void channelActive(ChannelHandlerContext ctx) throws Exception { + System.out.println("client " + ctx); + ctx.writeAndFlush(Unpooled.copiedBuffer("hello, server: (>^ω^<)喵", CharsetUtil.UTF_8)); + } + + //当通道有读取事件时，会触发 + @Override + public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { + + ByteBuf buf = (ByteBuf) msg; + System.out.println("服务器回复的消息:" + buf.toString(CharsetUtil.UTF_8)); + System.out.println("服务器的地址： "+ ctx.channel().remoteAddress()); + } + + @Override + public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { + cause.printStackTrace(); + ctx.close(); + } +} + +``` + + + + + +### 任务队列中的 Task 有 3 种典型使用场景 + +1. 用户程序自定义的普通任务【举例说明】 +2. 用户自定义定时任务 +3. 非当前 `Reactor` 线程调用 `Channel` 的各种方法 + 例如在**推送系统**的业务线程里面，根据用户的标识，找到对应的 `Channel` 引用，然后调用 `Write` 类方法向该用户推送消息，就会进入到这种场景。最终的 `Write` 会提交到任务队列中后被异步消费 + +前两种的代码举例： + +```java +package com.atguigu.netty.simple; + +import io.netty.buffer.Unpooled; +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.ChannelInboundHandlerAdapter; +import io.netty.util.CharsetUtil; + +import java.util.concurrent.TimeUnit; + +/** + * 说明 + * 1. 我们自定义一个Handler 需要继续netty 规定好的某个HandlerAdapter(规范) + * 2. 这时我们自定义一个Handler , 才能称为一个handler + */ +public class NettyServerHandler extends ChannelInboundHandlerAdapter { + + //读取数据实际(这里我们可以读取客户端发送的消息) + + /** + * 1. ChannelHandlerContext ctx:上下文对象, 含有 管道pipeline , 通道channel, 地址 + * 2. Object msg: 就是客户端发送的数据 默认Object + */ + @Override + public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { + + // 比如这里我们有一个非常耗时长的业务-> 异步执行 -> 提交该channel 对应的 + // NIOEventLoop 的 taskQueue中, + + // 解决方案1 用户程序自定义的普通任务 + + ctx.channel().eventLoop().execute(new Runnable() { + @Override + public void run() { + + try { + Thread.sleep(5 * 1000); + ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵2", CharsetUtil.UTF_8)); + System.out.println("channel code=" + ctx.channel().hashCode()); + } catch (Exception ex) { + System.out.println("发生异常" + ex.getMessage()); + } + } + }); + + ctx.channel().eventLoop().execute(new Runnable() { + @Override + public void run() { + + try { + Thread.sleep(5 * 1000); + ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵3", CharsetUtil.UTF_8)); + System.out.println("channel code=" + ctx.channel().hashCode()); + } catch (Exception ex) { + System.out.println("发生异常" + ex.getMessage()); + } + } + }); + + //解决方案2 : 用户自定义定时任务 -》 该任务是提交到 scheduleTaskQueue中 + + ctx.channel().eventLoop().schedule(new Runnable() { + @Override + public void run() { + + try { + Thread.sleep(5 * 1000); + ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵4", CharsetUtil.UTF_8)); + System.out.println("channel code=" + ctx.channel().hashCode()); + } catch (Exception ex) { + System.out.println("发生异常" + ex.getMessage()); + } + } + }, 5, TimeUnit.SECONDS); + + System.out.println("go on ..."); + +// System.out.println("服务器读取线程 " + Thread.currentThread().getName() + " channle =" + ctx.channel()); +// System.out.println("server ctx =" + ctx); +// System.out.println("看看channel 和 pipeline的关系"); +// Channel channel = ctx.channel(); +// ChannelPipeline pipeline = ctx.pipeline(); //本质是一个双向链接, 出站入站 +// +// //将 msg 转成一个 ByteBuf +// //ByteBuf 是 Netty 提供的，不是 NIO 的 ByteBuffer. +// ByteBuf buf = (ByteBuf) msg; +// System.out.println("客户端发送消息是:" + buf.toString(CharsetUtil.UTF_8)); +// System.out.println("客户端地址:" + channel.remoteAddress()); + } + + //数据读取完毕 + @Override + public void channelReadComplete(ChannelHandlerContext ctx) throws Exception { + //writeAndFlush 是 write + flush + //将数据写入到缓存，并刷新 + //一般讲，我们对这个发送的数据进行编码 + ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵1", CharsetUtil.UTF_8)); + } + + //处理异常, 一般是需要关闭通道 + @Override + public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { + ctx.close(); + } +} +``` + +### 方案再说明 + +1. `Netty` 抽象出两组线程池，`BossGroup` 专门负责接收客户端连接，`WorkerGroup` 专门负责网络读写操作。 +2. `NioEventLoop` 表示一个不断循环执行处理任务的线程，每个 `NioEventLoop` 都有一个 `Selector`，用于监听绑定在其上的 `socket`网络通道。 +3. `NioEventLoop` 内部采用串行化设计，从消息的 **读取->解码->处理->编码->发送**，始终由 `IO` 线程 `NioEventLoop` 负责 + +- `NioEventLoopGroup` 下包含多个 `NioEventLoop` + +- 每个 `NioEventLoop` 中包含有一个 `Selector`，一个 `taskQueue` +- 每个 `NioEventLoop` 的 `Selector` 上可以注册监听多个 `NioChannel` +- 每个 `NioChannel` 只会绑定在唯一的 `NioEventLoop` 上 +- 每个 `NioChannel` 都绑定有一个自己的 `ChannelPipeline` + +## 异步模型 + +### 基本介绍 + +1. 异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的组件在完成后，通过状态、通知和回调来通知调用者。 +2. `Netty` 中的 `I/O` 操作是异步的，包括 `Bind、Write、Connect` 等操作会首先简单的返回一个 `ChannelFuture`。 +3. 调用者并不能立刻获得结果，而是通过 `Future-Listener` 机制，用户可以方便的主动获取或者通过通知机制获得 `IO` 操作结果。 +4. `Netty` 的异步模型是建立在 `future` 和 `callback` 的之上的。`callback` 就是回调。重点说 `Future`，它的核心思想是：假设一个方法 `fun`，计算过程可能非常耗时，等待 `fun` 返回显然不合适。那么可以在调用 `fun` 的时候，立马返回一个 `Future`，后续可以通过 `Future` 去监控方法 `fun` 的处理过程（即：`Future-Listener` 机制） + +### Future 说明 + +1. 表示异步的执行结果,可以通过它提供的方法来检测执行是否完成，比如检索计算等等。 +2. `ChannelFuture` 是一个接口：`public interface ChannelFuture extends Future` 我们可以添加监听器，当监听的事件发生时，就会通知到监听器。 + +### 工作原理示意图 + +下面第一张图就是管道，中间会经过多个handler + + + + + +说明： + +1. 在使用 `Netty` 进行编程时，拦截操作和转换出入站数据只需要您提供 `callback` 或利用 `future` 即可。这使得链式操作简单、高效，并有利于编写可重用的、通用的代码。 +2. `Netty` 框架的目标就是让你的业务逻辑从网络基础应用编码中分离出来、解脱出来。 + +### Future-Listener 机制 + +> 这里看不懂的可以看笔者的**并发系列-JUC部分** + +1. 当 `Future` 对象刚刚创建时，处于非完成状态，调用者可以通过返回的 `ChannelFuture` 来获取操作执行的状态，注册监听函数来执行完成后的操作。 +2. 常见有如下操作 + - 通过 `isDone` 方法来判断当前操作是否完成； + - 通过 `isSuccess` 方法来判断已完成的当前操作是否成功； + - 通过 `getCause` 方法来获取已完成的当前操作失败的原因； + - 通过 `isCancelled` 方法来判断已完成的当前操作是否被取消； + - 通过 `addListener` 方法来注册监听器，当操作已完成（`isDone`方法返回完成），将会通知指定的监听器；如果 `Future` 对象已完成，则通知指定的监听器 + +举例说明 +演示：绑定端口是异步操作，当绑定操作处理完，将会调用相应的监听器处理逻辑 + +```java +//绑定一个端口并且同步,生成了一个ChannelFuture对象 +//启动服务器(并绑定端口) +ChannelFuture cf = bootstrap.bind(6668).sync(); +//给cf注册监听器，监控我们关心的事件 +cf.addListener(new ChannelFutureListener() { + @Override + public void operationComplete (ChannelFuture future) throws Exception { + if (cf.isSuccess()) { + System.out.println("监听端口6668成功"); + } else { + System.out.println("监听端口6668失败"); + } + } +}); +``` + +## 快速入门实例 - HTTP服务 + +1. 实例要求：使用 `IDEA` 创建 `Netty` 项目 +2. `Netty` 服务器在 `6668` 端口监听，浏览器发出请求 `http://localhost:6668/` +3. 服务器可以回复消息给客户端"Hello!我是服务器5",并对特定请求资源进行过滤。 +4. 目的：`Netty` 可以做 `Http` 服务开发，并且理解 `Handler` 实例和客户端及其请求的关系。 +5. 看老师代码演示 + +### TestServer + +```java +package com.atguigu.netty.http; + +import io.netty.bootstrap.ServerBootstrap; +import io.netty.channel.ChannelFuture; +import io.netty.channel.EventLoopGroup; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.nio.NioServerSocketChannel; + +public class TestServer { + public static void main(String[] args) throws Exception { + + EventLoopGroup bossGroup = new NioEventLoopGroup(1); + EventLoopGroup workerGroup = new NioEventLoopGroup(); + + try { + ServerBootstrap serverBootstrap = new ServerBootstrap(); + + serverBootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class).childHandler(new TestServerInitializer()); + + ChannelFuture channelFuture = serverBootstrap.bind(6668).sync(); + + channelFuture.channel().closeFuture().sync(); + + }finally { + bossGroup.shutdownGracefully(); + workerGroup.shutdownGracefully(); + } + } +} + +``` + + + + + +### TestServerInitializer + +```java +package com.atguigu.netty.http; + +import io.netty.channel.ChannelInitializer; +import io.netty.channel.ChannelPipeline; +import io.netty.channel.socket.SocketChannel; +import io.netty.handler.codec.http.HttpServerCodec; + + +public class TestServerInitializer extends ChannelInitializer { + + @Override + protected void initChannel(SocketChannel ch) throws Exception { + + //向管道加入处理器 + + //得到管道 + ChannelPipeline pipeline = ch.pipeline(); + + //加入一个netty 提供的httpServerCodec codec =>[coder - decoder] + //HttpServerCodec 说明 + //1. HttpServerCodec 是netty 提供的处理http的 编-解码器 + pipeline.addLast("MyHttpServerCodec",new HttpServerCodec()); + //2. 增加一个自定义的handler + pipeline.addLast("MyTestHttpServerHandler", new TestHttpServerHandler()); + + System.out.println("ok~~~~"); + + } +} + +``` + + + +### TestHttpServerHandler + +```java +package com.atguigu.netty.http; + +import io.netty.buffer.ByteBuf; +import io.netty.buffer.Unpooled; +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.SimpleChannelInboundHandler; +import io.netty.handler.codec.http.*; +import io.netty.util.CharsetUtil; + +import java.net.URI; + +/* +说明 +1. SimpleChannelInboundHandler 是 ChannelInboundHandlerAdapter +2. HttpObject 客户端和服务器端相互通讯的数据被封装成 HttpObject + */ +public class TestHttpServerHandler extends SimpleChannelInboundHandler { + + + //channelRead0 读取客户端数据 + @Override + protected void channelRead0(ChannelHandlerContext ctx, HttpObject msg) throws Exception { + + + System.out.println("对应的channel=" + ctx.channel() + " pipeline=" + ctx + .pipeline() + " 通过pipeline获取channel" + ctx.pipeline().channel()); + + System.out.println("当前ctx的handler=" + ctx.handler()); + + //判断 msg 是不是 httprequest请求 + if(msg instanceof HttpRequest) { + + System.out.println("ctx 类型="+ctx.getClass()); + + System.out.println("pipeline hashcode" + ctx.pipeline().hashCode() + " TestHttpServerHandler hash=" + this.hashCode()); + + System.out.println("msg 类型=" + msg.getClass()); + System.out.println("客户端地址" + ctx.channel().remoteAddress()); + + //获取到 + HttpRequest httpRequest = (HttpRequest) msg; + //获取uri, 过滤指定的资源 + URI uri = new URI(httpRequest.uri()); + if("/favicon.ico".equals(uri.getPath())) { + System.out.println("请求了 favicon.ico, 不做响应"); + return; + } + //回复信息给浏览器 [http协议] + + ByteBuf content = Unpooled.copiedBuffer("hello, 我是服务器", CharsetUtil.UTF_8); + + //构造一个http的相应，即 httpresponse + FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, content); + + response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain"); + response.headers().set(HttpHeaderNames.CONTENT_LENGTH, content.readableBytes()); + + //将构建好 response返回 + ctx.writeAndFlush(response); + + } + } + +} +``` + + + +# Netty 核心模块组件 + +## Bootstrap、ServerBootstrap + +1. `Bootstrap` 意思是引导，一个 `Netty` 应用通常由一个 `Bootstrap` 开始，主要作用是配置整个 `Netty` 程序，串联各个组件，`Netty` 中 `Bootstrap` 类是客户端程序的启动引导类，`ServerBootstrap` 是服务端启动引导类。 +2. 常见的方法有 + - `public ServerBootstrap group(EventLoopGroup parentGroup, EventLoopGroup childGroup)`，该方法用于服务器端，用来设置两个 `EventLoop` + - `public B group(EventLoopGroup group)`，该方法用于客户端，用来设置一个 `EventLoop` + - `public B channel(Class channelClass)`，该方法用来设置一个服务器端的通道实现 + - `public B option(ChannelOption option, T value)`，用来给 `ServerChannel` 添加配置 + - `public ServerBootstrap childOption(ChannelOption childOption, T value)`，用来给接收到的通道添加配置 + - `public ServerBootstrap childHandler(ChannelHandler childHandler)`，该方法用来设置业务处理类（自定义的`handler`） + - `public ChannelFuture bind(int inetPort)`，该方法用于服务器端，用来设置占用的端口号 + - `public ChannelFuture connect(String inetHost, int inetPort)`，该方法用于客户端，用来连接服务器端 + +## Future、ChannelFuture + +`Netty` 中所有的 `IO` 操作都是异步的，不能立刻得知消息是否被正确处理。但是可以过一会等它执行完成或者直接注册一个监听，具体的实现就是通过 `Future` 和 `ChannelFutures`，他们可以注册一个监听，当操作执行成功或失败时监听会自动触发注册的监听事件 + +常见的方法有 + +- `Channel channel()`，返回当前正在进行 `IO` 操作的通道 +- `ChannelFuture sync()`，等待异步操作执行完毕 + +## Channel + +1. `Netty` 网络通信的组件，能够用于执行网络 `I/O` 操作。 +2. 通过 `Channel` 可获得当前网络连接的通道的状态 +3. 通过 `Channel` 可获得网络连接的配置参数（例如接收缓冲区大小） +4. `Channel` 提供异步的网络 `I/O` 操作(如建立连接，读写，绑定端口)，异步调用意味着任何 `I/O` 调用都将立即返回，并且不保证在调用结束时所请求的 `I/O` 操作已完成 +5. 调用立即返回一个 `ChannelFuture` 实例，通过注册监听器到 `ChannelFuture` 上，可以 `I/O` 操作成功、失败或取消时回调通知调用方 +6. 支持关联 `I/O` 操作与对应的处理程序 +7. 不同协议、不同的阻塞类型的连接都有不同的 `Channel` 类型与之对应，常用的 `Channel` 类型： + - `NioSocketChannel`，异步的客户端 `TCP` `Socket` 连接。 + - `NioServerSocketChannel`，异步的服务器端 `TCP` `Socket` 连接。 + - `NioDatagramChannel`，异步的 `UDP` 连接。 + - `NioSctpChannel`，异步的客户端 `Sctp` 连接。 + - `NioSctpServerChannel`，异步的 `Sctp` 服务器端连接，这些通道涵盖了 `UDP` 和 `TCP` 网络 `IO` 以及文件 `IO`。 + +## Selector + +1. `Netty` 基于 `Selector` 对象实现 `I/O` 多路复用，通过 `Selector` 一个线程可以监听多个连接的 `Channel` 事件。 +2. 当向一个 `Selector` 中注册 `Channel` 后，`Selector` 内部的机制就可以自动不断地查询（`Select`）这些注册的 `Channel` 是否有已就绪的 `I/O` 事件（例如可读，可写，网络连接完成等），这样程序就可以很简单地使用一个线程高效地管理多个 `Channel` + +## ChannelHandler 及其实现类 + +1. `ChannelHandler` 是一个接口，处理 `I/O` 事件或拦截 `I/O` 操作，并将其转发到其 `ChannelPipeline`（业务处理链）中的下一个处理程序。 +2. `ChannelHandler` 本身并没有提供很多方法，因为这个接口有许多的方法需要实现，方便使用期间，可以继承它的子类 +3. `ChannelHandler` 及其实现类一览图（后） + + + +4. 我们经常需要自定义一个 `Handler` 类去继承 `ChannelInboundHandlerAdapter`，然后通过重写相应方法实现业务逻辑，我们接下来看看一般都需要重写哪些方法 + + + +## Pipeline 和 ChannelPipeline + +`ChannelPipeline` 是一个重点： + +1. `ChannelPipeline` 是一个 `Handler` 的集合，它负责处理和拦截 `inbound` 或者 `outbound` 的事件和操作，相当于一个贯穿 `Netty` 的链。（也可以这样理解：`ChannelPipeline` 是保存 `ChannelHandler` 的 `List`，用于处理或拦截 `Channel` 的入站事件和出站操作） +2. `ChannelPipeline` 实现了一种高级形式的拦截过滤器模式，使用户可以完全控制事件的处理方式，以及 `Channel` 中各个的 `ChannelHandler` 如何相互交互 +3. 在 `Netty` 中每个 `Channel` 都有且仅有一个 `ChannelPipeline` 与之对应，它们的组成关系如下 + + + +4. 常用方法 + `ChannelPipeline addFirst(ChannelHandler... handlers)`，把一个业务处理类（`handler`）添加到链中的第一个位置`ChannelPipeline addLast(ChannelHandler... handlers)`，把一个业务处理类（`handler`）添加到链中的最后一个位置 + +> 想要更清楚的了解pipeline，可以对之前的代码进行debug，看一下pipeline里究竟有什么东西。 + +从head看一下debug + + + +- `TestServerInitializer`和`HttpServerCodec`这些东西本身也是`handler` +- 一般来说事件从客户端往服务器走我们称为出站，反之则是入站。 + +## ChannelHandlerContext + +1. 保存 `Channel` 相关的所有上下文信息，同时关联一个 `ChannelHandler` 对象 +2. 即 `ChannelHandlerContext` 中包含一个具体的事件处理器 `ChannelHandler`，同时 `ChannelHandlerContext` 中也绑定了对应的 `pipeline` 和 `Channel` 的信息，方便对 `ChannelHandler` 进行调用。 + + + +3. 常用方法 + +- `ChannelFuture close()`，关闭通道 +- `ChannelOutboundInvoker flush()`，刷新 +- `ChannelFuture writeAndFlush(Object msg)`，将数据写到 +- `ChannelPipeline` 中当前 `ChannelHandler` 的下一个 `ChannelHandler` 开始处理（出站） + + + +## ChannelOption + +1. `Netty` 在创建 `Channel` 实例后，一般都需要设置 `ChannelOption` 参数。 +2. `ChannelOption` 参数如下： + + + +## EventLoopGroup 和其实现类 NioEventLoopGroup + +1. `EventLoopGroup` 是一组 `EventLoop` 的抽象，`Netty` 为了更好的利用多核 `CPU` 资源，一般会有多个 `EventLoop` 同时工作，每个 `EventLoop` 维护着一个 `Selector` 实例。 +2. `EventLoopGroup` 提供 `next` 接口，可以从组里面按照一定规则获取其中一个 `EventLoop` 来处理任务。在 `Netty` 服务器端编程中，我们一般都需要提供两个 `EventLoopGroup`，例如：`BossEventLoopGroup` 和 `WorkerEventLoopGroup`。 +3. 通常一个服务端口即一个 `ServerSocketChannel` 对应一个 `Selector` 和一个 `EventLoop` 线程。`BossEventLoop` 负责接收客户端的连接并将 `SocketChannel` 交给 `WorkerEventLoopGroup` 来进行 `IO` 处理，如下图所示 + + + +4. 常用方法 + `public NioEventLoopGroup()`，构造方法 + `public Future shutdownGracefully()`，断开连接，关闭线程 + +## Unpooled 类 + +1. `Netty` 提供一个专门用来操作缓冲区（即 `Netty` 的数据容器）的工具类 +2. 常用方法如下所示 + + + +3. 举例说明 `Unpooled` 获取 `Netty` 的数据容器 `ByteBuf` 的基本使用 + + + +案例 1 + +```java +package com.atguigu.netty.buf; + +import io.netty.buffer.ByteBuf; +import io.netty.buffer.Unpooled; + +public class NettyByteBuf01 { + + public static void main(String[] args) { + + //创建一个ByteBuf + //说明 + //1. 创建 对象，该对象包含一个数组arr , 是一个byte[10] + //2. 在netty 的buffer中，不需要使用flip 进行反转 + // 底层维护了 readerindex 和 writerIndex + //3. 通过 readerindex 和 writerIndex 和 capacity， 将buffer分成三个区域 + // 0---readerindex 已经读取的区域 + // readerindex---writerIndex ， 可读的区域 + // writerIndex -- capacity, 可写的区域 + ByteBuf buffer = Unpooled.buffer(10); + + for (int i = 0; i < 10; i++) { + buffer.writeByte(i); + } + + System.out.println("capacity=" + buffer.capacity());//10 + //输出 +// for(int i = 0; i + +代码如下： + +### GroupChatServer + +```java +package com.atguigu.netty.groupchat; + +import io.netty.bootstrap.ServerBootstrap; +import io.netty.channel.*; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.SocketChannel; +import io.netty.channel.socket.nio.NioServerSocketChannel; +import io.netty.handler.codec.string.StringDecoder; +import io.netty.handler.codec.string.StringEncoder; + +public class GroupChatServer { + + private int port; //监听端口 + + + public GroupChatServer(int port) { + this.port = port; + } + + //编写run方法，处理客户端的请求 + public void run() throws Exception{ + + //创建两个线程组 + EventLoopGroup bossGroup = new NioEventLoopGroup(1); + EventLoopGroup workerGroup = new NioEventLoopGroup(); //8个NioEventLoop + + try { + ServerBootstrap b = new ServerBootstrap(); + + b.group(bossGroup, workerGroup) + .channel(NioServerSocketChannel.class) + .option(ChannelOption.SO_BACKLOG, 128) + .childOption(ChannelOption.SO_KEEPALIVE, true) + .childHandler(new ChannelInitializer() { + + @Override + protected void initChannel(SocketChannel ch) throws Exception { + + //获取到pipeline + ChannelPipeline pipeline = ch.pipeline(); + //向pipeline加入解码器 + pipeline.addLast("decoder", new StringDecoder()); + //向pipeline加入编码器 + pipeline.addLast("encoder", new StringEncoder()); + //加入自己的业务处理handler + pipeline.addLast(new GroupChatServerHandler()); + + } + }); + + System.out.println("netty 服务器启动"); + ChannelFuture channelFuture = b.bind(port).sync(); + + //监听关闭 + channelFuture.channel().closeFuture().sync(); + }finally { + bossGroup.shutdownGracefully(); + workerGroup.shutdownGracefully(); + } + + } + + public static void main(String[] args) throws Exception { + + new GroupChatServer(7000).run(); + } +} + +``` + + + +### GroupChatServerHandler + +```java +package com.atguigu.netty.groupchat; + +import io.netty.channel.Channel; +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.SimpleChannelInboundHandler; +import io.netty.channel.group.ChannelGroup; +import io.netty.channel.group.DefaultChannelGroup; +import io.netty.util.concurrent.GlobalEventExecutor; + +import java.text.SimpleDateFormat; +import java.util.ArrayList; +import java.util.HashMap; +import java.util.List; +import java.util.Map; + +public class GroupChatServerHandler extends SimpleChannelInboundHandler { + + //这样写还要自己遍历Channel + //public static List channels = new ArrayList(); + + //使用一个hashmap 管理私聊（私聊本案例并未实现，只是提供个思路） + //public static Map channels = new HashMap(); + + //定义一个channle 组，管理所有的channel + //GlobalEventExecutor.INSTANCE) 是全局的事件执行器，是一个单例 + private static ChannelGroup channelGroup = new DefaultChannelGroup(GlobalEventExecutor.INSTANCE); + SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); + + + //handlerAdded 表示连接建立，一旦连接，第一个被执行 + //将当前channel 加入到 channelGroup + @Override + public void handlerAdded(ChannelHandlerContext ctx) throws Exception { + Channel channel = ctx.channel(); + //将该客户加入聊天的信息推送给其它在线的客户端 + + //该方法会将 channelGroup 中所有的channel 遍历，并发送消息，我们不需要自己遍历 + + channelGroup.writeAndFlush("[客户端]" + channel.remoteAddress() + " 加入聊天" + sdf.format(new java.util.Date()) + " \n"); + channelGroup.add(channel); + + //私聊如何实现 +// channels.put（"userid100",channel）; + + + } + + //断开连接, 将xx客户离开信息推送给当前在线的客户 + @Override + public void handlerRemoved(ChannelHandlerContext ctx) throws Exception { + + Channel channel = ctx.channel(); + channelGroup.writeAndFlush("[客户端]" + channel.remoteAddress() + " 离开了\n"); + System.out.println("channelGroup size" + channelGroup.size()); + + } + + //表示channel 处于活动状态, 提示 xx上线 + @Override + public void channelActive(ChannelHandlerContext ctx) throws Exception { + //这个是给服务端看的，客户端上面已经提示xxx加入群聊了 + System.out.println(ctx.channel().remoteAddress() + " 上线了~"); + } + + //表示channel 处于不活动状态, 提示 xx离线了 + @Override + public void channelInactive(ChannelHandlerContext ctx) throws Exception { + + System.out.println(ctx.channel().remoteAddress() + " 离线了~"); + } + + //读取数据，转发给在线的每一个客户端 + @Override + protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception { + + //获取到当前channel + Channel channel = ctx.channel(); + //这时我们遍历channelGroup, 根据不同的情况，回送不同的消息 + + channelGroup.forEach(ch -> { + if(channel != ch) { //不是当前的channel,转发消息 + ch.writeAndFlush("[客户]" + channel.remoteAddress() + " 发送了消息" + msg + "\n"); + }else {//回显自己发送的消息给自己 + ch.writeAndFlush("[自己]发送了消息" + msg + "\n"); + } + }); + } + + @Override + public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { + //关闭通道 + ctx.close(); + } +} + +``` + + + +### GroupChatClient + + + +```java +package com.atguigu.netty.groupchat; + +import io.netty.bootstrap.Bootstrap; +import io.netty.channel.*; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.SocketChannel; +import io.netty.channel.socket.nio.NioSocketChannel; +import io.netty.handler.codec.string.StringDecoder; +import io.netty.handler.codec.string.StringEncoder; + +import java.util.Scanner; + + +public class GroupChatClient { + + //属性 + private final String host; + private final int port; + + public GroupChatClient(String host, int port) { + this.host = host; + this.port = port; + } + + public void run() throws Exception{ + EventLoopGroup group = new NioEventLoopGroup(); + + try { + + + Bootstrap bootstrap = new Bootstrap() + .group(group) + .channel(NioSocketChannel.class) + .handler(new ChannelInitializer() { + + @Override + protected void initChannel(SocketChannel ch) throws Exception { + + //得到pipeline + ChannelPipeline pipeline = ch.pipeline(); + //加入相关handler + pipeline.addLast("decoder", new StringDecoder()); + pipeline.addLast("encoder", new StringEncoder()); + //加入自定义的handler + pipeline.addLast(new GroupChatClientHandler()); + } + }); + + ChannelFuture channelFuture = bootstrap.connect(host, port).sync(); + //得到channel + Channel channel = channelFuture.channel(); + System.out.println("-------" + channel.localAddress()+ "--------"); + //客户端需要输入信息，创建一个扫描器 + Scanner scanner = new Scanner(System.in); + while (scanner.hasNextLine()) { + String msg = scanner.nextLine(); + //通过channel 发送到服务器端 + channel.writeAndFlush(msg + "\r\n"); + } + }finally { + group.shutdownGracefully(); + } + } + + public static void main(String[] args) throws Exception { + new GroupChatClient("127.0.0.1", 7000).run(); + } +} + +``` + + + +### GroupChatClientHandler + +```java +package com.atguigu.netty.groupchat; + +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.SimpleChannelInboundHandler; + +public class GroupChatClientHandler extends SimpleChannelInboundHandler { + + //从服务器拿到的数据 + @Override + protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception { + System.out.println(msg.trim()); + } +} + +``` + + + + + +## Netty 心跳检测机制案例 + +实例要求： + +1. 编写一个 `Netty` 心跳检测机制案例,当服务器超过 `3` 秒没有读时，就提示读空闲 +2. 当服务器超过 `5` 秒没有写操作时，就提示写空闲 +3. 实现当服务器超过 `7` 秒没有读或者写操作时，就提示读写空闲 +4. 代码如下： + +### MyServer + +```java +package com.atguigu.netty.heartbeat; + +import io.netty.bootstrap.ServerBootstrap; +import io.netty.channel.ChannelFuture; +import io.netty.channel.ChannelInitializer; +import io.netty.channel.ChannelPipeline; +import io.netty.channel.EventLoopGroup; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.SocketChannel; +import io.netty.channel.socket.nio.NioServerSocketChannel; +import io.netty.handler.logging.LogLevel; +import io.netty.handler.logging.LoggingHandler; +import io.netty.handler.timeout.IdleStateHandler; + +import java.util.concurrent.TimeUnit; + +public class MyServer { + public static void main(String[] args) throws Exception{ + + + //创建两个线程组 + EventLoopGroup bossGroup = new NioEventLoopGroup(1); + EventLoopGroup workerGroup = new NioEventLoopGroup(); //8个NioEventLoop + try { + + ServerBootstrap serverBootstrap = new ServerBootstrap(); + + serverBootstrap.group(bossGroup, workerGroup); + serverBootstrap.channel(NioServerSocketChannel.class); + //在bossGroup增加一个日志处理器 + serverBootstrap.handler(new LoggingHandler(LogLevel.INFO)); + serverBootstrap.childHandler(new ChannelInitializer() { + + @Override + protected void initChannel(SocketChannel ch) throws Exception { + ChannelPipeline pipeline = ch.pipeline(); + //加入一个netty 提供 IdleStateHandler + /* + 说明 + 1. IdleStateHandler 是netty 提供的处理空闲状态的处理器 + 2. long readerIdleTime : 表示多长时间没有读, 就会发送一个心跳检测包检测是否连接 + 3. long writerIdleTime : 表示多长时间没有写, 就会发送一个心跳检测包检测是否连接 + 4. long allIdleTime : 表示多长时间没有读写, 就会发送一个心跳检测包检测是否连接 + + 5. 文档说明 + triggers an {@link IdleStateEvent} when a {@link Channel} has not performed + read, write, or both operation for a while. + 6. 当 IdleStateEvent 触发后 , 就会传递给管道 的下一个handler去处理，通过调用(触发) + 下一个handler 的 userEventTiggered , 在该方法中去处理 IdleStateEvent(读空闲，写空闲，读写空闲) + 7.handlerRemoved有时候是无法感知连接断掉，所以还是需要心跳包的检测来判断连接是否还有效 + */ + pipeline.addLast(new IdleStateHandler(3,5,7, TimeUnit.SECONDS)); + //加入一个对空闲检测进一步处理的handler(自定义) + pipeline.addLast(new MyServerHandler()); + } + }); + + //启动服务器 + ChannelFuture channelFuture = serverBootstrap.bind(7000).sync(); + channelFuture.channel().closeFuture().sync(); + + }finally { + bossGroup.shutdownGracefully(); + workerGroup.shutdownGracefully(); + } + } +} + +``` + + + + + +### MyServerHandler + +```java +package com.atguigu.netty.heartbeat; + +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.ChannelInboundHandlerAdapter; +import io.netty.handler.timeout.IdleStateEvent; + +public class MyServerHandler extends ChannelInboundHandlerAdapter { + + /** + * + * @param ctx 上下文 + * @param evt 事件 + * @throws Exception + */ + @Override + public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws Exception { + + if(evt instanceof IdleStateEvent) { + + //将 evt 向下转型 IdleStateEvent + IdleStateEvent event = (IdleStateEvent) evt; + String eventType = null; + switch (event.state()) { + case READER_IDLE: + eventType = "读空闲"; + break; + case WRITER_IDLE: + eventType = "写空闲"; + break; + case ALL_IDLE: + eventType = "读写空闲"; + break; + } + System.out.println(ctx.channel().remoteAddress() + "--超时时间--" + eventType); + System.out.println("服务器做相应处理.."); + + //如果发生空闲，我们关闭通道 + // ctx.channel().close(); + } + } +} + +``` + + + +## Netty 通过 WebSocket 编程实现服务器和客户端长连接 + +实例要求： + +1. `Http` 协议是无状态的，浏览器和服务器间的请求响应一次，下一次会重新创建连接。 +2. 要求：实现基于 `WebSocket` 的长连接的全双工的交互 +3. 改变 `Http` 协议多次请求的约束，实现长连接了，服务器可以发送消息给浏览器 +4. 客户端浏览器和服务器端会相互感知，比如服务器关闭了，浏览器会感知，同样浏览器关闭了，服务器会感知 +5. 运行界面 + + + + + +### MyServer + +```java +package com.atguigu.netty.websocket; + +import com.atguigu.netty.heartbeat.MyServerHandler; +import io.netty.bootstrap.ServerBootstrap; +import io.netty.channel.ChannelFuture; +import io.netty.channel.ChannelInitializer; +import io.netty.channel.ChannelPipeline; +import io.netty.channel.EventLoopGroup; +import io.netty.channel.nio.NioEventLoopGroup; +import io.netty.channel.socket.SocketChannel; +import io.netty.channel.socket.nio.NioServerSocketChannel; +import io.netty.handler.codec.http.HttpObjectAggregator; +import io.netty.handler.codec.http.HttpServerCodec; +import io.netty.handler.codec.http.websocketx.WebSocketServerProtocolHandler; +import io.netty.handler.logging.LogLevel; +import io.netty.handler.logging.LoggingHandler; +import io.netty.handler.stream.ChunkedWriteHandler; +import io.netty.handler.timeout.IdleStateHandler; + +import java.util.concurrent.TimeUnit; + +public class MyServer { + public static void main(String[] args) throws Exception{ + + + //创建两个线程组 + EventLoopGroup bossGroup = new NioEventLoopGroup(1); + EventLoopGroup workerGroup = new NioEventLoopGroup(); //8个NioEventLoop + try { + + ServerBootstrap serverBootstrap = new ServerBootstrap(); + + serverBootstrap.group(bossGroup, workerGroup); + serverBootstrap.channel(NioServerSocketChannel.class); + serverBootstrap.handler(new LoggingHandler(LogLevel.INFO)); + serverBootstrap.childHandler(new ChannelInitializer() { + + @Override + protected void initChannel(SocketChannel ch) throws Exception { + ChannelPipeline pipeline = ch.pipeline(); + + //因为基于http协议，使用http的编码和解码器 + pipeline.addLast(new HttpServerCodec()); + //http是以块方式写，添加ChunkedWriteHandler处理器 + pipeline.addLast(new ChunkedWriteHandler()); + + /* + 说明 + 1. http数据在传输过程中是分段, HttpObjectAggregator ，就是可以将多个段聚合 + 2. 这就就是为什么，当浏览器发送大量数据时，就会发出多次http请求 + */ + pipeline.addLast(new HttpObjectAggregator(8192)); + /* + 说明 + 1. 对应websocket ，它的数据是以 帧(frame) 形式传递 + 2. 可以看到WebSocketFrame 下面有六个子类 + 3. 浏览器请求时 ws://localhost:7000/hello 表示请求的uri + 4. WebSocketServerProtocolHandler 核心功能是将 http协议升级为 ws协议 , 保持长连接 + 5. 是通过一个 状态码 101 + */ + pipeline.addLast(new WebSocketServerProtocolHandler("/hello")); + + //自定义的handler ，处理业务逻辑 + pipeline.addLast(new MyTextWebSocketFrameHandler()); + } + }); + + //启动服务器 + ChannelFuture channelFuture = serverBootstrap.bind(7000).sync(); + channelFuture.channel().closeFuture().sync(); + + }finally { + bossGroup.shutdownGracefully(); + workerGroup.shutdownGracefully(); + } + } +} +``` + + + +### MyTextWebSocketFrameHandler + +```java +package com.atguigu.netty.websocket; + +import io.netty.channel.ChannelHandlerContext; +import io.netty.channel.SimpleChannelInboundHandler; +import io.netty.handler.codec.http.websocketx.TextWebSocketFrame; + +import java.time.LocalDateTime; + +//这里 TextWebSocketFrame 类型，表示一个文本帧(frame) +public class MyTextWebSocketFrameHandler extends SimpleChannelInboundHandler{ + @Override + protected void channelRead0(ChannelHandlerContext ctx, TextWebSocketFrame msg) throws Exception { + + System.out.println("服务器收到消息 " + msg.text()); + + //回复消息 + ctx.channel().writeAndFlush(new TextWebSocketFrame("服务器时间" + LocalDateTime.now() + " " + msg.text())); + } + + //当web客户端连接后， 触发方法 + @Override + public void handlerAdded(ChannelHandlerContext ctx) throws Exception { + //id 表示唯一的值，LongText 是唯一的 ShortText 不是唯一 + System.out.println("handlerAdded 被调用" + ctx.channel().id().asLongText()); + System.out.println("handlerAdded 被调用" + ctx.channel().id().asShortText()); + } + + + @Override + public void handlerRemoved(ChannelHandlerContext ctx) throws Exception { + + System.out.println("handlerRemoved 被调用" + ctx.channel().id().asLongText()); + } + + @Override + public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { + System.out.println("异常发生 " + cause.getMessage()); + ctx.close(); //关闭连接 + } +} + +``` + + + +### hello.html + +```html + + + + + Title + + + +
+ + + + +
+ + +``` + + + +可以看到并不是发一次数据，连接就关闭了，而是可以继续发送。 + + + + + + + + + + +