2024年10月springclouddataflow（Spring Cloud调用接口过程）

　　⑴springclouddataflow（SpringCloud调用接口过程

　　⑵SpringCloud调用接口过程

　　⑶Feign-----》Hystrix—》Ribbon—》HttpClient（apa

　　⑷微服务框架之SpringCloud简介

　　⑸在了解SpringCloud之前先了解一下微服务架构需要考量的核心关键点，如下图：

　　⑹对于以上等核心关键点的处理，不需要我们重复造车轮，SpringCloud已经帮我们集成了，它使用SpringBoot风格将一些比较成熟的微服务框架组合起来，屏蔽掉了复杂的配置和实现原理，为快速构建微服务架构的应用提供了一套基础设施工具和开发支持。

　　⑺SpringCloud所提供的核心功能包含：

　　⑻SpringCloud架构图

　　⑼SpringCloud子项目

　　⑽SpringCloud旗下的子项目大致可以分为两类：

　　⑾SpringCloud与SpringBoot

　　⑿SpringBoot可以说是微服务架构的核心技术之一。通过在SpringBoot应用中添加SpringMVC依赖，就可以快速实现基于REST架构的服务接口，并且可以提供对HTTP标准动作的支持。而且SpringBoot默认提供JackJson序列化支持，可以让服务接口输入、输出支持JSON等。因此，当使用SpringCloud进行微服务架构开发时，使用SpringBoot是一条必经之路。

　　⒀SpringCloud与服务治理(Eureka)

　　⒁服务治理是SpringCloud的核心，在实现上其提供了两个选择，即Consul和flix的Eureka。

　　⒂Eureka提供了服务注册中心、服务发现客户端，以及注册服务的UI界面应用。

　　⒃在Eureka的实现中，节点之间相互平等，有部分注册中心“挂掉”也不会对整个应用造成影响，即使集群只剩一个节点存活，也可以正常地治理服务。即使所有服务注册节点都宕机，Eureka客户端中所缓存的服务实例列表信息，也可让服务消费者能够正常工作，从而保障微服务之间互相调用的健壮性和应用的弹性。

　　⒄SpringCloud与客户端负载均衡(Ribbon)

　　⒅Ribbon默认与Eureak进行无缝整合，当客户端启动的时候，从Eureka服务器中获取一份服务注册列表并维护在本地，当服务消费者需要调用服务时，Ribbon就会根据负载均衡策略选择一个合适的服务提供者实例并进行访问。

　　⒆SpringCloud通过集成flix的Feign项目，为开发者提供了声明式服务调用，从而简化了微服务之间的调用处理方式。并且默认Feign项目集成了Ribbon，使得声明式调用也支持客户端负载均衡功能。

　　⒇SpringCloud与微服务容错、降级(Hystrix)

　　⒈为了给微服务架构提供更大的弹性，在SpringCloud中，通过集成flix下子项目Hystrix，通过所提供的Hystrixmand注解可以轻松为我们所开发的微服务提供容错、回退、降级等功能。此外，Hystrix也默认集成到Feign子项目中。

　　⒉Hystrix是根据“断路器”模式而创建。当Hystrix监控到某服务单元发生故障之后，就会进入服务熔断处理，并向调用方返回一个符合预期的服务降级处理（fallback，而不是长时间的等待或者抛出调用异常，从而保障服务调用方的线程不会被长时间、不必要地占用，避免故障在应用中的蔓延造成的雪崩效应。

　　⒊而Hystrix的仪表盘项目（Dashboard可以监控各个服务调用所消耗的时间、请求数、成功率等，通过这种近乎实时的监控和告警，可以及时发现系统中潜在问题并进行处理。

　　⒋SpringCloud与服务网关(Zuul)

　　⒌SpringCloud通过集成flix中的Zuul实现API服务网关功能，提供对请求的路由和过滤两个功能

　　⒍路由功能负责将外部请求转发到具体的微服务实例上，是实现外部访问统一入口的基础。

　　⒎过滤器功能则负责对请求的处理过程进行干预，是实现请求校验、服务聚合等功能的基础。

　　⒏通过Zuul，可以将细粒度的服务组合起来提供一个粗粒度的服务，所有请求都导入一个统一的入口，对外整个服务只需要暴露一个API接口，屏蔽了服务端的实现细节。通过Zuul的反向代理功能，可以实现路由寻址，将请求转发到后端的粗粒度服务上，并做一些通用的逻辑处理。此外，Zuul默认会与Eureka服务器进行整合，自动从Eureka服务器中获取所有注册的服务并进行路由映射，实现API服务网关自动配置。

　　⒐SpringCloud与消息中间件(Stream)

　　⒑SpringCloud为简化基于消息的开发，提供了Stream子项目，通过建立消息应用抽象层，构建了消息收发、分组消费和消息分片等功能处理，将业务应用中的消息收发与具体消息中间件进行解耦，使微服务应用开发中可以非常方便地与Kafka和RabbitMQ等消息中间件进行集成。

　　⒒SpringCloudBus基于Stream进行扩展，可以作为微服务之间的事件、消息总线，用于服务集群中状态变化的传播。

　　⒓比如SpringCloudConfig借助Bus，可以实现配置的动态刷新处理。

　　⒔SpringCloud与分布式配置中心(Config)

　　⒕针对微服务架构下的配置文件管理需求，SpringCloud提供了一个Config子项目。SpringCloudConfig具有中心化、版本控制、支持动态更新和语言独立等特性。

　　⒖在Config子项目中将微服务应用分为两种角色：配置服务器（ConfigServer和配置客户端（ConfigClient。使用配置服务器集中地管理所有配置属性文件，配置服务中心可以将配置属性文件存储到Git、SVN等具有版本管理仓库中，也可以存放在文件系统中。默认采用Git的方式进行存储，因此可以很容易地对配置文件进行修改，并实现版本控制。

　　⒗SpringCloud与微服务链路追踪(Sleuth)

　　⒘SpringCloud中的Sleuth子项目为开发者提供了微服务之间调用的链路追踪。

　　⒙Sleuth核心思想就是通过一个全局的ID将分布在各微服务服务节点上的请求处理串联起来，还原了调用关系，并借助数据埋点，实现对微服务调用链路上的性能数据的采集。

　　⒚因此，通过Sleuth可以很清楚地了解到一个用户请求经过了哪些服务、每个服务处理花费了多长时间，从而可以对用户的请求进行分析。此外，通过将采集的数据发送给Zipkin进行存储、统计和分析，从而可以实现可视化的分析和展示，帮助开发者对微服务实施优化处理。

　　⒛SpringCloud与微服务安全(Security)

　　SpringCloudSecurity为我们提供了一个认证和鉴权的安全框架，实现了资源授权、令牌管理等功能，同时结合Zuul可以将认证信息在微服务调用过程中直接传递，简化了我们进行安全管控的开发。

　　SpringCloudSecurity默认支持OAuth.认证协议，因此单点登录也可以非常容易实现，并且OAuth.所生成的令牌可以使用JWT的方式，进一步简化了微服务中的安全管理。

　　SpringCloud的其他子项目

　　springcloud访问请求怎么看

　　springcloud访问请求查看步骤如下：、SpringCloud是一种基于Spring框架的云应用开发架构，允许用户使用Java来编写分布式系统。、可以通过检查Web服务器日志文件或使用跟踪工具来查看SpringCloud中的访问请求，并配合专业的分析工具来深入研究。

　　服务器安装DockerSwarm中搭建SpringCloudDataFlow

　　点波关注系统搭建（docker

　　SpringCloud——微服务网关介绍

　　为了解决以上的问题，API网关应运而生，加入网关后应用架构变为下图所示。当引入API网关后，在用户端与微服务之间建立了一道屏障，通过API网关对微服务提供了统一的访问入口，所有用户端的请求被API网关拦截，并在此基础上可以实现额外的功能：OpenResty是一个强大的Web应用服务器，web开发人员可以使用Lua脚本语言调用Nginx支持的各种以C以及Lua模块。在性能方面，OpenResty可以快速构造出足以胜任K以上并发连接响应的超高性能Web应用系统。在国内，、阿里云、腾讯网、去哪儿、酷狗音乐、新浪等都是OpenResty的深度用户。但OpenResty是一款独立的产品，与主流的注册中心，存在一定的兼容问题，需要架构师独立实现其服务注册、发现功能。Zuul是flix开源的微服务网关，主要职责是对用户请求进行路由转发与过滤。早期SpringCloud与flix合作，使用Zuul作为微服务架构网关首选产品。Zuul是基于JEEServlet实现路由转发，网络通信采用同步方式。zuul是flix开源的一个APIGateway服务器，本质上是一个webservlet应用。Zuul可以通过加载动态过滤机制，从而实现以下各项功能：Zuul的核心是一系列的filters，其作用可以类比Servlet框架的Filter，或者AOP。工作原理如下图所示：Zuul可以对Groovy过滤器进行动态的加载，编译，运行。Zuul.x设计更为先进，基于ty非阻塞和支持长连接，但是SpringCloud目前没有整合。Zuul.x的性能较Zuul.x有较大的提升。Zuul.x引入了ty和RxJava，正如之前的ZuulFilter分为了Pre、Post、Route、Error，Zuul的Filter分为三种类型：Spring自己开发的新一代API网关产品，基于NIO异步处理，摒弃了Zuul基于Servlet同步通信的设计。SpringCloudGateway作为SpringCloud生态系统中的网关，目标是替代flixZuul，其不仅提供统一的路由方式，并且基于Filter链的方式提供了网关基本的功能，例如：安全，监控/指标，和限流。关键特征：在性能方面，根据官方提供的基准测试，SpringCloudGateway的RPS（每秒请求数是Zuul的.倍。SpringCloudGateway十分优秀，SpringCloudAlibaba也默认选用该组件作为网关产品。客户端向SpringCloudGateway发出请求。如果GatewayHandlerMapping中找到与请求相匹配的路由，将其发送到GatewayWebHandler。Handler再通过指定的过滤器链来将请求发送到我们实际的服务执行业务逻辑，然后返回。过滤器之间用虚线分开是因为过滤器可能会在发送代理请求之前（“pre”或之后（“post”执行业务逻辑。SpringCloudGateway的特征：参考：

　　spring证书好考吗

　　好考。除了java基础必须牢固，然后就是学习spring基础，spring全家桶（例如SpringMVC、SpringBoot、SpringCloud、SpringCloudDataflow，另外还有SpringSecurity，这些框架学的东西比较少，两天就可以学一个，很好考。Spring认证旨在测试和验证学生对Spring和SpringBoot核心方面的理解和熟悉程度。

　　SpringCloud系列之链路追踪

　　SpringCloud系列之EurekaSpringCloud系列之配置中心ConfigSpringCloud系列之gatewaySpringCloud系列之FeignSpringCloud系列之HystrixSpringCloud系列之链路追踪

　　在微服务架构下，一次请求至少经过三四次服务调用完成，多则跨越七八个，那么问题接踵而来

　　基于上面得问题，就应运而生了分布式调用链路追踪技术

　　本质：记录日志，进行分析、排障

　　一次请求我们可以想象成一棵树，如下图：

　　Trace：一次完整的分布式调用跟踪链路,由一系列Span组成的一个树状结构

　　TraceId：为了实现请求跟踪，当请求发送到分布式系统的入口时，我们为该请求创建一个唯一跟踪表示traceId,同时在分布式系统内部流转时，框架始终保持该唯一标识。

　　Span（跨度：追踪服务调基本结构，表示跨服务的一次调用；多span形成树形结构，组合成一次Trace追踪记录。对于一个span节点必须有开始和结束节点，通过记录开始和结束的时间戳，就可以计算出调用该服务的一个耗时。每一个Span通过一个位ID来进行唯一标识即spanId，并通过另一个位ID对Span所在的Trace进行唯一标识。（注意：启动一个Trace的初始化Span被叫作RootSpan，它的SpanID和TraceId相同。

　　span除了时间戳外，还可以包含一些其他元素数据，比如请求信息parentId、traceId、spanId。

　　Annotation：用来及时记录一个事件的存在。通过引入Brave库，我们不用再去设置一系列的特别事件，从而让Zipkin能够知道客户端和服务器是谁、请求是从哪里开始的、又到哪里结束。出于学习的目的，还是把这些事件在这里列举一下：

　　CsCLIENT_SEND，客户端发起请求

　　CrCLIENT_RECIEVE，客户端收到响应

　　SrSERVER_RECIEVE，服务端收到请求

　　SsSERVER_SEND，服务端发送结果

　　下面我们就重点来了解下sleuth+zipkin

　　追踪服务框架，Sleuth就是通过记录日志的方式来追踪数据的，我们可以通过记录的日志，进行：

　　我们往往把springcloudsleuth和zipkin一起使用，把sleuth的数据信息发送给zipkin进行聚合，利用zipkin存储进行数据展示，具体实现流程如下：

　　在application.yml中添加日志级别

　　运行项目，发起请求，我们可以看到user-a

　　SpringCloud系列之EurekaSpringCloud系列之配置中心ConfigSpringCloud系列之gatewaySpringCloud系列之FeignSpringCloud系列之链路追踪

　　SpringCloudDataFlow初探

　　先看一下官方给出的定义SCDF(SpringCloudDataFlow)的核心功能是ETL（Extract,Transform,Load，Extract，Transform，Load分别对应上图的Source，Processor和Sink，这三个组件是SpringBoot微服务，部署运行在SCDF之上的，三个微服务放在一起构成一个Stream（pipeline用来实现数据处理，它们之间通过AMQP进行异步的消息传递。SCDF使用了SpringCloudstream模块。我们Stream创建和运行以SpringBoot应用为形式的消息传递微服务，以便它们可以部署在不同的平台上，独立运行并相互交互。在使用SpringCloudstream模块创建数据管道时，SCDF可以充当类似胶水的角色，旨在于提供一个管理服务模型，目的是用于精简数据项目的工程量，并让开发人员将精力集中在具体问题及对问题的分析上如上图所示，开发人员可以通过编写JavaDSL或者用拖拽的方式完成一个Pipeline的定义，定义好的Pipeline（Stream可以一键部署到SCDFServer，一个数据流处理的管道就运行起来了，开发人员只需要关注Extract,Transform,Load（Source，Processor，Sink三个微服务的业务逻辑开发，因为它们都是基于SpringBoot的项目，所以开发起来也非常简单，可以说SCDF真的让我们只于去解决问题，其它的事情都可以交给SCDF解决。当然SCDF很多默认的微服务组件可以用，很多时候我们不需要开发了，只需要找到合适的application（微服务用于组成我们想要的Stream就可以了。SCDF由下面的SpringCloud家族成员组成参考

　　SpringCloud笔记:服务注册和服务发现的基本概念

　　上节在KS集群中部署了Nacos集群，并将Nacos的Web控制台和API以Ingress(nacos.youany.)的形式暴露到了ks集群外部，便于从外部测试和访问。这里再次强调Nacos被设计为一个在IDC内部使用的应用组件，而非面向公网环境的产品，因此需要在内部隔离网络中使用，这里为了测试将其暴露到KS集群外部，如果是生产环境必须做好网络安全策略。

　　接下来我们将学习如何将服务注册到Nacos，在开始后边的实战之前，先看一下服务治理中关于服务注册和服务发现的一些概念。

　　服务治理首先要解决的问题就是服务注册于服务发现，解决了这两个问题才可能实现微服务之间的调用问题。

　　服务注册中心:每个服务实例会向注册中心注册自己的信息，一般包含地址、端口、协议、版本等信息。每种服务会有多个实例副本注册到注册中心，注册中心维护每种服务的多个实例列表。同时，注册中心会以某种机制去检查各个服务实例是否可用，如果某个实例已经失效会将其剔除。在某个服务实例关闭时会自动向注册中心注销自己。

　　常见的服务注册有三种实现方式：

　　服务发现:即服务客户端在其网络上找到其要调用服务的具体连接信息的过程。例如通过查询服务注册中心得到其所调用服务的具体IP地址和端口。简单的说，服务发现就是服务或者应用之间互相定位的过程。

　　使用服务发现后，客户端对服务的调用不再和具体的服务实例地址耦合，而是基于服务发现机制。有以下种常见的服务发现机制:

　　KS中的一个Service资源对象对应微服务。每个Service有唯一的名字，一个ClusterIP，一个端口。KS中的Pod资源对象中运行的容器对应服务实例，通过Pod上的标签Label和Service上定义的标签选择器LabelSelector将Service与Pod关联，通过Service内建的负载均衡机制，对Service的调用将转发到Pod的容器中。KS中的服务注册是在Pod创建时由调度者Kuberes完成的。KS中的服务发现采用的是服务端负载均衡器，服务注册中心为Kuberes(后端持久化存储etcd)。

　　SpringCloud对微服务提供了完整的解决方案和统一抽象，按照微服务的功能特性:服务治理、负载均衡、服务间调用通信、服务配置中心、服务网关、分布式链路追踪、消息总线、消息时间驱动、分布式事务等，提供了一系列组件，被称为SpringCloud全家桶。全家桶中的功能组件还支持使用第三方实现的某个组件单独替换，只要第三方组件是遵循SpringCloudmon的抽象实现的。

　　SpringCloud在服务治理的组件上有以下三种选择:

　　当然由于“某些原因“，在最新版本的SpringCloud中flix组件库已经逐渐被移除。

　　我们在这里对SpringCloud服务注册和服务发现的学习将使用SpringCloudAlibaba组件的Nacos。

　　Nacos是SpringCloudAlibaba提供的服务发现和配置管理的解决方案。Nacos是用Java开发的，通过SpringCloudAlibaba可以很好的与SpringCloud整合。如果项目的所有微服务都是用Java开发的，那么使用Nacos作为服务发现可能会使一个不错的选择。

　　Nacos的服务注册采用的是由“服务进程内直接包含服务注册模块，由服务实例自己完成上线注册和下线注销。“，这与KS服务注册方案中“由一个中间调度者KS来帮助处理服务注册“是不同的。