基于Go/Grpc/kubernetes/Istio开发微服务的最佳实践尝试 - 1/3

2024-02-24 18:10•Java教程•阅读 3244

转载请注明来源：https://janrs.com/br6f

Jgrpc

本项目为基于 Go/Grpc/kubernetes/Istio 开发微服务的最佳实践提供参考。

并基于 Jenkins/Gitlab/Harbor 实现了CICD。

并使用 grpc-gateway 作为网关代理。

本最佳实践分为三个部分：

创建一个 pingservice 的微服务
创建一个 pongservice 的微服务
基于Jenkins/Gitlab/Harbor 创建 CICD 部署流程并部署到 k8s/istio

在这一部分中，我们将创建 pongservice 微服务。

前提

假设已经安装了以下工具：

protoc-gen-grpc-gateway
protoc-gen-openapiv2
protoc-gen-go
protoc-gen-go-grpc
buf
wire

下面是安装这些工具的教程地址：

protoc-gen-grpc-gateway & protoc-gen-openapiv2 & protoc-gen-go & protoc-gen-go-grpc

这四个工具的安装教程请查看:install protoc-gen* tools

wire

wire 工具的安装教程请查看:install wire tool

buf

buf 工具的安装教程请查看:install buf tool

项目结构

这部分最终的目录结构如下：

Jgrpc
├── devops
├── istio-manifests
├── kubernetes-manifests
└── src
    └── pongservice
        ├── buf.gen.yaml
        ├── cmd
        │   ├── main.go
        │   └── server
        │       ├── grpc.go
        │       ├── http.go
        │       ├── run.go
        │       ├── wire.go
        │       └── wire_gen.go
        ├── config
        │   ├── config.go
        │   └── config.yaml
        ├── genproto
        │   └── v1
        │       ├── gw
        │       │   └── pongservice.pb.gw.go
        │       ├── pongservice.pb.go
        │       └── pongservice_grpc.pb.go
        ├── go.mod
        ├── go.sum
        ├── proto
        │   ├── buf.lock
        │   ├── buf.yaml
        │   └── v1
        │       ├── pongservice.proto
        │       └── pongservice.yaml
        └── service
            ├── client.go
            └── server.go

14 directories, 20 files

开始

创建项目的整体目录结构如下：

Jgrpc
├── devops
├── istio-manifests
├── kubernetes-manifests
├── src

创建 pongservice 微服务

创建基本目录

在src目录下创建名为pongservice的微服务，目录结构如下：

pongservice
├── cmd
│   └── server
├── config
├── proto
│   └── v1
└── service

6 directories, 0 files

生成代码和文件

生成 buf.yaml

在 pongservice/proto 目录下执行以下命令：

buf mod init

此命令创建一个名为 buf.yaml 的文件，位于 ponservice/proto 目录中。

buf.yaml的代码如下：

version: v1
breaking:
  use:
    - FILE
lint:
  use:
    - DEFAULT

在 version 和 breaking 之间添加如下依赖代码：

deps:
  - buf.build/googleapis/googleapis

请查看添加此依赖代码的原因:https://github.com/grpc-ecosystem/grpc-gateway#3-external-configuration

添加依赖代码后完整的 buf.yaml 文件如下：

version: v1
deps:
  - buf.build/googleapis/googleapis
breaking:
  use:
    - FILE
lint:
  use:
    - DEFAULT

然后在pongservice/proto目录下执行如下命令：

buf mod update

执行命令后会生成一个buf.lock文件，代码如下：

# Generated by buf. DO NOT EDIT.
version: v1
deps:
  - remote: buf.build
    owner: googleapis
    repository: googleapis
    commit: 463926e7ee924d46ad0a726e1cf4eacd

生成 pongservice.proto

在 pongservice/proto/v1 目录中使用以下代码创建一个名为 pongservice.proto 的原型文件：

syntax = "proto3";

package proto.v1;

option go_package = "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1";

service PongService {
  rpc Pong(PongRequest) returns(PongResponse){}
}

message PongRequest {
  string msg = 1 ;
}

message PongResponse {
  string msg = 1;
}

生成 pongservice.yaml

在 pongservice/proto/v1 目录中使用以下代码创建一个名为 pongservice.yaml 的原型文件：

type: google.api.Service
config_version: 3

http:
  rules:
    - selector: proto.v1.PongService.Pong
      get: /pong.v1.pong

生成 buf.gen.yaml

在 pongservice 目录中使用以下代码创建一个名为 buf.gen.yaml 的 yaml 文件：

version: v1
plugins:
  - plugin: go
    out: genproto/v1
    opt:
      - paths=source_relative
  - plugin: go-grpc
    out: genproto/v1
    opt:
      - paths=source_relative
  - plugin: grpc-gateway
    out: genproto/v1/gw
    opt:
      - paths=source_relative
      - grpc_api_configuration=proto/v1/pongservice.yaml
      - standalone=true

在 pongservice 目录中，执行以下命令：

buf generate proto/v1

执行命令后，会在pongservice目录下自动创建一个genproto目录，该目录下有以下文件：

genproto
└── v1
    ├── gw
    │   └── ponservice.pb.gw.go
    ├── ponservice.pb.go
    └── ponservice_grpc.pb.go

2 directories, 3 files

生成 go.mod

在 pongservice 目录中创建 go.mod：

go mod init github.com/janrs-io/Jgrpc/src/pongservice && go mod tidy

生成 config.yaml

在 pongservice/config 目录下，创建 config.yaml 文件并添加以下代码：

# grpc config
grpc:
  host: ""
  port: ":50051"
  name: "pong-grpc"

# http config
http:
  host: ""
  port: ":9001"
  name: "pong-http"

生成 config.go

在 pongservice/config 目录下，创建 config.go 文件并添加以下代码：

package config

import (
        "net/http"

        "github.com/spf13/viper"
        "google.golang.org/grpc"
)

// Config Service config
type Config struct {
        Grpc Grpc `json:"grpc" yaml:"grpc"`
        Http Http `json:"http" yaml:"http"`
}

// NewConfig Initial service's config
func NewConfig(cfg string) *Config {

        if cfg == "" {
                panic("load config file failed.config file can not be empty.")
        }

        viper.SetConfigFile(cfg)

        // Read config file
        if err := viper.ReadInConfig(); err != nil {
                panic("read config failed.[ERROR]=>" + err.Error())
        }
        conf := &Config{}
        // Assign the overloaded configuration to the global
        if err := viper.Unmarshal(conf); err != nil {
                panic("assign config failed.[ERROR]=>" + err.Error())
        }

        return conf

}

// Grpc Grpc server config
type Grpc struct {
        Host   string `json:"host" yaml:"host"`
        Port   string `json:"port" yaml:"port"`
        Name   string `json:"name" yaml:"name"`
        Server *grpc.Server
}

// Http Http server config
type Http struct {
        Host   string `json:"host" yaml:"host"`
        Port   string `json:"port" yaml:"port"`
        Name   string `json:"name" yaml:"name"`
        Server *http.Server
}

然后在 pongservice 目录中再次运行 go mod tidy。

生成 client.go

在 pongservice/service 目录下，创建 client.go 文件并添加以下代码：

package service

import (
        "context"
        "time"

        "google.golang.org/grpc"
        "google.golang.org/grpc/credentials/insecure"

        "github.com/janrs-io/Jgrpc/src/pongservice/config"
        v1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
)

// NewClient New service's client
func NewClient(conf *config.Config) (v1.PongServiceClient, error) {

        serverAddress := conf.Grpc.Host + conf.Grpc.Port
        ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
        defer cancel()

        conn, err := grpc.DialContext(ctx, serverAddress, grpc.WithTransportCredentials(insecure.NewCredentials()))
        if err != nil {
                return nil, err
        }
        client := v1.NewPongServiceClient(conn)
        return client, nil

}

在 pongservice/service 目录下，创建 server.go 文件并添加以下代码：

package service

import (
        "context"

        "github.com/janrs-io/Jgrpc/src/pongservice/config"
        v1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
)

// Server Server struct
type Server struct {
        v1.UnimplementedPongServiceServer
        pongClient v1.PongServiceClient
        conf       *config.Config
}

// NewServer New service grpc server
func NewServer(conf *config.Config, pongClient v1.PongServiceClient) v1.PongServiceServer {
        return &Server{
                pongClient: pongClient,
                conf:       conf,
        }
}

func (s *Server) Pong(ctx context.Context, req *v1.PongRequest) (*v1.PongResponse, error) {
        return &v1.PongResponse{Msg: "response pong msg:" + req.Msg}, nil
}

生成 run server 文件

在pongservice/cmd/server目录下，创建以下四个文件：

grpc.go
http.go
run.go
wire.go

将以下代码添加到 grpc.go 文件中：

package server

import (
        "fmt"
        "log"
        "net"

        "google.golang.org/grpc"

        "github.com/janrs-io/Jgrpc/src/pongservice/config"
        v1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
)

// RunGrpcServer Run grpc server
func RunGrpcServer(server v1.PongServiceServer, conf *config.Config) {

        grpcServer := grpc.NewServer()
        v1.RegisterPongServiceServer(grpcServer, server)

        fmt.Println("Listening grpc server on port" + conf.Grpc.Port)
        listen, err := net.Listen("tcp", conf.Grpc.Port)
        if err != nil {
                panic("listen grpc tcp failed.[ERROR]=>" + err.Error())
        }

        go func() {
                if err = grpcServer.Serve(listen); err != nil {
                        log.Fatal("grpc serve failed", err)
                }
        }()

        conf.Grpc.Server = grpcServer

}

将以下代码添加到 http.go 文件中：

package server

import (
        "context"
        "fmt"
        "net/http"

        "github.com/grpc-ecosystem/grpc-gateway/v2/runtime"
        "google.golang.org/grpc"
        "google.golang.org/grpc/credentials/insecure"

        "github.com/janrs-io/Jgrpc/src/pongservice/config"
        v1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1/gw"
)

// RunHttpServer Run http server
func RunHttpServer(conf *config.Config) {

        mux := runtime.NewServeMux()
        opts := []grpc.DialOption{
                grpc.WithTransportCredentials(insecure.NewCredentials()),
        }

        if err := v1.RegisterPongServiceHandlerFromEndpoint(
                context.Background(),
                mux,
                conf.Grpc.Port,
                opts,
        ); err != nil {
                panic("register service handler failed.[ERROR]=>" + err.Error())
        }

        httpServer := &http.Server{
                Addr:    conf.Http.Port,
                Handler: mux,
        }
        fmt.Println("Listening http server on port" + conf.Http.Port)

        go func() {
                if err := httpServer.ListenAndServe(); err != nil {
                        fmt.Println("listen http server failed.[ERROR]=>" + err.Error())
                }
        }()

        conf.Http.Server = httpServer

}

将以下代码添加到 run.go 文件中：

package server

import (
        "context"
        "fmt"
        "os"
        "os/signal"
        "syscall"
        "time"

        "github.com/janrs-io/Jgrpc/src/pongservice/config"
        v1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
)

// Run Run service server
func Run(cfg string) {

        conf := config.NewConfig(cfg)
        // run grpc server
        RunGrpcServer(initServer(conf), conf)
        // run http server
        RunHttpServer(conf)
        // listen exit server event
        HandleExitServer(conf)

}

// SetServer Wire inject service's component
func initServer(conf *config.Config) v1.PongServiceServer {
        server, err := InitServer(conf)
        if err != nil {
                panic("run server failed.[ERROR]=>" + err.Error())
        }
        return server
}

// HandleExitServer Handle service exit event
func HandleExitServer(conf *config.Config) {

        ch := make(chan os.Signal, 1)
        signal.Notify(ch, syscall.SIGINT, syscall.SIGTERM)
        <-ch
        ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
        defer cancel()
        conf.Grpc.Server.GracefulStop()
        if err := conf.Http.Server.Shutdown(ctx); err != nil {
                panic("shutdown service failed.[ERROR]=>" + err.Error())
        }
        <-ctx.Done()
        close(ch)
        fmt.Println("Graceful shutdown http & grpc server.")

}

将以下代码添加到 wire.go 文件中：

//go:build wireinject
// +build wireinject

package server

import (
        "github.com/google/wire"

        "github.com/janrs-io/Jgrpc/src/pongservice/config"
        v1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
        "github.com/janrs-io/Jgrpc/src/pongservice/service"
)

// InitServer Inject service's component
func InitServer(conf *config.Config) (v1.PongServiceServer, error) {

        wire.Build(
                service.NewClient,
                service.NewServer,
        )

        return &service.Server{}, nil

}

在 pongservice 目录中再次运行 go mod tidy ：

go mod tidy

然后在 pongservice 目录中执行以下 wire 命令：

wire ./...

执行 wire 命令后，将在 pongsevice/cmd/server 目录中自动创建 wire_gen.go 文件。

生成 main.go

最后一步，在 pongservice/cmd 目录下创建 main.go 文件.

package main

import (
        "flag"

        "github.com/janrs-io/Jgrpc/src/pongservice/cmd/server"
)

var cfg = flag.String("config", "config/config.yaml", "config file location")

// main main
func main() {
        server.Run(*cfg)
}

启动 service

在 pongservice 目录下执行以下命令启动微服务：

注意
在 pongservice 目录而不是 pongservice/cmd 目录中执行命令

go run cmd/main.go

启动服务后，会显示如下信息：

Listening grpc server on port:50051
Listening http server on port:9001

在浏览器中输入以下地址即可访问该服务：

127.0.01:9001/pong.v1.pong?msg=best practice

如果成功，将返回以下数据：

{
    "msg": "response pong msg:best practice"
}

总结

现在，我们已经了解了如何创建可以开发基本功能微服务的项目结构。

在接下来的部分中，我们继续创建一个名为 pingservice 的微服务，并访问我们在这部分中创建的 pongservice。

转载请注明来源：https://janrs.com/br6f

上一篇 »gRPC in ASP.NET Core 3.x -- Protocol Buffer（2）Go语言的例子（上）
下一篇 »给JavaScript初学者的24条最佳实践

基于Go/Grpc/kubernetes/Istio开发微服务的最佳实践尝试 - 1/3

Jgrpc

前提

项目结构

开始

创建 pongservice 微服务

创建基本目录

生成代码和文件

生成 buf.yaml

生成 pongservice.proto

生成 pongservice.yaml

生成 buf.gen.yaml

生成 go.mod

生成 config.yaml

生成 config.go

生成 client.go

生成 run server 文件

生成 main.go

启动 service

总结

相关推荐

SVN 最佳实践 From

前端代码标准最佳实践：CSS篇 前端代码标准最佳实践：CSS篇

《JavaScript高级程序设计》学习笔记——最佳实践

超实用的JavaScript技巧及最佳实践

前端代码标准最佳实践：javascript篇 前端代码标准最佳实践：javascript篇

javascript编程的最佳实践推荐

前端代码标准最佳实践：javascript篇，转

PHP核心技术与最佳实践——全局浏览

前端代码标准最佳实践：CSS篇前端代码标准最佳实践：CSS篇

前端代码标准最佳实践：javascript篇前端代码标准最佳实践：javascript篇