快速上手 ​

应用接入 ​

应用接入总体分为以下几个步骤：

1. 选择区域
2. 选择应用语言
3. 应用接入

1. 选择区域 ​

右上角选择区域，之后只能选择该区域下的应用进行接入。

2. 选择应用语言 ​

点击语言图标，选择要接入的应用语言。

3. 应用接入 ​

进行配置和应用接入，分Java应用和非Java应用，接下来分别简述步骤。

3.1. Java应用接入 ​

1. 右上角选择区域；
2. 选择集群环境；
   • 弹性容器实例（下称ECI）集群需要先构建镜像，见附录1。
3. 绑定应用；
   • 选择应用，绑定已经在ECI部署的实例；
   • 应用名称，在FCOP平台唯一的名称。
4. 点击“安装并重启应用”，去ECI控制台查看应用是否启动成功。

3.2. 非Java应用接入 ​

1. 右上角选择区域；
2. 选择集群环境；
   • ECI集群需要先自行构建镜像。
3. 绑定应用，同Java应用接入；
4. 采集配置，见附录2
5. 点击“安装并重启应用”，去ECI控制台查看应用是否启动成功。

附录1. Dockerfile中使用Flyme agent ​

以下是Java构建镜像使用Flyme-agent的例子：

FROM openjdk:8-jre-alpine

WORKDIR /app

#复制当前目录下的 jar 包 到容器中
COPY *.jar app.jar

# 下载最新版本的 Flyme agent  
RUN wget https://szfos.flyme.com/flyme-fcop-agent/latest/flyme-agent.jar

# 使用 -javaagent 指定下载的agent路径
ENV JAVA_AGENT_OPTIONS "-javaagent:flyme-agent.jar"

# 启动命令
ENTRYPOINT java -Dserver.port=8080 ${JAVA_AGENT_OPTIONS} -jar app.jar

使用 wget 下载 Flyme agent 包即可。

Flyme agent 最新的包下载地址为：https://szfos.flyme.com/flyme-fcop-agent/latest/flyme-agent.jar

在你的Java启动命令中，使用 -javaagent:{user.workspace}/flyme-agent.jar 指定 Flyme agent 包路径。

附录2. 日志采集配置 ​

注：Java应用请使用Agent，会自动进行日志采集，无需配置。

2.1. 采集路径 ​

必填。采集路径采用GLOB语法，最多可添加10个路径，同时扫描文件数为1024个。路径必须为绝对路径。

例如： /data/logs/agent/dashboard-*.log 可以匹配 /data/logs/agent/dashboard-2023-12-05.log

常见的采集路径的配置方式及示例如下。

参考链接：

命令行通配符教程（阮一峰） https://www.ruanyifeng.com/blog/2018/09/bash-wildcards.html

在线验证链接：https://www.digitalocean.com/community/tools/glob

2.2. 采集路径黑名单 ​

采集路径黑名单使用GLOB语法，最多可添加10个。在黑名单路径中的文件不会被扫描。路径必须为绝对路径。

2.3. 提取模式 ​

提取模式分为4种：单行全文、多行全文、单行完全正则、多行完全正则。

目前提取失败的日志也会被记录，但日志级别将被统一定义为“INFO”，日志时间将被统一定义为日志收集时间。

2.3.1 单行全文 ​

单行全文模式下，日志中的每一行日志都会被记录，无需额外配置。

在单行文本日志中，一行日志数据即为一条日志，换行符（\n）为日志结束的标识符。

该模式下日志只能进行全文检索，日志级别将被统一定义为INFO，日志时间将被统一定义为日志收集时间。

2.3.2 多行全文 ​

多行全文模式下，符合行首正则表达式的一行或多行日志将被记录为同一条日志。

在某些业务场景下，一条完整的日志中可能存在换行符，内容跨占了多行。此时如果通过换行符作为日志的结束标识符，可能会错误分隔日志数据，这种情况下可以通过多行全文模式采集日志。多行全文模式采用首行正则的方式进行匹配，如果日志数据中有一部分匹配了指定的行首正则表达式，则这段数据会被看作是一条日志的起始部分，下一段匹配了正则表达式的日志数据作为下一条日志的开头。 多行全文模式下，日志服务不再提取日志字段，对日志数据本身也不再进行结构化处理。

该模式下行首表达式必填，日志只能进行全文检索，日志级别将被统一定义为INFO，日志时间将被统一定义为日志收集时间。

正则表达式遵循Golang规范，参见附录3。

如下列日志：

[2022-02-01T12:10:01,000] [INFO] java.lang.Exception:exception happened
at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
at TestPrintStackTrace.g(TestPrintStackTrace.java:77)
at TestPrintStackTrace.main(TestPrintStackTracejava:16)
[2022-02-01T12:10:02,000] [INFO] java.lang.Exception:exception happened
at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
at TestPrintStackTrace.g(TestPrintStackTrace.java:77)
at TestPrintStackTrace.main(TestPrintStackTracejava:16)

行首正则表达式填写为

\[\d+-\d+-\w+:\d+:\d+,\d+\]\s\[\w+\]\s.

此时匹配两处[2022-02-01T12:10:01,000] [INFO]和[2022-02-01T12:10:02,000] [INFO]，这样上述日志将会被识别为两条日志。

在单行模式下，上述文本将被识别为8条日志，即每行一条。

2.3.3 单行完全正则 ​

单行完全正则模式下，允许对匹配的单行日志进行自定义标签抽取，后续可以在FCOP中进行自定义查询。

采集日志时，以 \n 换行符作为日志结束的标识符，以指定的正则表达式提取日志字段，并使用自定义的 Key 作为字段名，对日志数据进行个性化的结构化处理。

正则表达式遵循Golang规范，参见附录3。

输入日志样例和正则表达式，点击验证，对正则表达式进行校验。如果校验通过，验证按钮后面显示绿色，否则显示红色。输入的正则表达式必须完全匹配日志样例，否则不能验证通过。

目前日志样例不支持输入多条日志一起验证，请逐条验证。

如果正则表达式中定义了分组，则抽取结果中会体现抽取出的分组Key和Value。请注意，不支持Key为空的分组，抽取出的分组将作为自定义字段在FCOP中进行查询。

只有验证通过，才能成功开通应用。

在完全正则模式下支持抽取日志级别和日志时间，若不开启抽取日志级别，则将使用INFO作为所有日志的默认级别；若不开启抽取日志时间，将使用日志收集时间作为日志时间。

如开启抽取日志级别，则必须通过验证正则表达式获取命名分组（即Key有命名），在输入框中输入抽取结果中的Key，即可将该正则组匹配的值作为日志分组。

注意：支持对日志分组大小写做一定的映射，如info会被映射为INFO，但是若该正则分组对应的匹配值不为可映射范围内的日志级别值，则会映射失败，映射失败的该条日志级别会默认为INFO。

如开启抽取日志时间，则解析后的时间将成为日志时间，用于FCOP日志搜索。开启须遵循以下规则：

1. 日志时间支持strptime和epoch两种时间类型。
2. 必须选择或输入日志时间表达式，见附录4。
3. 同日志级别，必须在日志时间正则组名中输入抽取结果中的Key，该Key的匹配值将作为日志时间解析值。

2.3.4 多行完全正则 ​

多行完全正则模式拥有单行完全正则的全部特征，以指定的正则表达式提取日志字段，并使用自定义的 Key 作为字段名，对日志数据进行个性化的结构化处理，并且如果日志数据中有一部分匹配了指定的行首正则表达式，则这段数据会被看作是一条日志的起始部分，下一段匹配了正则表达式的日志数据作为下一条日志的开头。

该模式下行首正则表达式必填，如下列日志：

[2022-02-01T12:10:01,000] [INFO] java.lang.Exception:exception happened
at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
at TestPrintStackTrace.g(TestPrintStackTrace.java:77)
at TestPrintStackTrace.main(TestPrintStackTracejava:16)
[2022-02-01T12:10:02,000] [INFO] java.lang.Exception:exception happened
at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
at TestPrintStackTrace.g(TestPrintStackTrace.java:77)
at TestPrintStackTrace.main(TestPrintStackTracejava:16)

行首正则表达式填写为

\[\d+-\d+-\w+:\d+:\d+,\d+\]\s\[\w+\]\s.

此时匹配两处[2022-02-01T12:10:01,000] [INFO]和[2022-02-01T12:10:02,000] [INFO]，这样上述日志将会被识别为两条日志。

正则表达式遵循Golang规范，参见附录3。

输入日志样例和正则表达式，点击验证，对正则表达式进行校验。如果校验通过，验证按钮后面显示绿色，否则显示红色。输入的正则表达式必须完全匹配日志样例，否则不能验证通过。

目前日志样例不支持输入多条日志一起验证，请逐条验证。

如果正则表达式中定义了分组，则抽取结果中会体现抽取出的分组Key和Value。请注意，不支持Key为空的分组，抽取出的分组将作为自定义字段在FCOP中进行查询。

只有验证通过，才能成功开通应用。

在完全正则模式下支持抽取日志级别和日志时间，若不开启抽取日志级别，则将使用INFO作为所有日志的默认级别；若不开启抽取日志时间，将使用日志收集时间作为日志时间。

如开启抽取日志级别，则必须通过验证正则表达式获取命名分组（即Key有命名），在输入框中输入抽取结果中的Key，即可将该正则组匹配的值作为日志分组。

注意：支持对日志分组大小写做一定的映射，如info会被映射为INFO，但是若该正则分组对应的匹配值不为可映射范围内的日志级别值，则会映射失败，映射失败的该条日志级别会默认为INFO。

如开启抽取日志时间，则解析后的时间将成为日志时间，用于FCOP日志搜索。开启须遵循以下规则：

1. 日志时间支持strptime和epoch两种时间类型。
2. 必须选择或输入日志时间表达式，见附录4。
3. 同日志级别，必须在日志时间正则组名中输入抽取结果中的Key，该Key的匹配值将作为日志时间解析值。

2.4. 日志采集整体示例 ​

假如现有一个Node.js应用，日志存储路径为/data/logs，日志名称为my-nodejs.log，每天的日志会归档为类似my-nodejs.log-2023-12-21的名称。

由于我们只需要监测my-nodejs.log，归档日志无需监测，因此采集路径设置为/data/logs/*.log。

使用https://www.digitalocean.com/community/tools/glob 验证通过：

日志内容如下：

2023-12-22 03:08:49.885 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - 服务已经启动，请访问： http://localhost:9000
2023-12-22 06:07:49.855 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - 我是info
2023-12-22 06:07:49.856 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [DEBUG] [man.js] [假设我是traceId] - 有人请求了，我是debug
2023-12-22 06:07:49.856 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - i的值：1
2023-12-22 06:08:09.668 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - 我是info
2023-12-22 06:08:09.668 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [DEBUG] [man.js] [假设我是traceId] - 有人请求了，我是debug
2023-12-22 06:08:09.668 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - i的值：2
2023-12-22 06:08:23.960 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - 我是info
2023-12-22 06:08:23.961 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [DEBUG] [man.js] [假设我是traceId] - 有人请求了，我是debug
2023-12-22 06:08:23.961 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - i的值：3
2023-12-22 06:08:23.961 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [ERROR] [man.js] [假设我是traceId] - CustomError: 我是erro，报错了
    at Server.<anonymous> (/app/node-business-demo-web/main.js:103:19)
    at Server.emit (events.js:400:28)
    at parserOnIncoming (_http_server.js:900:12)
    at HTTPParser.parserOnHeadersComplete (_http_common.js:127:17) {
  code: undefined
}

可以看出，上述日志存在多行内容，因此我们选择多行全文或多行完全正则模式提取，这里我们使用多行完全正则用于演示完整功能。

注意到每一行日志均为时间开头，因此我们的行首表达式为：

\d{4}-\d{2}-\d{2}

根据日志内容写出正则表达式(正则表达式相关内容见附录3)：

(?P<time>\d{4}-\d{2}-\d{2}\s[^\s]+)\s(?P<host>[^\s]+)\s\[(?P<logLevel>\w+)\s*]\s\[(?P<logger>[^]]+)]\s\[(?P<traceId>[^\s]+)]\s-\s(?P<msg>[\s\S]*)

注意此处[INFO ]有一个空格，我们不希望采集到这个空格，但又要兼容后续没有空格的[DEBUG]，因此logLevel分组的正则为\w+，不提取空格，后面跟上\s*，匹配0个或多个空格，以便兼容上述两种情况。

强烈建议使用https://regex101.com/ 多验证一些日志内容，以免造成日志不匹配的情况。

对应的日志内容为

2023-12-22 06:07:49.855 eci-94c04755e0a748dbb3-6b7f9f779b-7rwf9 [INFO ] [man.js] [假设我是traceId] - 我是info

点击“验证”按钮，效果如下：

接下来我们抽取日志等级以及时间戳。抽取之后，日志等级可以用于日志搜索，时间戳可用于范围查询。

根据抽取结果，日志等级为logLevel，因此日志级别填写为logLevel。

日志等级不能使用level作为正则分组，因为level为保留字。

时间戳为2023-12-22 06:07:49.855，因此选用strptime类型，时间表达式填写为%Y-%m-%d %H:%M:%S.%L，正则分组为time。

时间表达式相关内容见附录4。

整体结果如下图：

附录3. 正则表达式 ​

支持的常用正则表达式：

支持的分组正则表达式：

例如：

\[(?P<level>)\w] 匹配[INFO]并且将INFO提取为命名分组level。

可以使用https://regex101.com/ 来辅助校验表达式是否正确，下面是简易的使用教程：

• 选择Flavor为Golang，左侧选择settings

• 选择语言为Chinese

• 输入正则表达式和测试字符串，则会输出实时校验结果，其中“匹配信息”中Group xxx即为命名匹配组，后面的是匹配值，测试文本和正则表达式中也会出现相同颜色的匹配项。

附录4. 时间表达式 ​

支持两种类型的时间，其中strptime支持大部分非纯数字组成的时间，epoch支持纯数字组成的时间戳。

4.1. strptime ​

该类型需要手动输入时间表达式，类似于ctime格式，时间表达式规则如下：

下面举两个例子(注意空格、:和.等符号的使用)：

1. 时间字符串为2023-11-27 14:57:02.918，对应表达式为%Y-%m-%d %H:%M:%S.%L
2. 时间字符串为Jun 5 13:50:27 EST 2020，对应表达式为%a %b %e %H:%M:%S %Z %Y

4.2. epoch ​

该类型对应纯数字及.组成的时间戳，时间表达式支持以下类型：