爱星物联nginx日志配置与解析方法详解

时间： 2024-07-10 来源：安信可科技

技术问答

选型帮助

研发客服

商务客服

ngxin是一个高性能的HTTP和反向代理web服务器，爱星物联IoT平台也使用了nginx作为反向代理使用。我们在开发和运维过程中，有时候会遇到一些API接口错误、延时、恶意访问等之类的问题，在排查这些问题时，我们依赖详细的日志，试图从各种日志文件中找到一些蛛丝马迹，以便找到问题的根源。所以，本贴重点介绍一下nginx的日志参数介绍、日志配置及日志解析入库操作，日志存到数据库之后，可以作为日志系统的数据源，也可以手动构建SQL去查询统计分析，还可以通过类似grafana之类的工具去查看日志统计及明细。

一、Nginx访问日志参数

Nginx访问日志主要有两个参数控制：

log_format #用来定义记录日志的格式（可以定义多种日志格式，取不同名字即可）
access_log #用来指定日至文件的路径及使用的何种日志格式记录日志

lof_format的默认值：

# log_format main '$remote_addr - $remote_user [$time_local] "$request" '

# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';

access_log的默认值：

#access_log logs/access.log main;

log_format语法格式及参数语法说明如下:

log_format <NAME> <Strin¬¬¬g>;

关键字格式标签日志格式
关键字：其中关键字error_log不能改变
格式标签：格式标签是给一套日志格式设置一个独特的名字
日志格式：给日志设置格式

log_format格式变量：

$remote_addr #记录访问网站的客户端地址

$remote_user #远程客户端用户名 $time_local #记录访问时间与时区

$request #用户的http请求起始行信息

$status #http状态码，记录请求返回的状态码，例如：200、301、404等

$body_bytes_sent #服务器发送给客户端的响应body字节数

$http_referer #记录此次请求是从哪个连接访问过来的，可以根据该参数进行防盗链设置。

$http_user_agent #记录客户端访问信息，例如：浏览器、手机客户端等

$http_x_forwarded_for #当前端有代理服务器时，设置web节点记录客户端地址的配置，此参数生效的前提是代理服务器也要进行相关的x_forwarded_for设置。

access_log语法格式及参数语法说明如下:

access_log <FILE> <NAME>;

关键字日志文件格式标签
关键字：其中关键字error_log不能改变
日志文件：可以指定任意存放日志的目录
格式标签：给日志文件套用指定的日志格式

其他语法：

access_log off; #关闭

access_log，即不记录访问日志
access_log path [format[buffer=size [flush=time]] [if=condition]];

access_log path formatgzip[=level] [buffer=size] [flush=time] [if=condition];

access_logsyslog:server=address[,parameter=value] [format [if=condition]];

说明：
buffer=size  #为存放访问日志的缓冲区大小
flush=time  #为缓冲区的日志刷到磁盘的时间
gzip[=level]  #表示压缩级别[if = condition]  #表示其他条件

一般场景这些参数都无需配置，极端优化才有可能会考虑这些参数。

lof_format参数的标签段位置：

http

access_log参数的标签段位置：

http, server, location, if in location, limit_except

参考资料：http://nginx.org/en/docs/http/ngx_http_log_module.html

二、nginx日志配置

在了解了nginx日志配置项及参数后，我们根据需要进行nginx的日志参数配置。打开nginx的配置文件nginx.conf,定位到http配置块。配置以下信息：
我们创建main日志格式。

http {

...

access_loglogs/access.log main;

log_formatmain '"$time_iso8601" "$connection""$remote_addr" "$request_method" "$request_uri""$server_protocol" $request_length $status $body_bytes_sent $bytes_sent"$http_referer" "$http_user_agent" $request_time$upstream_header_time $upstream_connect_time $upstream_response_time';

...

}

配置好nginx的日志配置后，需要重启nginx服务。

三、 nginx日志解析入库

Nginx应用非常广泛，网上有一些大佬写了一些开源的nginx日志解析工具。在爱星物联IoT平台中，我们定制了nginx-clickhouse开源代码，作为nginx日志解析工具。具体代码不再详细介绍，请参考github相关仓库。主要介绍以下配置用法：

1. config.yml配置文件

该文件配置项如下，注意根据你的环境的事情情况修改下列相关配置项，比如log_path的路径，clickhouse的数据库和表名、IP、端口、用户名、密码等。

settings:

interval: 5

log_path: logs/access.log

seek_from_end: false

clickhouse:db: iot_log

table: nginx_access_log

host: 127.0.0.1port: 8123credentials:

user: default

password: XXXXXXXX

columns:

RemoteAddr: remote_addr

TimeIso8601: time_iso8601

RequestUri: request_uri

Status: status

RequestTime: request_time

UpstreamHeaderTime: upstream_header_time

UpstreamConnectTime: upstream_connect_time

UpstreamResponseTime: upstream_response_time

BytesSent: bytes_sent

BodyBytesSent: body_bytes_sent

HttpReferer: http_referer

HttpUserAgent: http_user_agent

Connection: connection

RequestMethod: request_method

ServerProtocol: server_protocol

RequestLength: request_length

nginx:

log_type: "main"

log_format: '"$time_iso8601" "$connection" "$remote_addr" "$request_method" "$request_uri" "$server_protocol" $request_length $status $body_bytes_sent $bytes_sent "$http_referer" "$http_user_agent" $request_time $upstream_header_time $upstream_connect_time $upstream_response_time'

2. clickhouse数据库建库建表

预先安装好clickhouse数据库服务，创建好日志库，或利用现有库；新建好表格。
爱星物联IoT平台的日志库是iot_log，我们在该库下建好nginx日志表：

CREATE TABLE iot_log.nginx_access_log(

`RemoteAddr` String,

`TimeIso8601` DateTime,

`RequestUri` String,

`Status` UInt16,

`RequestTime` Float64,

`UpstreamHeaderTime` Float64,

`UpstreamConnectTime` Float64,

`UpstreamResponseTime` Float64,

`BytesSent` UInt64,

`BodyBytesSent` UInt64,

`HttpReferer` String,

`HttpUserAgent` String,

`Connection` String,

`RequestMethod` String,

`ServerProtocol` String,

`RequestLength` UInt64)ENGINE = Log;

3. 启动nginx-clickhouse

生产环境正常都要设置为开机启动服务，实现开机运行。这里演示介绍，只以后台任务启动的方式运行该程序。

$ nohup ./nginx-clickhouse&INFO[0000] Reading config file:config/config.yml

INFO[0000] Trying to open logfile:/usr/local/nginx/logs/access.log

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由中国颜值的半壁江山转载自安信可科技，原文标题为:爱星物联——nginx日志配置与解析，本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

全部评论（0）

暂无评论

爱星物联如何进行虚拟调试？

本文介绍了虚拟调试的概念和步骤。虚拟调试是在设备还未开发完成时，通过MQTT控制页对控制进行调试的方法。使用步骤包括登录开放平台、切换产品、添加虚拟设备、进入调试页面、选择属性并发送。通过虚拟设备调试可以检查MQTT与服务器的连接是否正常，下发和上报属性是否正确。若控制页已开发完成，还可以检查控制页上属性的变化是否正确。

设计经验发布时间 : 2024-07-12

如何用爱星物联对接小米IoT实现小爱同学语音控制

智能音响，作为现代智能家居的重要组成部分，其重要性体现在多个方面，不仅极大地丰富了人们的生活体验，还推动了科技与日常生活的深度融合，今天使用小爱同学控制智能设备；对接小爱同学有两种方式，第一种：技能方式；第二种：小米 IoT 的云云对接方式。

设计经验发布时间 : 2024-06-13

爱星物联平台后端技术栈，提供成熟、安全、全球化可用的物联网服务

爱星物联云平台，是面向智能设备和智能化企业的 AIoT平台，提供成熟、安全，全球化可用的物联网服务，更是助力客户有效缩短研发周期，降低投入成本，快速开发 AIoT 产品，构建安全稳定且可定制化的 AIoT 解决方案。平台打通了终端产品到上层软件应用全套开发，包含所有安信可模组、设备固件、手机客户端、第三方语音助手、第三方云服务和爱星物联云平台，有助于节省客户对应用层开发的大量投入。

设计经验发布时间 : 2024-07-11

安信可Ai-M62系列模组支持接入小米Vela平台，可以帮助全屋智能设备统一协议

2023年11月16日，小米IoT生态伙伴大会在北京圆满举行。在本次大会上，小米宣布Vela面向全球软硬件开发者正式开源，安信可Ai-M62系列模组支持接入小米Vela平台，可以帮助全屋智能设备统一协议，作为高性能的嵌入式Wi-Fi 6无线通信模组，具备传播速率快、延时低、设备连接数量多、抗干扰能力强等特点，响应更快、连接更稳、交互更流畅，帮助用户实现不同智能设备间的互联互通。

厂牌及品类发布时间 : 2023-12-28

爱星物联——IoT云平台介绍

本文介绍了爱星物联IoT云平台，该平台专为环境电器与智能家电行业提供一站式智能化解决方案。通过实例展示了空气净化器设备接入的基本原理，并突出了平台的四大亮点：1) 物联网功能全面；2) 支持品类可扩展；3) 低代码开发支持完善；4) 云平台技术可扩展、易定制。这些特性使得爱星物联IoT平台能够帮助客户缩短研发周期，降低成本，快速开发AIoT产品，构建安全稳定且可定制化的解决方案。

产品发布时间 : 2024-06-24

ESP8266 SDK 入门指南

型号- ESP8266

用户指南 - 安信可科技 - 版本2.0 - 2016.04 PDF 中文下载

爱星物联IoT平台的合作模式和定制流程

爱星物联 IoTQ平台提供了定制化服务，可以根据您的需求进行定制开发，本文是爱星物联loT平台的合作模式和定制流程的详细介绍。

设计经验发布时间 : 2024-06-20

想要自行开发爱星物联的网页，对着代码一头雾水？

爱星物联IoT平台开源版本已经上线（爱星物联IoT平台正式开源啦），鉴于我们最近开源版本刚上线，有没有小伙伴在自行开发爱星物联的网页时，对着代码一头雾水？工欲善其事，必先利其器！开发前先来瞅瞅如何配置环境。

设计经验发布时间 : 2024-06-22

作为一个平台开发工程师，我如何使用爱星物联IOT云平台？

如果你也是一位平台开发工程师，你需要了解：爱星物联的作为IOT云平台由云管平台、开放平台、APP三部分应用组成，同时打通了短信推送、语音助手、登录、地图等第三方平台，实现与安信可模组的互通互联。如果你需要对平台的业务、架构、开发流程进行系统了解，相信我们的开发者文档可以帮助到您。文档对于平台的服务范围、业务/技术架构、开发流程、业务流程有详细的介绍。

设计经验发布时间 : 2024-07-06

手机APP如何通过爱星物联IoT物联网控制空气净化器？

本文介绍一下手机APP是如何通过爱星物联IoT物联网控制空气净化器的。爱星物联IoT云平台，是面向智能家电领域的基础物联网平台，可根据不同细分领域和设备品类，在其上构建符合自身产品需求的应用服务。当前平台，为开发者提供产品开发平台，为C端用户提供了iOS APP、安卓APP。

设计经验发布时间 : 2024-07-06

在爱星物联云平台，怎么使用MQTTX工具进行设备调试，排查设备问题？

爱星物联IoT云平台是一款面向智能小家电、环境电器等C端用户领域的通用物联网平台，设备和平台交互主要使用了MQTT协议。

设计经验发布时间 : 2024-06-20

一文详解使用爱星物联平台完成系统搭建和产品控制，助力有效缩短研发周期，降低投入成本，快速开发产品

爱星物联打通了无线通讯到上层软件应用全套开发，包含所有安信可模组、设备固件、手机客户端、第三方语音助手、第三方云服务和爱星物联云平台。作为面向智能设备和智能化企业的 AIoT平台，爱星物联助力您有效缩短研发周期，降低投入成本，快速开发产品。爱星物联平台的开源版即将发布，本文详解用公版平台完成系统搭建和产品控制的。

设计经验发布时间 : 2024-05-18