印刻数据库

外观

MariaDB 错误日志配置与分析 ​

错误日志概述 ​

什么是错误日志 ​

错误日志是 MariaDB 记录系统级错误、警告和诊断信息的关键日志文件，包含了数据库启动、关闭、运行过程中的重要事件，是 DBA 进行故障排查的首要依据。

错误日志包含的信息 ​

  • 数据库启动和关闭事件
  • 系统错误和警告信息
  • 复制相关错误
  • 权限相关错误
  • 存储引擎错误
  • 配置错误
  • 崩溃恢复信息
  • 连接和断开连接事件（可选）

错误日志配置 ​

配置参数 ​

参数名称默认值描述
log_error（平台相关）错误日志文件路径
log_warnings2警告级别，0-9，值越大记录越多警告
log_warnings_suppress（空）抑制特定警告码
log_error_verbosity3错误日志详细程度，1-3
log_error_suppress（空）抑制特定错误码
log_slow_filter（多种条件）慢查询日志过滤条件
log_slow_verbosityquery_plan,explain慢查询日志详细程度

配置示例 ​

ini
# my.cnf
[mysqld]
# 错误日志文件路径
log_error = /var/log/mariadb/mariadb-error.log

# 警告级别（0-9）
log_warnings = 2

# 错误日志详细程度（1-3）
log_error_verbosity = 3

# 抑制特定错误码
log_error_suppress = 1205,1053

# 记录连接和断开连接事件
general_log = 0
general_log_file = /var/log/mariadb/mariadb-general.log

动态调整配置 ​

sql
-- 动态调整警告级别
SET GLOBAL log_warnings = 3;

-- 动态调整错误日志详细程度
SET GLOBAL log_error_verbosity = 3;

-- 查看当前错误日志配置
SHOW VARIABLES LIKE 'log_error%';
SHOW VARIABLES LIKE 'log_warnings%';

错误日志管理 ​

日志文件位置 ​

操作系统默认错误日志路径
Linux (RPM)/var/log/mariadb/mariadb-error.log
Linux (Debian)/var/log/mysql/error.log
Windows数据目录下的 hostname.err
macOS/usr/local/var/log/mariadb.err

日志轮换 ​

使用 logrotate 进行日志轮换 ​

ini
# /etc/logrotate.d/mariadb
/var/log/mariadb/*.log {
    daily
    rotate 7
    missingok
    compress
    delaycompress
    notifempty
    create 640 mysql mysql
    sharedscripts
    postrotate
        # 对于 MariaDB 10.5+ 使用 FLUSH ERROR LOGS
        /usr/bin/mysqladmin flush-error-logs
    endscript
}

手动进行日志轮换 ​

bash
# 重命名当前错误日志
mv /var/log/mariadb/mariadb-error.log /var/log/mariadb/mariadb-error.log.old

# 刷新错误日志，生成新的日志文件
mysqladmin flush-error-logs

日志清理策略 ​

日志类型保留时间清理方式
生产环境错误日志30-90天logrotate 自动清理
测试环境错误日志7-14天logrotate 自动清理
归档日志1-3年压缩存储到归档目录

错误日志格式 ​

日志条目格式 ​

2025-12-27 10:15:30 0 [Note] /usr/sbin/mysqld (mysqld 10.11.8-MariaDB) starting as process 12345 ...
2025-12-27 10:15:30 0 [Warning] InnoDB: Using innodb_additional_mem_pool_size is DEPRECATED. This option may be removed in future releases, together with the option innodb_use_sys_malloc and with the InnoDB's internal memory allocator.
2025-12-27 10:15:31 0 [Note] InnoDB: Initializing buffer pool, total size = 128M, instances = 1, chunk size = 128M
2025-12-27 10:15:31 0 [Note] InnoDB: Completed initialization of buffer pool
2025-12-27 10:15:31 0 [ERROR] InnoDB: Unable to lock ./ibdata1 error: 11
2025-12-27 10:15:31 0 [Note] InnoDB: Check that you do not already have another mysqld process using the same InnoDB data or log files.

日志级别 ​

级别描述示例
Note一般信息，用于诊断启动、关闭、配置信息
Warning警告信息，需要关注弃用参数、潜在问题
Error错误信息，需要处理无法启动、连接失败
Critical严重错误，立即处理崩溃、数据损坏

错误日志分析 ​

常用分析命令 ​

查看最新错误 ​

bash
# 查看最后100行错误日志
tail -n 100 /var/log/mariadb/mariadb-error.log

# 实时监控错误日志
tail -f /var/log/mariadb/mariadb-error.log

过滤特定级别日志 ​

bash
# 过滤 ERROR 级别日志
grep -i "error" /var/log/mariadb/mariadb-error.log

# 过滤 WARNING 级别日志
grep -i "warning" /var/log/mariadb/mariadb-error.log

# 过滤特定错误码
grep "1205" /var/log/mariadb/mariadb-error.log

统计错误类型 ​

bash
# 统计不同级别的日志数量
grep -o -i "\[\(Note\|Warning\|Error\|Critical\)\]" /var/log/mariadb/mariadb-error.log | sort | uniq -c

# 统计特定时间段的错误
grep "2025-12-27 10:" /var/log/mariadb/mariadb-error.log | grep -i "error"

常见错误分析 ​

启动失败错误 ​

  1. 端口被占用
2025-12-27 10:15:31 0 [ERROR] Can't start server: Bind on TCP/IP port: Address already in use
2025-12-27 10:15:31 0 [ERROR] Do you already have another mysqld server running on port: 3306 ?

解决方法：

  • 检查是否有其他 MariaDB/MySQL 进程在运行
  • 使用 netstat -tlnp | grep 3306 查看占用端口的进程
  • 杀掉占用端口的进程或修改配置文件中的端口
  1. 无法锁定数据文件
2025-12-27 10:15:31 0 [ERROR] InnoDB: Unable to lock ./ibdata1 error: 11
2025-12-27 10:15:31 0 [Note] InnoDB: Check that you do not already have another mysqld process using the same InnoDB data or log files.

解决方法：

  • 检查是否有其他 mysqld 进程在使用相同的数据文件
  • 删除可能存在的 pid 文件：rm /var/lib/mysql/mysql.pid
  1. 权限错误
2025-12-27 10:15:31 0 [ERROR] Could not open file '/var/log/mariadb/mariadb-error.log' for error logging: Permission denied

解决方法：

  • 检查日志文件权限：ls -l /var/log/mariadb/mariadb-error.log
  • 确保 mysql 用户有读写权限：chown mysql:mysql /var/log/mariadb/mariadb-error.log

运行时错误 ​

  1. 连接数超过限制
2025-12-27 14:30:22 12345 [Warning] Too many connections (151): Thread stack overrun:  123456 bytes used of a 131072 byte stack, and 12345 more bytes needed.  Use 'mysqld --thread_stack=#' to specify a bigger stack.

解决方法：

  • 增加 max_connections 参数值
  • 优化应用程序，减少连接数
  • 配置连接池
  1. 内存不足
2025-12-27 15:45:12 67890 [ERROR] Out of memory; check if mysqld or some other process uses too much memory; if not, you may have to use 'ulimit' to allow mysqld to use more memory or you can add more swap space

解决方法：

  • 检查系统内存使用情况：free -h
  • 优化 MariaDB 内存配置参数
  • 增加系统内存或交换空间
  1. 表损坏
2025-12-27 16:20:45 78901 [ERROR] Table 'mydb.mytable' is marked as crashed and last (automatic?) repair failed

解决方法：

  • 使用 mysqlcheck 修复表：mysqlcheck -r mydb mytable
  • 对于 InnoDB 表，使用 ALTER TABLE mytable ENGINE=InnoDB 重建表

复制相关错误 ​

  1. 主从数据不一致
2025-12-27 11:30:15 23456 [ERROR] Slave SQL: Error 'Duplicate entry '12345' for key 'PRIMARY'' on query. Default database: 'mydb'. Query: 'INSERT INTO mytable VALUES (12345, 'test')', Error_code: 1062

解决方法：

  • 检查主从数据一致性
  • 使用 SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1 跳过错误（谨慎使用）
  • 重新初始化从库
  1. 从库连接主库失败
2025-12-27 12:45:30 34567 [ERROR] Slave I/O: error connecting to master 'repl@master:3306' - retry-time: 60  retries: 10, Error_code: 2003

解决方法：

  • 检查主库是否可访问
  • 验证复制用户权限
  • 检查网络连接

错误日志分析工具 ​

MariaDB Error Log Analyzer ​

MariaDB 提供了 mysqlbinlog 工具，但对于错误日志分析，可以使用第三方工具：

pt-query-digest ​

虽然主要用于慢查询日志分析，但也可以用于错误日志：

bash
# 安装 Percona Toolkit
sudo apt-get install percona-toolkit

# 分析错误日志
pt-query-digest --type error /var/log/mariadb/mariadb-error.log

mysql-error-log-filter ​

bash
# 安装 mysql-error-log-filter
git clone https://github.com/mysql/mysql-error-log-filter.git
cd mysql-error-log-filter
cmake .
make

# 使用工具分析错误日志
./mysql-error-log-filter /var/log/mariadb/mariadb-error.log

日志管理平台集成 ​

  1. ELK Stack（Elasticsearch + Logstash + Kibana）

    • 使用 Logstash 收集和解析错误日志
    • 存储到 Elasticsearch
    • 使用 Kibana 进行可视化分析和告警

  2. Graylog

    • 集中收集和管理错误日志
    • 支持实时搜索和分析
    • 提供告警功能

  3. Splunk

    • 企业级日志管理平台
    • 强大的搜索和分析能力
    • 支持机器学习异常检测

错误日志最佳实践 ​

配置最佳实践 ​

  1. 合理设置日志级别

    • 生产环境：log_error_verbosity = 2（只记录 Warning 和 Error）
    • 测试环境：log_error_verbosity = 3（记录所有级别）
    • 调试阶段：log_error_verbosity = 3 + 增加 log_warnings 值

  2. 分离日志文件

    • 将错误日志与其他日志（如慢查询日志）分开存储
    • 避免单个日志文件过大

  3. 启用日志压缩

    • 对轮换的日志文件进行压缩，节省磁盘空间
    • 使用 gzip 或 bzip2 压缩

分析最佳实践 ​

  1. 定期检查错误日志

    • 每天至少检查一次生产环境错误日志
    • 建立自动化日志分析脚本

  2. 建立错误知识库

    • 记录常见错误及其解决方案
    • 定期更新和分享

  3. 结合监控系统

    • 将错误日志分析与监控系统集成
    • 实现异常自动告警

  4. 事后分析

    • 故障发生后，详细分析错误日志
    • 总结经验教训，优化系统配置

常见问题（FAQ） ​

Q: 错误日志增长过快怎么办？ ​

A: 解决方法：

  • 检查日志级别，降低不必要的日志输出
  • 增加日志轮换频率
  • 优化系统，减少错误产生
  • 考虑使用集中式日志管理平台

Q: 如何确定错误日志的位置？ ​

A: 查找方法：

  • 查看配置文件：grep log_error /etc/my.cnf /etc/mysql/my.cnf
  • 登录数据库执行：SHOW VARIABLES LIKE 'log_error'
  • 查看进程命令行：ps aux | grep mysqld

Q: 错误日志中没有记录某些错误？ ​

A: 排查步骤：

  • 检查日志级别设置，确保 log_error_verbosity 值足够大
  • 确认错误是否属于 MariaDB 错误日志的记录范围
  • 检查日志文件权限，确保 MariaDB 有写入权限
  • 验证日志文件路径是否正确

Q: 如何清理旧的错误日志？ ​

A: 清理建议：

  • 使用 logrotate 自动清理，配置合理的保留时间
  • 手动清理时，确保先刷新日志：mysqladmin flush-error-logs
  • 对于重要的错误日志，先备份再清理
  • 考虑将旧日志压缩归档，便于后续查询

Q: 如何监控错误日志中的特定错误？ ​

A: 监控方法：

  • 使用 tail -f 结合 grep 实时监控特定错误
  • 配置 logrotate 配合脚本发送告警
  • 集成到集中式日志管理平台，设置告警规则
  • 使用自定义脚本定期检查错误日志，发送邮件或短信告警

总结 ​

错误日志是 MariaDB 运维中最重要的日志文件之一，通过合理配置和有效分析错误日志，DBA 可以快速定位和解决数据库问题，确保系统稳定运行。建议 DBA 建立完善的错误日志管理机制，包括合理的配置、定期的分析、自动化的监控和告警，以及持续的优化改进。