您的位置:402cc永利手机版 > 科技技术 > performance_schema全方位介绍

performance_schema全方位介绍

2019-07-12 17:16

对应的instruments为wait/io/table/sql/handler和wait/lock/table/sql/handler,默认开启。

原标题:事件统计 | performance_schema全方位介绍(四)

admin@localhost : performance_schema 11:05:51> select * from session_connect_attrs;

......

402cc永利手机版 ,这些表列出了等待事件中的sync子类事件相关的对象、文件、连接。其中wait sync相关的对象类型有三种:cond、mutex、rwlock。每个实例表都有一个EVENT_NAME或NAME列,用于显示与每行记录相关联的instruments名称。instruments名称可能具有多个部分并形成层次结构,详见"配置详解 | performance_schema全方位介绍"。

root@localhost : performance _schema 11:07:14> select * from events_waits _summary_by _host_by _event_name limit 1G

session_account_connect_attrs表不允许使用TRUNCATE TABLE语句。

SUM _TIMER_WAIT: 0

......

COUNT_STAR: 0

我们先来看看表中记录的统计信息是什么样子的。

我们先来看看这些表中记录的统计信息是什么样子的。

# socket_summary_by_instance表

events_statements_summary_by_program:按照每个存储程序(存储过程和函数,触发器和事件)的事件名称进行统计的Statement事件

·OBJECT_NAME:instruments对象的名称,表级别对象;

* 事务所占用的资源需求多少也可能会因事务隔离级别有所差异(例如:锁资源)。但是:每个server可能是使用相同的隔离级别,所以不单独提供隔离级别相关的统计列

·如果值为NULL,则表示表I/O没有使用到索引

* LOW_NUMBER_OF_BYTES_USED:如果CURRENT_NUMBER_OF_BYTES_USED减少N之后是一个新的最低值,则该字段相应减少

·USER:某连接的客户端用户名。如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

COUNT_ALLOC: 103

01

......

·每个文件I/O统计表都有一个或多个分组列,以表明如何统计这些事件信息。这些表中的事件名称来自setup_instruments表中的name字段:

| memory_summary_by_thread_by_event_name |

COUNT_STAR: 33

| memory_summary_by_account_by_event_name |

我们先来看看表中记录的统计信息是什么样子的。

注意:这些表只针对等待事件信息进行统计,即包含setup_instruments表中的wait/%开头的采集器 idle空闲采集器,每个等待事件在每个表中的统计记录行数需要看如何分组(例如:按照用户分组统计的表中,有多少个活跃用户,表中就会有多少条相同采集器的记录),另外,统计计数器是否生效还需要看setup_instruments表中相应的等待事件采集器是否启用。

1 row in set (0.00 sec)

------------------------------------------

............

events_statements_summary_by_host_by_event_name:按照每个主机名和事件名称进行统计的Statement事件

· OWNER_THREAD_ID:持有该handles锁的线程ID;

AVG_TIMER_WAIT: 4426693000

---------------- ---------------------------------- --------------------- ------------------

EVENT_NAME: statement/sql/select

| admin |1| 1 |

1 row in set (0.00 sec)

·rwlock_instances:wait sync相关的lock对象实例;

* HIGH_NUMBER_OF_BYTES_USED:如果CURRENT_NUMBER_OF_BYTES_USED增加N之后是一个新的最高值,则该字段值相应增加

·每个文件I/O事件统计表有如下统计字段:

AVG _TIMER_WAIT: 1235672000

COUNT_STAR: 1

| events_stages_summary_by_thread_by_event_name |

从上面表中的记录信息我们可以看到:

* LOW_NUMBER_OF_BYTES_USED,HIGH_NUMBER_OF_BYTES_USED:对应CURRENT_NUMBER_OF_BYTES_USED列的低和高水位标记

* mutex_instances表中的THREAD_ID列显示该互斥体现在被哪个线程持有。

当某给定对象被删除时,该对象在events_statements_summary_by_program表中的统计信息行将被删除;

OWNER _EVENT_ID: 49

*************************** 1. row ***************************

* COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT:这些列统计所有I/O操作数量和操作时间 ;

1 row in set (0.00 sec)

·prepare步骤:语法PREPARE stmt_name FROM preparable_stmt,示例:PREPARE stmt FROM'SELECT 1'; 执行了该语句之后,在prepared_statements_instances表中就可以查询到一个prepare示例对象了;

| 温馨提示

admin@localhost : performance_schema 03:23:47> select * from mutex_instances limit 1;

*************************** 1. row ***************************

·cond_instances:wait sync相关的condition对象实例;

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

·OBJECT_TYPE:显示handles锁的类型,表示该表是被哪个table handles打开的;

*************************** 1. row ***************************

INDEX_NAME: PRIMARY

1 row in set (0.00 sec)

原标题:数据库对象事件与属性统计 | performance_schema全方位介绍(五)

| Tables_in_performance_schema (%events_stages_summary%) |

SUM _TIMER_READ _WITH_SHARED_LOCKS: 0

EVENT_NAME: transaction

·file_summary_by_instance:按照每个文件实例(对应具体的每个磁盘文件,例如:表sbtest1的表空间文件sbtest1.ibd)进行统计的文件IO等待事件

*************************** 1. row ***************************

·DEALLOCATE PREPARE步骤:语法 {DEALLOCATE | DROP} PREPARE stmt_name,示例:drop prepare stmt; ,此时在prepared_statements_instances表中对应的prepare示例记录自动删除。

root@localhost : performance _schema 11:37:03> select * from events_stages _summary_by _thread_by _event_name where thread_id is not null limit 1G

* _thread:客户端线程ID(仅适用于Windows)

-------------------------------------------------------

·file_summary_by_event_name:按照每个事件名称进行统计的文件IO等待事件

关于内存事件的行为监控设置与注意事项

|4| _pid |3766| 2 |

......

# table_lock_waits_summary_by_table表

*************************** 1. row ***************************

admin@localhost : performance_schema 10:49:34> select * from socket_instances;

* CURRENT_COUNT_USED:减少1

应用程序可以使用一些键/值对生成一些连接属性,在对mysql server创建连接时传递给server。对于C API,使用mysql_options()和mysql_options4()函数定义属性集。其他MySQL连接器可以使用一些自定义连接属性方法。

SUM _SELECT_FULL _RANGE_JOIN: 0

·已授予的锁(显示哪些会话拥有当前元数据锁);

COUNT_STAR: 55

| EVENT_NAME |OBJECT_INSTANCE_BEGIN | THREAD_ID |SOCKET_ID | IP |PORT | STATE |

# memory_summary_by_host_by_event_name表

SUM_ROWS_AFFECTED: 0

* HIGH_COUNT_USED和HIGH_NUMBER_OF_BYTES_USED是较高的高水位估算值。performance_schema输出的低水位值可以保证统计表中的内存分配次数和内存大于或等于当前server中真实的内存分配值

·PS:cond_instances表不允许使用TRUNCATE TABLE语句。

EVENT_NAME: transaction

------------------------------------------------

root@localhost : performance _schema 11:55:36> select * from memory_summary _by_user _by_event _name where COUNT_ALLOC!=0 limit 1G

02

1row inset ( 0. 00sec)

文件I/O事件统计表允许使用TRUNCATE TABLE语句。但只将统计列重置为零,而不是删除行。

MIN _TIMER_WAIT: 0

1 row in set (0.00 sec)

# events_statements_summary_by_program表(需要调用了存储过程或函数之后才会有数据)

* COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,SUM_NUMBER_OF_BYTES_WRITE:这些列统计了所有文件写操作,包括FPUTS,FPUTC,FPRINTF,VFPRINTF,FWRITE和PWRITE系统调用,还包含了这些I/O操作的数据字节数 ;

admin@localhost : performance_schema 06:17:11> show tables like '%events_waits_summary%';

(5) socket_instances表

PS:对这些表使用truncate语句,影响与等待事件类似。

我们先来看看表中记录的统计信息是什么样子的。

HOST: NULL

admin@localhost : performance _schema 01:56:16> select * from table_io _waits_summary _by_table where SUM _TIMER_WAIT!=0G;

MIN _TIMER_WAIT: 0

·USER:某个连接的用户名,如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

events_statements_summary_by_user_by_event_name:按照每个用户名和事件名称进行统计的Statement事件

SUM_TIMER_READ: 305970952875

SUM_ROWS_AFFECTED: 0

3rows inset ( 0. 00sec)

HOST: localhost

admin@localhost : performance_schema 06:53:42> show tables like '%socket%summary%';

......

------------------------------------------------

EVENT_NAME: statement/sql/select

该表的分组列与table_io_waits_summary_by_table表相同

MIN _TIMER_WAIT: 0

(3)hosts表

COUNT_STAR: 53

performance_schema提供了针对prepare语句的监控记录,并按照如下方法对表中的内容进行管理。

root@localhost : performance _schema 01:19:07> select * from events_transactions _summary_by _account_by _event_name where COUNT_STAR!=0 limit 1G

* _pid:客户端进程ID

# events_statements_summary_global_by_event_name表

| NULL |41| 45 |

# events_statements_summary_by_user_by_event_name表

每个连接信息表都有CURRENT_CONNECTIONS和TOTAL_CONNECTIONS列,用于跟踪连接的当前连接数和总连接数。对于accounts表,每个连接在表中每行信息的唯一标识为USER HOST,但是对于users表,只有一个user字段进行标识,而hosts表只有一个host字段用于标识。

EVENT_NAME: memory/innodb/fil0fil

---------------------------------- -----------------------

| events_waits_summary_global_by_event_name |

MIN _TIMER_READ _WITH_SHARED_LOCKS: 0

events_statements_summary_global_by_event_name:按照每个事件名称进行统计的Statement事件

---------------------------------------- ----------------------- ----------- ----------- -------------------- ------- --------

USER: root

-------------------------------------- ----------------------- ---------------------

| memory_summary_global_by_event_name |

OBJECT_SCHEMA: xiaoboluo

| events_transactions_summary_by_thread_by_event_name |

注意:rwlock_instances表中的信息只能查看到持有写锁的线程ID,但是不能查看到持有读锁的线程ID,因为写锁WRITE_LOCKED_BY_THREAD_ID字段记录的是线程ID,读锁只有一个READ_LOCKED_BY_COUNT字段来记录读锁被多少个线程持有。

当某给定对象被执行时,其对应的统计信息将记录在events_statements_summary_by_program表中并进行统计。

* _runtime_vendor:Java运行环境(JRE)供应商名称

| events_statements_summary_by_account_by_event_name |

|3| _os |linux-glibc2. 5| 0 |

EVENT_NAME: transaction

COUNT_EXECUTE: 0

1 row in set (0.00 sec)

·OWNER_EVENT_ID:请求元数据锁的事件ID。

* 此外,按照帐户,主机,用户或线程分类统计的内存统计表或memory_summary_global_by_event_name表,如果在对其依赖的accounts、hosts、users表执行truncate时,会隐式对这些内存统计表执行truncate语句

* performance_schema截断超过长度的属性数据,并增加Performance_schema_session_connect_attrs_lost状态变量值,截断一次增加一次,即该变量表示连接属性被截断了多少次

COUNT_STAR: 0

1row inset ( 0. 00sec)

# events_stages_summary_by_account_by_event_name表

EVENT_NAME: wait/io/socket/sql/server_tcpip_socket

MAX _TIMER_WAIT: 0

| table_io_waits_summary_by_table |# 按照每个表进行统计的表I/O等待事件

HOST: localhost

OBJECT_NAME: test

内存大小统计信息有助于了解当前server的内存消耗,以便及时进行内存调整。内存相关操作计数有助于了解当前server的内存分配器的整体压力,及时掌握server性能数据。例如:分配单个字节一百万次与单次分配一百万个字节的性能开销是不同的,通过跟踪内存分配器分配的内存大小和分配次数就可以知道两者的差异。

·当行信息中CURRENT_CONNECTIONS 字段值大于0时,执行truncate语句不会删除这些行,TOTAL_CONNECTIONS字段值被重置为CURRENT_CONNECTIONS字段值;

1 row in set (0.00 sec)

......

性能事件统计表中的某个instruments是否执行统计,依赖于在setup_instruments表中的配置项是否开启;

* _pid:客户端进程ID

AVG _TIMER_WAIT: 0

·OWNER_THREAD_ID:请求元数据锁的线程ID;

SUM_ROWS_EXAMINED: 39718

OBJECT_SCHEMA: xiaoboluo

HOST: localhost

· COUNT_REPREPARE:该行信息对应的prepare语句在内部被重新编译的次数,重新编译prepare语句之后,之前的相关统计信息就不可用了,因为这些统计信息是作为语句执行的一部分被聚合到表中的,而不是单独维护的。

* 以前缀memory/performance_schema命名的instruments可以收集performance_schema自身消耗的内部缓存区大小等信息。memory/performance_schema/* instruments默认启用,无法在启动时或运行时关闭。performance_schema自身相关的内存统计信息只保存在memory_summary_global_by_event_name表中,不会保存在按照帐户,主机,用户或线程分类聚合的内存统计表中

EVENT_NAME: wait/io/file/innodb/innodb_data_file

* COUNT_ALLOC,COUNT_FREE:对内存分配和释放内存函数的调用总次数

4.套接字事件统计

SUM _TIMER_READ_WRITE: 8592136000

mutex_instances.LOCKED_BY_THREAD_ID和rwlock_instances.WRITE_LOCKED_BY_THREAD_ID列对于排查性能瓶颈或死锁问题至关重要。

root@localhost : performance _schema 12:34:43> select * from events_statements _summary_by_programG;

·对于通过TCP/IP 套接字(client_connection)的客户端连接,端口是server随机分配的,但不会为0值. IP是源主机的IP(127.0.0.1或本地主机的:: 1)。

COUNT_ALLOC: 1

下面对这些表分别进行说明。

AVG _TIMER_WAIT: 0

按照与table_io_waits_summary_by_table的分组列 INDEX_NAME列进行分组,INDEX_NAME有如下几种 :

HIGH_COUNT_USED: 1

SUM _TIMER_WAIT: 195829830101250

*************************** 1. row ***************************

AVG_TIMER_EXECUTE: 0

* 如果给定语句的统计信息行在events_statements_summary_by_digest表中已经存在,则将该语句的统计信息进行更新,并更新LAST_SEEN列值为当前时间

(1)cond_instances表

events_waits_summary_by_user_by_event_name表:按照列EVENT_NAME、USER进行分组事件信息

MAX _TIMER_WAIT: 121025235946125

1 row in set (0.00 sec)

| 4 |program_name | mysql |5|

我们先来看看这些表中记录的统计信息是什么样子的(由于单行记录较长,这里只列出events_transactions_summary_by_account_by_event_name表中的示例数据,其余表的示例数据省略掉部分相同字段)。

·许多MySQL客户端程序设置的属性值与客户端名称相等的一个program_name属性。例如:mysqladmin和mysqldump分别将program_name连接属性设置为mysqladmin和mysqldump,另外一些MySQL客户端程序还定义了附加属性:

# events_stages_summary_global_by_event_name表

·SUM_xxx:其余的SUM_xxx开头的列与语句统计表中的信息相同,语句统计表后续章节会详细介绍。

对于较高级别的聚合(全局,按帐户,按用户,按主机)统计表中,低水位和高水位适用于如下规则 :

·libmysqlclient客户端库(在MySQL和MySQL Connector / C发行版中提供)提供以下属性:

EVENT_NAME: stage/sql/After create

......

*************************** 1. row ***************************

------------------------------------------------

# memory_summary_global_by_event_name表

file_instances表列出执行文件I/O instruments时performance_schema所见的所有文件。 如果磁盘上的文件从未打开,则不会在file_instances中记录。当文件从磁盘中删除时,它也会从file_instances表中删除对应的记录。

......

| qfsys |1| 1 |

| Tables_in_performance_schema (%events_statements_summary%) |

------------- --------------- ------------- ----------------------- ----------------- ---------------- --------------- ---------------

root@localhost : performance _schema 11:42:37> select * from events_stages _summary_by _user_by _event_name where user is not null limit 1G

* _platform:客户端机器平台(例如,x86_64)

5rows inset ( 0. 00sec)

COUNT_STAR: 213055844

DIGEST_TEXT: SELECT @@`version_comment` LIMIT ?

------- ------------- --------------------- -------------------

MIN _TIMER_WAIT: 0

| wait/io/socket/sql/server_unix_socket |110667520| 1 |34| |0| ACTIVE |

*************************** 1. row ***************************

* events_waits_current表中可以查看到当前正在等待互斥体的线程时间信息(例如:TIMER_WAIT列表示已经等待的时间) ;

PS:内存统计表不包含计时信息,因为内存事件不支持时间信息收集。

AVG _TIMER_WAIT: 3496961251500

* LOW_COUNT_USED,HIGH_COUNT_USED:对应CURRENT_COUNT_USED列的低和高水位标记

6 rows inset (0.00 sec)

COUNT_STAR:事件被执行的数量。此值包括所有事件的执行次数,需要启用等待事件的instruments

COUNT_READ: 0

*************************** 1. row ***************************

402cc永利手机版 1

CURRENT _NUMBER_OF _BYTES_USED: 0

· 当行信息中CURRENT_CONNECTIONS 字段值为0时,执行truncate语句会删除这些行;

| 阶段事件统计表

从上面表中的记录信息我们可以看到(与文件I/O事件统计类似,两张表也分别按照socket事件类型统计与按照socket instance进行统计)

* COUNT_ALLOC:增加1

OBJECT _INSTANCE_BEGIN: 2658003840

--------------------------------------------------------------

MAX_TIMER_READ: 9498247500

SUM_ERRORS: 2

OPEN_COUNT:文件当前已打开句柄的计数。如果文件打开然后关闭,则打开1次,但OPEN_COUNT列将加一然后减一,因为OPEN_COUNT列只统计当前已打开的文件句柄数,已关闭的文件句柄会从中减去。要列出server中当前打开的所有文件信息,可以使用where WHERE OPEN_COUNT> 0子句进行查看。

PS2:关于存储程序监控行为:对于在setup_objects表中启用了instruments的存储程序类型,events_statements_summary_by_program将维护存储程序的统计信息,如下所示:

MAX_TIMER_WAIT: 18446696808701862260

| events_stages_summary_by_account_by_event_name |

套接字统计表允许使用TRUNCATE TABLE语句(除events_statements_summary_by_digest之外),只将统计列重置为零,而不是删除行。

EVENT_NAME: wait/synch/mutex/mysys/THR_LOCK_heap

MIN_TIMER_WAIT: 0

......

*************************** 1. row ***************************

MIN _TIMER_WAIT: 57571000

元数据锁instruments使用wait/lock/metadata/sql/mdl,默认未开启。

performance_schema把阶段事件统计表也按照与等待事件统计表类似的规则进行分类聚合,阶段事件也有一部分是默认禁用的,一部分是开启的,阶段事件统计表包含如下几张表:

SUM_TIMER_READ_NORMAL: 0

root@localhost : performance _schema 11:08:05> select * from events_waits _summary_by_instance limit 1G

......

# events_transactions_summary_by_host_by_event_name表

MIN_TIMER_WAIT: 1905016

对于每个线程的统计信息,适用以下规则。

admin@localhost : performance_schema 09 :49:41> select * from hosts;

COUNT_FREE: 103

| 10.10.20.15 |1| 1 |

LOW _NUMBER_OF _BYTES_USED: 0

AVG _TIMER_WAIT: 56688392

SUM _SORT_MERGE_PASSES: 0

可通过如下语句查看:

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

......

COUNT_STAR: 0

1.数据库表级别对象等待事件统计

*************************** 1. row ***************************

OWNER_EVENT_ID: 54

1 row in set (0.00 sec)

·当互斥体被销毁时,从mutex_instances表中删除相应的互斥体行。

1 row in set (0.00 sec)

|TABLE | xiaoboluo |test | 140568038528544 |0| 0 |NULL | NULL |

# memory_summary_by_account_by_event_name表

| qfsys |10.10. 20.15| 1 |1|

OBJECT_SCHEMA: sys

AVG_TIMER_READ: 0

USER: root

·TOTAL_CONNECTIONS:某主机的总连接数。

| events_transactions_summary_by_account_by_event_name |

OBJECT_SCHEMA: xiaoboluo

# events_transactions_summary_global_by_event_name表

-------------------------------------- ----------------------- ---------------------

每个表都有各自的一个或多个分组列,以确定如何聚合事件信息(所有表都有EVENT_NAME列,列值与setup_instruments表中NAME列值对应),如下:

| file_summary_by_event_name |

* 通常,truncate操作会重置统计信息的基准数据(即清空之前的数据),但不会修改当前server的内存分配等状态。也就是说,truncate内存统计表不会释放已分配内存

应用程序可以使用mysql_options()和mysql_options4()C API函数在连接时提供一些要传递到server的键值对连接属性。

| Tables_in_performance_schema (%prepare%) |

-------------------------------------------------

events_waits_summary_by_account_by_event_name表:按照列EVENT_NAME、USER、HOST进行分组事件信息

COUNT_READ: 577

AVG _TIMER_WAIT: 0

COUNT_STAR: 56

SUM _TIMER_WAIT: 0

*************************** 2. row ***************************

1 row in set (0.01 sec)

·HOST:某个连接的主机名,如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

COUNT_STAR: 59

1 row in set (0.00 sec)

events_statements_summary_by_thread_by_event_name:按照每个线程和事件名称进行统计的Statement事件

·当已授予的锁或挂起的锁请求被杀死时,其锁状态从GRANTED或PENDING更新为KILLED;

MAX _TIMER_WAIT: 0

COUNT _READ_WITH _SHARED_LOCKS: 0

COUNT_STAR: 7

accounts表字段含义如下:

| memory_summary_by_host_by_event_name |

·如果是插入操作,则无法使用到索引,此时的统计值是按照INDEX_NAME = NULL计算的

EVENT_NAME: memory/innodb/fil0fil

file_instances表不允许使用TRUNCATE TABLE语句。

我们先来看看这些表中记录的统计信息是什么样子的(由于单行记录较长,这里只列出events_statements_summary_by_account_by_event_name 表中的示例数据,其余表的示例数据省略掉部分相同字段)。

2rows inset ( 0. 00sec)

USER: NULL

* 使用mysqlnd编译:只有_client_name属性,值为mysqlnd

SUM _TIMER_WAIT: 0

prepared_statements_instances表字段含义如下:

* 如果threads表中该线程的采集功能和setup_instruments表中相应的memory instruments都启用了,则该线程分配的内存块会被监控

1 row in set (0.00 sec)

......

·当一个pending状态的锁被死锁检测器检测并选定为用于打破死锁时,这个锁会被撤销,并返回错误信息(ER_LOCK_DEADLOCK)给请求锁的会话,锁状态从PENDING更新为VICTIM;

MIN _TIMER_WAIT: 0

·socket_summary_by_instance表:按照EVENT_NAME(该列有效值为wait/io/socket/sql/client_connection、wait/io/socket/sql/server_tcpip_socket、wait/io/socket/sql/server_unix_socket:)、OBJECT_INSTANCE_BEGIN列进行分组

AVG _TIMER_WAIT: 0

[Warning] Connection attributes oflength N were truncated

root@localhost : performance _schema 11:29:27> select * from events_stages _summary_by _host_by _event_name where HOST is not null limit 1G

我们先来看看表中记录的统计信息是什么样子的。

| events_waits_summary_by_thread_by_event_name |

我们先来看看表中记录的统计信息是什么样子的。

此外,按照帐户、主机、用户、线程聚合的每个等待事件统计表或者events_waits_summary_global_by_event_name表,如果依赖的连接表(accounts、hosts、users表)执行truncate时,那么依赖的这些表中的统计数据也会同时被隐式truncate 。

------------- --------------- ------------- ----------------------- ----------------- ---------------- --------------- ---------------

| events_waits_summary_by_user_by_event_name |

·NAME:与rwlock关联的instruments名称;

MAX _TIMER_READ_ONLY: 57571000

OWNER _THREAD_ID: 46

SUM_xxx:针对events_statements_*事件记录表中相应的xxx列进行统计。例如:语句统计表中的SUM_LOCK_TIME和SUM_ERRORS列对events_statements_current事件记录表中LOCK_TIME和ERRORS列进行统计

在服务器端面,会对连接属性数据进行长度检查:

# events_waits_summary_by_thread_by_event_name表

instance表记录了哪些类型的对象被检测。这些表中记录了事件名称(提供收集功能的instruments名称)及其一些解释性的状态信息(例如:file_instances表中的FILE_NAME文件名称和OPEN_COUNT文件打开次数),instance表主要有如下几个:

MIN _TIMER_WAIT: 0

# file_summary_by_instance表

root@localhost : performance _schema 11:55:11> select * from memory_summary _by_thread _by_event _name where COUNT_ALLOC!=0 limit 1G

|wait/synch/rwlock/session/LOCK_srv_session_collection | 31856216 |NULL | 0 |

USER: NULL

*************************** 1. row ***************************

*************************** 1. row ***************************

MIN _TIMER_READ: 56688392

1 row in set (0.00 sec)

* _client_license:连接器许可证类型

events_waits_summary_by_instance表:按照列EVENT_NAME、OBJECT_INSTANCE_BEGIN进行分组事件信息。如果一个instruments(event_name)创建有多个实例,则每个实例都具有唯一的OBJECT_INSTANCE_BEGIN值,因此每个实例会进行单独分组

------------------------------------ -------------------------------------- ------------

--------------------------------------------------------------

SUM _NUMBER_OF _BYTES_READ: 11567104

7rows inset ( 0. 00sec)

hosts表包含客户端连接到MySQL server的主机信息,一个主机名对应一行记录,该表针对主机作为唯一标识进行统计当前连接数和总连接数。server启动时,表的大小会自动调整。 要显式设置该表大小,可以在server启动之前设置系统变量performance_schema_hosts_size的值。如果该变量设置为0,则表示禁用hosts表统计信息。

COUNT_STAR: 3

·mutex_instances:wait sync相关的Mutex对象实例;

MAX _TIMER_WAIT: 0

·THREAD_ID:由server分配的内部线程标识符,每个套接字都由单个线程进行管理,因此每个套接字都可以映射到一个server线程(如果可以映射的话);

THREAD_ID: 46

---------------- ----------------- ---------------- ------------------

出品:沃趣科技

*************************** 1. row ***************************

1 row in set (0.00 sec)

1row inset ( 0. 00sec)

------------------------------------------------------------

admin@localhost : performance _schema 01:57:20> select * from table_lock _waits_summary _by_table where SUM _TIMER_WAIT!=0G;

SUM_TIMER_WAIT:统计给定计时事件的总等待时间。此值仅针对有计时功能的事件instruments或开启了计时功能事件的instruments,如果某事件的instruments不支持计时或者没有开启计时功能,则该字段为NULL。其他xxx_TIMER_WAIT字段值类似

·socket_summary_by_event_name:针对每个socket I/O instruments,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/* instruments产生(这里的socket是指的当前活跃的连接创建的socket实例)

* 事务事件的收集不考虑隔离级别,访问模式或自动提交模式

连接统计信息表允许使用TRUNCATE TABLE。它会同时删除统计表中没有连接的帐户,主机或用户对应的行,重置有连接的帐户,主机或用户对应的行的并将其他行的CURRENT_CONNECTIONS和TOTAL_CONNECTIONS列值。

HOST: NULL

1row inset ( 0. 00sec)

THREAD_ID: 47

------- ------------- --------------------- -------------------

# events_statements_summary_by_thread_by_event_name表

- END -

# events_waits_summary_by_user_by_event_name表

......

1 row in set (0.00 sec)

通过对以下两个表执行查询,可以实现对应用程序的监控或DBA可以检测到涉及互斥体的线程之间的瓶颈或死锁信息(events_waits_current可以查看到当前正在等待互斥体的线程信息,mutex_instances可以查看到当前某个互斥体被哪个线程持有)。

OBJECT_TYPE: PROCEDURE

OBJECT _INSTANCE_BEGIN: 2658004160

performance_schema把语句事件统计表也按照与等待事件统计表类似的规则进行分类统计,语句事件instruments默认全部开启,所以,语句事件统计表中默认会记录所有的语句事件统计信息,语句事件统计表包含如下几张表:

| FILE_NAME |EVENT_NAME | OPEN_COUNT |

events_statements_summary_by_account_by_event_name:按照每个帐户和语句事件名称进行统计

我们先来看看表中记录的统计信息是什么样子的。

MAX _TIMER_WAIT: 0

·setup_instruments表列出了instruments名称,这些互斥体都带有wait/synch/mutex/前缀;

EVENT_NAME: statement/sql/select

3.文件I/O事件统计

| events_waits_summary_by_account_by_event_name |

------------------------------------------------------- ----------------------- --------------------------- ----------------------

AVG _TIMER_READ_ONLY: 57571000

* _client_version:客户端库版本

# events_transactions_summary_by_thread_by_event_name表

EVENT_NAME: wait/io/socket/sql/server_unix_socket

* LOW_NUMBER_OF_BYTES_USED和HIGH_NUMBER_OF_BYTES_USED将重置为CURRENT_NUMBER_OF_BYTES_USED列值

---------------------------------- -----------------------

性能事件统计表在setup_consumers表中只受控于"global_instrumentation"配置项,也就是说一旦"global_instrumentation"配置项关闭,所有的统计表的统计条目都不执行统计(统计列值为0);

·socket_summary_by_instance:针对每个socket实例的所有 socket I/O操作,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/* instruments产生。但当连接中断时,在该表中对应socket连接的信息行将被删除(这里的socket是指的当前活跃的连接创建的socket实例)

| events_transactions_summary_global_by_event_name |

metadata_locks表是只读的,无法更新。默认保留行数会自动调整,如果要配置该表大小,可以在server启动之前设置系统变量performance_schema_max_metadata_locks的值。

......

| NAME |OBJECT_INSTANCE_BEGIN | WRITE_LOCKED_BY_THREAD_ID |READ_LOCKED_BY_COUNT |

| events_stages_summary_global_by_event_name |

1row inset ( 0. 00sec)

root@localhost : performance _schema 11:08:23> select * from events_waits _summary_by _thread_by _event_name limit 1G

该表包含有关内部和外部锁的信息:

* 如果一个线程没有开启采集功能,但是内存相关的instruments启用了,则该内存释放的操作会被监控到,统计数据会发生改变,这也是前面提到的为啥反复在运行时修改memory instruments可能导致统计数据为负数的原因

performance_schema还统计后台线程和无法验证用户的连接,对于这些连接统计行信息,USER和HOST列值为NULL。

-------------------------------------------------

* file_summary_by_instance表:有额外的FILE_NAME、OBJECT_INSTANCE_BEGIN列,按照FILE_NAME、EVENT_NAME列进行分组,与file_summary_by_event_name 表相比,file_summary_by_instance表多了FILE_NAME和OBJECT_INSTANCE_BEGIN字段,用于记录具体的磁盘文件相关信息。

root@localhost : performance _schema 11:56:02> select * from memory_summary _global_by _event_name where COUNT_ALLOC!=0 limit 1G

·CURRENT_CONNECTIONS:某主机的当前连接数;

SUM _NUMBER_OF _BYTES_ALLOC: 3296

| /data/mysqldata1/innodb_ts/ibdata1 |wait/io/file/innodb/innodb_data_file | 3 |

* CURRENT_NUMBER_OF_BYTES_USED:减少N

我们先来看看表中记录的统计信息是什么样子的。

FIRST_SEEN: 2018-05-19 22:33:50

OBJECT_SCHEMA: xiaoboluo

内存事件在setup_consumers表中没有独立的配置项,且memory/performance_schema/* instruments默认启用,无法在启动时或运行时关闭。performance_schema相关的内存统计信息只保存在memory_summary_global_by_event_name表中,不会保存在按照帐户,主机,用户或线程分类聚合的内存统计表中。

accounts表包含连接到MySQL server的每个account的记录。对于每个帐户,没个user host唯一标识一行,每行单独计算该帐号的当前连接数和总连接数。server启动时,表的大小会自动调整。要显式设置表大小,可以在server启动之前设置系统变量performance_schema_accounts_size的值。该系统变量设置为0时,表示禁用accounts表的统计信息功能。

* CURRENT_NUMBER_OF_BYTES_USED:增加N

root@localhost : performance _schema 04:44:00> select * from socket_summary _by_event_nameG;

* CURRENT_COUNT_USED:这是一个便捷列,等于COUNT_ALLOC - COUNT_FREE

------------------------------------------------------- ----------------------- --------------------------- ----------------------

events_statements_summary_by_digest:按照每个库级别对象和语句事件的原始语句文本统计值(md5 hash字符串)进行统计,该统计值是基于事件的原始语句文本进行精炼(原始语句转换为标准化语句),每行数据中的相关数值字段是具有相同统计值的统计结果。

·OBJECT_SCHEMA:该锁来自于哪个库级别的对象;

EVENT_NAME: stage/sql/After create

IP:PORT列组合值可用于标识一个连接。该组合值在events_waits_xxx表的“OBJECT_NAME”列中使用,以标识这些事件信息是来自哪个套接字连接的:

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

从上面表中的记录信息我们可以看到,table_io_waits_summary_by_index_usage表和table_io_waits_summary_by_table有着类似的统计列,但table_io_waits_summary_by_table表是包含整个表的增删改查等待事件分类统计,table_io_waits_summary_by_index_usage区分了每个表的索引的增删改查等待事件分类统计,而table_lock_waits_summary_by_table表统计纬度类似,但它是用于统计增删改查对应的锁等待时间,而不是IO等待时间,这些表的分组和统计列含义请大家自行举一反三,这里不再赘述,下面针对这三张表做一些必要的说明:

root@localhost : performance _schema 11:07:09> select * from events_waits _summary_by _account_by _event_name limit 1G

OBJECT _INSTANCE_BEGIN: 2655350784

events_statements_summary_by_digest表有自己额外的统计列:

PS:socket统计表不会统计空闲事件生成的等待事件信息,空闲事件的等待信息是记录在等待事件统计表中进行统计的。

罗小波·沃趣科技高级数据库技术专家

·SOCKET_ID:分配给套接字的内部文件句柄;

| events_waits_summary_by_host_by_event_name |

我们先来看看表中记录的统计信息是什么样子的。

SUM _TIMER_WAIT: 0

·COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,SUM_NUMBER_OF_BYTES_WRITE:这些列统计了所有发送操作(socket的SEND、SENDTO、SENDMSG类型操作,即以server为参照的socket写入数据的操作)相关的次数、时间、接收字节数等信息

检测内存工作负载峰值、内存总体的工作负载稳定性、可能的内存泄漏等是至关重要的。

OWNER_OBJECT_SCHEMA: NULL

SUM_WARNINGS: 0

performance_schema通过table_handles表记录表锁信息,以对当前每个打开的表所持有的表锁进行追踪记录。table_handles输出表锁instruments采集的内容。这些信息显示server中已打开了哪些表,锁定方式是什么以及被哪个会话持有。

SUM_ROWS_SENT: 1635

*************************** 1. row ***************************

MAX_TIMER_WAIT: 80968744000

*************************** 1. row ***************************

SUM _TIMER_WAIT: 0

根据请求锁的线程数以及所请求的锁的性质,访问模式有:独占模式、共享独占模式、共享模式、或者所请求的锁不能被全部授予,需要先等待其他线程完成并释放。

# events_statements_summary_by_host_by_event_name表

表字段含义与session_account_connect_attrs表字段含义相同。

IT从业多年,历任运维工程师、高级运维工程师、运维经理、数据库工程师,曾参与版本发布系统、轻量级监控系统、运维管理平台、数据库管理平台的设计与编写,熟悉MySQL体系结构,Innodb存储引擎,喜好专研开源技术,追求完美。

6.instance 统计表

EVENT_NAME: transaction

---------------------------------- -----------------------

# 如果需要统计内存事件信息,需要开启内存事件采集器

users表包含连接到MySQL server的每个用户的连接信息,每个用户一行。该表将针对用户名作为唯一标识进行统计当前连接数和总连接数,server启动时,表的大小会自动调整。 要显式设置该表大小,可以在server启动之前设置系统变量performance_schema_users_size的值。该变量设置为0时表示禁用users统计信息。

MAX _TIMER_WAIT: 0

对于代码中的每个互斥体,performance_schema提供了以下信息:

-------------------------------------------------

------------------------------------------------------- ----------------------- --------------------------- ----------------------

-------------------------------------------------

*************************** 1. row ***************************

SUM_TIMER_WAIT: 234614735000

·COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,SUM_NUMBER_OF_BYTES_READ:这些列统计所有接收操作(socket的RECV、RECVFROM、RECVMS类型操作,即以server为参照的socket读取数据的操作)相关的次数、时间、接收字节数等信息

COUNT_ALLOC: 193

·LOCK_TYPE:元数据锁子系统中的锁类型。有效值为:INTENTION_EXCLUSIVE、SHARED、SHARED_HIGH_PRIO、SHARED_READ、SHARED_WRITE、SHARED_UPGRADABLE、SHARED_NO_WRITE、SHARED_NO_READ_WRITE、EXCLUSIVE;

HOST: NULL

一个连接可见的连接属性集合取决于与mysql server建立连接的客户端平台类型和MySQL连接的客户端类型。

*************************** 1. row ***************************

| wait/synch/mutex/mysys/THR_LOCK_heap |32576832| NULL |

* LOW_COUNT_USED和LOW_NUMBER_OF_BYTES_USED是较低的低水位估算值。performance_schema输出的低水位值可以保证统计表中的内存分配次数和内存小于或等于当前server中真实的内存分配值

| HOST |CURRENT_CONNECTIONS | TOTAL_CONNECTIONS |

* LOW_COUNT_USED和HIGH_COUNT_USED将重置为CURRENT_COUNT_USED列值

·OWNER_OBJECT_TYPE,OWNER_OBJECT_SCHEMA,OWNER_OBJECT_NAME:对于由客户端会话使用SQL语句直接创建的prepare语句,这些列值为NULL。对于由存储程序创建的prepare语句,这些列值显示相关存储程序的信息。如果用户在存储程序中忘记释放prepare语句,那么这些列可用于查找这些未释放的prepare对应的存储程序,使用语句查询:SELECT OWNER_OBJECT_TYPE,OWNER_OBJECT_SCHEMA,OWNER_OBJECT_NAME,STATEMENT_NAME,SQL_TEXT FROM performance_schema.prepared_statemments_instances WHERE OWNER_OBJECT_TYPE IS NOT NULL;

可通过如下语句查看语句事件统计表:

·metadata_locks:元数据锁的持有和请求记录;

关于events_statements_summary_by_digest表

·prepare语句执行:为已检测的prepare语句实例执行COM_STMT_EXECUTE或SQLCOM_PREPARE命令,同时会更新prepare_statements_instances表中对应的行信息。

*************************** 1. row ***************************

·EXTERNAL_LOCK:在存储引擎级别使用的表锁。有效值为:READ EXTERNAL、WRITE EXTERNAL。

Query OK, 377 rows affected (0.00 sec)

·当一个线程正在等待某事发生时,condition NAME列显示了线程正在等待什么condition(但该表中并没有其他列来显示对应哪个线程等信息),但是目前还没有直接的方法来判断某个线程或某些线程会导致condition发生改变。

USER: NULL

| socket_summary_by_event_name |

*************************** 1. row ***************************

table_handles表不允许使用TRUNCATE TABLE语句。

COUNT _READ_ONLY: 1

SUM_TIMER_READ: 0

402cc永利手机版 2

·PROCESSLIST_ID:会话的连接标识符,与show processlist结果中的ID字段相同;

SUM _TIMER_WAIT: 8649707000

·OBJECT_SCHEMA:该锁来自于哪个库级别的对象;

MIN _TIMER_WAIT: 0

·PORT:TCP/IP端口号,取值范围为0〜65535;

AVG _TIMER_WAIT: 0

mutex_instances表字段含义如下:

MAX _TIMER_READ_WRITE: 2427645000

session_account_connect_attrs表字段含义:

PS:对这些表使用truncate语句,影响与等待事件类似。

·TOTAL_CONNECTIONS:某帐号的总连接数(新增加一个连接累计一个,不会像当前连接数那样连接断开会减少)。

*************************** 1. row ***************************

| table_lock_waits_summary_by_table |# 按照每个表进行统计的表锁等待事件

*************************** 1. row ***************************

402cc永利手机版 3

SUM _TIMER_WAIT: 0

SUM_ERRORS: 0

......

* 已完成的等待事件将添加到events_waits_history和events_waits_history_long表中 ;

USER: root

EVENT_NAME: wait/io/file/innodb/innodb_data_file

1 row in set (0.00 sec)

套接字事件统计了套接字的读写调用次数和发送接收字节计数信息,socket事件instruments默认关闭,在setup_consumers表中无具体的对应配置,包含如下两张表:

admin@localhost : performance_schema 06:37:45> show tables like '%events_transactions_summary%';

·OBJECT_INSTANCE_BEGIN:prepare语句事件的instruments 实例内存地址。

# events_stages_summary_by_user_by_event_name表

* _client_name:客户端名称(客户端库的libmysql)

内存事件统计表有如下几张表:

·OBJECT_INSTANCE_BEGIN:读写锁实例的内存地址;

MIN_TIMER_WAIT: 72775000

(2)users表

MIN _TIMER_WAIT: 0

admin@localhost : performance_schema 09 :50:01> select * from users;

AVG _TIMER_WAIT: 0

rwlock_instances表字段含义如下:

COUNT_STAR: 7

admin@localhost : performance_schema 06:50:03> show tables like '%table%summary%';

COUNT_STAR: 0

COUNT_READ_NORMAL: 0

| 事务事件统计表

这些连接表都允许使用TRUNCATE TABLE语句:

* FIRST_SEEN,LAST_SEEN:显示某给定语句第一次插入 events_statements_summary_by_digest表和最后一次更新该表的时间戳

MIN_TIMER_READ: 0

| events_statements_summary_by_user_by_event_name |

EVENT_NAME: wait/io/socket/sql/client_connection

LOW_COUNT_USED: 0

......

从上面表中的示例记录信息中,我们可以看到:

-------------------------------------- ----------------------- ---------------------

SUM_SORT_RANGE: 0

MAX_TIMER_READ_NORMAL: 0

当某给定对象在server中首次被使用时(即使用call语句调用了存储过程或自定义存储函数时),将在events_statements_summary_by_program表中添加一行统计信息;

------------- --------------------- -------------------

在上一篇《事件记录 | performance_schema全方位介绍"》中,我们详细介绍了performance_schema的事件记录表,恭喜大家在学习performance_schema的路上度过了两个最困难的时期。现在,相信大家已经比较清楚什么是事件了,但有时候我们不需要知道每时每刻产生的每一条事件记录信息, 例如:我们希望了解数据库运行以来一段时间的事件统计数据,这个时候就需要查看事件统计表了。今天将带领大家一起踏上系列第四篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema中事件统计表。统计事件表分为5个类别,分别为等待事件、阶段事件、语句事件、事务事件、内存事件。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

3 rows in set (0.00 sec)

AVG _TIMER_WAIT: 0

|NULL | NULL |41| 45 |

Rows matched: 377 Changed: 377 Warnings: 0

......

下一篇将为大家分享 《数据库对象事件统计与属性统计 | performance_schema全方位介绍》 ,谢谢你的阅读,我们不见不散!返回搜狐,查看更多

·SOURCE:源文件的名称,其中包含生成事件信息的检测代码行号;

--------------------------------------------------------

* 如果log_error_verbosity系统变量设置值大于1,则performance_schema还会将错误信息写入错误日志:

* 如果一个线程开启了采集功能,但是内存相关的instruments没有启用,则该内存释放操作不会被监控到,统计数据也不会发生改变

·NAME:与互斥体关联的instruments名称;

------------------------------------------

·WRITE_LOCKED_BY_THREAD_ID:当一个线程当前在独占(写入)模式下持有一个rwlock时,WRITE_LOCKED_BY_THREAD_ID列可以查看到持有该锁的线程THREAD_ID,如果没有被任何线程持有则该列为NULL;

| events_statements_summary_by_host_by_event_name |

truncate *_summary_global统计表也会隐式地truncate其对应的连接和线程统计表中的信息。例如:truncate events_waits_summary_global_by_event_name会隐式地truncate按照帐户,主机,用户或线程统计的等待事件统计表。

root@localhost : performance _schema 11:03:19> select * from events_statements _summary_by _thread_by _event_name where COUNT_STAR!=0 limit 1G

* _platform:客户端机器平台(例如,x86_64)

* CURRENT_NUMBER_OF_BYTES_USED:当前已分配的内存块但未释放的统计大小。这是一个便捷列,等于SUM_NUMBER_OF_BYTES_ALLOC

·execute步骤:语法EXECUTE stmt_name[USING @var_name [, @var_name] …],示例:execute stmt; 返回执行结果为1,此时在prepared_statements_instances表中的统计信息会进行更新;

root@localhost : performance _schema 11:53:24> select * from memory_summary _by_account _by_event _name where COUNT_ALLOC!=0 limit 1G

·server 监听一个socket以便为网络连接协议提供支持。对于监听TCP/IP或Unix套接字文件连接来说,分别有一个名为server_tcpip_socket和server_unix_socket的socket_type值,组成对应的instruments名称;

SUM _TIMER_READ_ONLY: 57571000

EVENT_NAME: wait/io/socket/sql/server_unix_socket

# events_waits_summary_by_account_by_event_name表

admin@localhost : performance _schema 11:10:42> select * from objects_summary _global_by _type where SUM_TIMER_WAIT!=0G;

......

* FEDERATED存储引擎连接的program_name属性值被定义为mysqld、定义了_client_role属性,值为federated_storage

我们先来看看这些表中记录的统计信息是什么样子的。

OBJECT _INSTANCE_BEGIN: 139968890586816

| Tables_in_performance_schema (%events_transactions_summary%) |

·当请求立即获取元数据锁时,将插入状态为GRANTED的锁信息行;

PS:等待事件统计表允许使用TRUNCATE TABLE语句。

MAX_TIMER_READ: 0

root@localhost : performance _schema 01:27:27> select * from events_transactions _summary_by _user_by _event_name where SUM _TIMER_WAIT!=0G

·session_account_connect_attrs:记录当前会话及其相关联的其他会话的连接属性;

COUNT_STAR: 7

......

* 读写事务通常比只读事务占用更多资源,因此事务统计表包含了用于读写和只读事务的单独统计列

admin@localhost : performance_schema 11:00:45> select * from session_account_connect_attrs;

root@localhost : performance _schema 01:27:32> select * from events_transactions _summary_global _by_event _name where SUM_TIMER_WAIT!=0G

·events_waits_current:查看线程正在等待什么rwlock;

*************************** 1. row ***************************

7.锁对象记录表

# events_stages_summary_by_host_by_event_name表

·PRE_ACQUIRE_NOTIFY和POST_RELEASE_NOTIFY状态值停留事件都很简短,当一个锁处于这个状态时,那么表示元数据锁子系统正在通知相关的存储引擎该锁正在执行分配或释。这些状态值在5.7.11版本中新增。

EVENT_NAME: memory/innodb/fil0fil

* _runtime_version:Java运行环境(JRE)版本

从上面表中的示例记录信息中,我们可以看到,同样与等待事件类似,按照用户、主机、用户 主机、线程等纬度进行分组与统计的列,分组列与等待事件类似,这里不再赘述,但对于内存统计事件,统计列与其他几种事件统计列不同(因为内存事件不统计时间开销,所以与其他几种事件类型相比无相同统计列),如下:

·当之前请求不能立即获得的锁在这之后被授予时,其锁信息行状态更新为GRANTED;

5rows inset ( 0. 00sec)

performance_schema如何管理metadata_locks表中记录的内容(使用LOCK_STATUS列来表示每个锁的状态):

root@localhost : performance _schema 11:08:53> select * from events_waits _summary_global _by_event_name limit 1G

AVG _TIMER_READ: 56688392

| Tables_in_performance_schema (%events_waits_summary%) |

| PROCESSLIST_ID |ATTR_NAME | ATTR_VALUE |ORDINAL_POSITION |

*************************** 1. row ***************************

本文由402cc永利手机版发布于科技技术,转载请注明出处:performance_schema全方位介绍

关键词: 402cc永利手机版