如何理解InnoDB引擎
这期内容当中小编将会给大家带来有关如何理解InnoDB引擎,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
一、综述innodb的物理文件包括系统表空间文件ibdata,用户表空间文件ibd,日志文件ib_logfile,临时表空间文件ibtmp,undo独立表空间等。
系统表空间是innodb最重要的文件,它记录包括元数据信息,事务系统信息,ibuf信息,double write等关键信息。
用户表空间文件通常分为两类,一类是当innodb_file_per_table打开时,一个用户表空间对应一个文件,另外一种则是5.7版本引入的所谓General Tablespace,在满足一定约束条件下,可以将多个表创建到同一个文件中。
日志文件主要用于记录redo log。innodb在所有数据变更前,先写redo日志。为保证redo日志原子写入,日志通常以512字节的block单位写入。但由于现代文件系统升级,block_size通常设置到了4k,因此innodb也提供了一个选项支持redo日志以4k为单位写入。
临时表空间文件用于存储所有非压缩的临时表,第1~32个临时表专用的回滚段也存放在该文件中。由于临时表的本身属性,该文件在重启时会重新创建。
undo独立表空间是innodb的一个可选项,由innodb_undo_tablespaces配置。默认情况下,该值为0,即undo数据是存储在ibdata中。innodb_undo_tablespaces 设置为非0,可使得undo 回滚段分配到不同的文件中,目前开启undo tablespace 只能在install阶段进行。
上述文件除日志文件外,都具有较为统一的物理结构。所有物理文件由页(page 或 block)构成,在未被压缩情况下,一个页的大小为UNIV_PAGE_SIZE(16384,16K)。不同用途的页具有相同格式的页头(38)和页尾(8),其中记录了页面校验值,页面编号,表空间编号,LSN等通用信息,详见下表。所有page通过一定方式组织起来,下面我们分别从物理结构,逻辑结构,文件管理过程来具体了解innodb的文件结构。
二、文件物理结构2.1 基本物理结构innodb 的每个数据文件都归属于一个表空间(tablespace),不同的表空间使用一个唯一标识的space id来标记。值得注意的是,系统表空间ibdata虽然包括不同文件ibdata1, ibdata2…,但这些文件逻辑上是相连的,这些文件同属于space_id为0的表空间。
表空间内部,所有页按照区(extent)为物理单元进行划分和管理。extent内所有页面物理相邻。对于不同的page size,对应的extent大小也不同,对应为:
通常情况下,extent由64个物理连续的页组成,表空间可以理解为由一个个物理相邻的extent组成。为了组织起这些extent,每个extent都有一个占40字节的XDES entry。利用XDES entry,我们可以方便地了解到该extent每页空闲与否,以及其当前状态。其格式如下:
所有XDES entry都统一放在extent描述页中,一个extent描述页至多存放256个XDES entry,用于管理其随后物理相邻的256个extent(256*64 = 16384 page),如下图所示所示:
由图可见,每个XDES entry有严格对应的页面,其对应页面上下界可以描述为:
min_scope=extent描述页page_no+xdes编号*64max_scope=(extent描述页page_no+xdes编号*64)+63
值得注意的是,其中 page 0的extent描述页还记录了与该table space相关的信息(FSP HEADER),其类型为FIL_PAGE_TYPE_FSP_HDR。其他extent描述页的类型相同,为FIL_PAGE_TYPE_XDES。
2.2 系统数据页系统表空间(ibdata)不仅存放了SYS_TABLE / SYS_INDEX 等系统表的数据,还存放了回滚信息(undo),插入缓冲索引页(IBUF bitmap),系统事务信息(trx_sys),二次写缓冲(double write)等信息。
innodb中核心的数据都存放在ibdata中的系统数据页中。系统数据页主要包括:FIL_PAGE_TYPE_FSP_HDR, FIL_PAGE_IBUF_BITMAP, FIL_PAGE_TYPE_SYS, IBUF_ROOT_PAGE, FIL_PAGE_TYPE_TRX_SYS, FIL_PAGE_TYPE_SYS, DICT_HDR_PAGE等。
FIL_PAGE_TYPE_FSP_HDR/FIL_PAGE_TYPE_XDES
extent描述页(page 0/16384/32768/… ),上文已述及,故不再展开。
FIL_PAGE_IBUF_BITMAP
ibdata第2个page类型为FIL_PAGE_IBUF_BITMAP,主要用于跟踪随后的每个page的change buffer信息。由于bitmap page的空间有限,同样每隔256个extent Page之后,也会在XDES PAGE之后创建一个ibuf bitmap page。
FIL_PAGE_INODE
ibdata的第3个page的类型为FIL_PAGE_INODE,用于管理数据文件中的segment,每个inode页可以存储FSP_SEG_INODES_PER_PAGE(默认为85)个记录。segment是表空间管理的逻辑单位,每个索引占用2个segment,分别用于管理叶子节点和非叶子节点。关于segment的详细介绍,将在第三节展开。
FSP_IBUF_HEADER_PAGE_NO 和 FSP_IBUF_TREE_ROOT_PAGE_NO
上述两个页分别是Ibdata的第4个page和第5个page。change buffer本质上也是btree结构,其root页固定在第5个page FSP_IBUF_TREE_ROOT_PAGE_NO。由于FSP_IBUF_TREE_ROOT_PAGE_NO中原先用于记录leaf inode entry的字段被用于维护空闲page链表了,因此ibdata需要使用第4页FSP_IBUF_TREE_ROOT_PAGE_NO 来对ibuf进行空间管理。
FSP_TRX_SYS_PAGE_NO
ibdata第6个page的类型为FSP_TRX_SYS_PAGE_NO,记录了innodb重要的事务系统信息,包括持久化的最大事务ID,以及128个rseg(rollback segment)的地址,double write位置等。这128个rseg中,rseg0固定在ibdata中,rseg1-rseg32用于管理临时表,rseg33-rseg128 当未开启undo独立表空间 (innodb undo tablespace = 0)时,仍放在ibdata中,否则放在undo独立表空间中。每个rseg中记录了1024个slot,每个slot也都可对应一个事务,用于管理该事务的undo记录。由于每个slot也需要申请和释放page,因此每个slot也对应一个segment(空间管理逻辑单位)。
FSP_DICT_HDR_PAGE_NO
ibdata第8个page的类型为FSP_DICT_HDR_PAGE_NO,用来存储数据词典表的信息 。该页存储了SYS_TABLES,SYS_TABLE_IDS,SYS_COLUMNS,SYS_INDEXES和SYS_FIELDS的root page,以及当前最大的TABLE_ID/ROW_ID/INDEX_ID/SPACE_ID。当对用户表操作时,需要先从数据字典表中获取到用户表对应的表空间,以及其索引root页的page_no,才能定位到具体数据的位置,对其进行增删改查。(只有拿到数据词典表,才能根据其中存储的表信息,进一步找到其对应的表空间,以及表的聚集索引所在的page no)
double write buffer
innodb使用double write buffer来防止数据页的部分写问题,在写一个数据页之前,总是先写double write buffer,再写数据文件。当崩溃恢复时,如果数据文件中page损坏,会尝试从dblwr中恢复。double write buffer总共128个page,划分为两个block。由于dblwr在安装实例时已经初始化好了,这两个block在Ibdata中具有固定的位置,page64 ~127 划属第一个block,page 128 ~191划属第二个block。
当innodb_file_per_table为off状态时,所有用户表也将和SYS_TABLE / SYS_INDEX 等系统表一样,存储在ibdata中。当开启innodb_file_per_table时,innodb会为每一个用户表建立一个独立的ibd文件。该ibd文件存放了对应用户表的索引数据和插入缓冲bitmap。而该表的回滚数据(undo)仍记录在ibdata中。
三、文件逻辑结构3.1 基本逻辑结构innodb为了组织各extent,在表空间的第一个page还维护了三个extent的链表:FSP_FREE、FSP_FREE_FRAG、FSP_FULL_FRAG。分别将extent完全未被使用,部分被使用,完全被使用的Xdes entry串联起来。如下图所示:
段(segment 或称 inode)是用来管理物理文件的逻辑单位,可以向表空间申请分配和释放page或extent,是构成索引,回滚段的基本元素。为节省空间,每个segment都先从表空间FREE_FRAG中分配32个页(FSEG_FRAG_ARR),当这些32个页面不够使用时。按照以下原则进行扩展:如果当前小于1个extent,则扩展到1个extent满;当表空间小于32MB时,每次扩展一个extent;大于32MB时,每次扩展4个extent。
在为segment分配空闲的extent时,如果表空间FSP_FREE上没有空闲的extent,则会为FSP_FREE重新初始化一些空闲extent。extent的分配类似于实现了一套借还机制。segment向表空间租借extent,只有segment退还该空间时,该extent才能重新出现在FSP_FREE/FSP_FULL_FRAG/FSP_FULL中。
segment内部为了管理起这些分配来的extent。也有三个extent链表:FSEG_FREE、FSEG_NOT_FULL、FSEG_FULL,也分别对应extent完全未被使用,部分被使用,完全被使用的Xdes entry。segment的结构如下图所示
inode entry是用于管理segment的结构,一个inode entry对应一个segment。segment的32个页(FSEG_FRAG_ARR),FSEG_FREE、FSEG_NOT_FULL、FSEG_FULL等信息都记录在inode entry中。inode entry的具体结构如下表所示:
inode entry所在的inode page有可能存放满,因此又通过头page(FIL_PAGE_TYPE_FSP_HDR)中维护了两个inode Page链表FSP_SEG_INODES_FULL和FSP_SEG_INODES_FREE。前者对应没有空闲inode entry的inode page链表,后者对应的至少有一个空闲inode entry的inode page链表,如下图所示:
3.2 索引ibd文件中真正构建起用户数据的结构是btree。表中的每一个索引对应一个btree。主键(cluster index)对应btree的叶子节点上记录了行的全部列数据(加上transaction id列及rollback ptr)。当表中无主键时,innodb会为该表每一行分配一个唯一的rowID,并基于它构造btree。如果表中存在二级索引(secondary index),那么其btree叶子节点存储了键值加上cluster index索引键值。
每个btree使用两个Segment来管理数据页,一个管理叶子节点(leaf segment),一个管理非叶子节点(non-leaf segment)。这两个segment的inode entry地址记录在btree的root page中。root page分配在non-leaf segment第一个碎片页上(FSEG_FRAG_ARR)。
当对一个表进行增删改查的操作时,我们首先需要从ibdata的第8页FSP_DICT_HDR_PAGE_NO中load改表的元数据信息,从SYS_INDEXES表中获取该表各索引对应的root page no,进而通过root page对这个表的用户数据btree进行操作。表空间的逻辑结构如下图所示:
索引最基本的页类型为FIL_PAGE_INDEX,其结构如下表所示。Index Header中记录了page所在btree层次,所属index ID,page directory槽数等与页面相关的信息。Fseg Header中记录了该index的leaf-segment和non-leaf segment的inode entry,system records包括infimum和supremum,分别代表该页最小、最大记录虚拟记录。page directory是页内记录的索引。btree只能检索到记录所在的page,page内的检索需要使用到通过page directory构建起的二分查找。
innodb按行存放数据。当前MySQL支持等行格式包括antelope(compact和redundant),和barracuda(dynamic和compressed)。barracuda与antelope主要区别在于其处理行外数据等方式,barracuda只存储行外数据等地址指针,不像antelope一样存放768字节的行前缀内容。以compact行格式为例介绍行格式的具体内容,如下图所示,行由变长字段长度列表、NULL标志位、记录头信息、系统列、用户列组成。记录头信息中存放删除标志、列总数、下行相对偏移等信息、系统列包括rowID、transactionID、rollback pointer等组成。
四、文件管理过程下面用精简后的源码来简单介绍innodb文件的管理过程。
4.1 btree的创建过程btree的创建过程可以概括为:先创建non_leaf segment,利用non_leaf segment的首页(即32个碎片页中第一页)作为root page;然后创建leaf_segment;最后对root page进行必要的初始化。详细过程请参考以下代码:
btr_create(ulinttype,ulintspace,constpage_size_t&page_size,index_id_tindex_id,dict_index_t*index,constbtr_create_t*btr_redo_create_info,mtr_t*mtr){/*indextree的segmentheaders存储于新分配的rootpage中,ibuftree的segmentheaders放在独立的ibufheaderpage中。以下代码屏蔽了ibuftree的创建逻辑,重点介绍indextree的创建过程*//*局部变量*/.../*创建一个non_leafsegment段,并将段的地址存储到段首页偏移为PAGE_HEADER+PAGE_BTR_SEG_TOP的位置,用block记录下non_leafsegment段首页page对应的block,该block将作为该btree的rootpage*/block=fseg_create(space,0,PAGE_HEADER+PAGE_BTR_SEG_TOP,mtr);if(block==NULL){return(FIL_NULL);}/*记录下rootpage的信息*/page_no=block->page.id.page_no();frame=buf_block_get_frame(block);/*创建leaf_segment,并将段首存储到rootpage上偏移为PAGE_HEADER+PAGE_BTR_SEG_LEAF的位置*/if(!fseg_create(space,page_no,PAGE_HEADER+PAGE_BTR_SEG_LEAF,mtr)){/*没有足够的空间分配新的segment,需要释放掉已分配的rootpage*/btr_free_root(block,mtr);return(FIL_NULL);}/*在rootpage上做indexpage的初始化,根据页面压缩与否做不同处理*/page_zip=buf_block_get_page_zip(block);if(page_zip){/*其他逻辑*/page=page_create_zip(block,index,0,0,NULL,mtr);}else{/*其他逻辑*/page=page_create(block,mtr,dict_table_is_comp(index->table),dict_index_is_spatial(index));}/*在rootpage上设置其所在的indexid*/btr_page_set_index_id(page,page_zip,index_id,mtr);/*将rootpage的前后页面设置为NULL*/btr_page_set_next(page,page_zip,FIL_NULL,mtr);btr_page_set_prev(page,page_zip,FIL_NULL,mtr);/*其他逻辑*//*返回rootpage的页面号*/return(page_no);}4.2 segment的创建过程
segment的创建过程比较简单:先在inode page中为segment分配一个inode entry,然后再inode entry上进行初始化,更新space header里的最大segment id,即可。需要注意的是:当传入的page 为0 时,意味着要创建一个独立的segment,需要将当前的inode entry地址记录在段首page中,并返回;当传入的page非0时,segment需要在指定的page的指定位置记录下当前的inode entry地址。详细过程请参考代码:
buf_block_t*fseg_create_general(/*================*/ulintspace_id,/*!<in:spaceid*/ulintpage,/*!<in:pagewherethesegmentheaderisplaced:ifthisis!=0,thepagemustbelongtoanothersegment,ifthisis0,anewpagewillbeallocatedanditwillbelongtothecreatedsegment*/ulintbyte_offset,/*!<in:byteoffsetofthecreatedsegmentheaderonthepage*/iboolhas_done_reservation,/*!<in:TRUEifthecallerhasalreadydonethereservationforthepageswithfsp_reserve_free_extents(atleast2extents:onefortheinodeandtheotherforthesegment)thenthereisnoneedtodothecheckforthisindividualoperation*/mtr_t*mtr)/*!<in/out:mini-transaction*/{/*局部变量*/.../*如果传入的page是0,则创建一个独立的段,并把segmentheader的信息存储在段首page中。如果传入page是非0,则这是一个非独立段,需要将segmentheader的信息存储在指定page的指定位置上*/if(page!=0){/*获取指定page*/block=buf_page_get(page_id_t(space_id,page),page_size,RW_SX_LATCH,mtr);header=byte_offset+buf_block_get_frame(block);}/*其他逻辑*//*获取spaceheader和inode_entry*/space_header=fsp_get_space_header(space_id,page_size,mtr);inode=fsp_alloc_seg_inode(space_header,mtr);if(inode==NULL){gotofunct_exit;}/*获取当前表空间最大segmentid,并更新表空间最大segmentid*/seg_id=mach_read_from_8(space_header+FSP_SEG_ID);mlog_write_ull(space_header+FSP_SEG_ID,seg_id+1,mtr);/*初始化inodeentry的segmentid和FSEG_NOT_FULL_N_USED*/mlog_write_ull(inode+FSEG_ID,seg_id,mtr);mlog_write_ulint(inode+FSEG_NOT_FULL_N_USED,0,MLOG_4BYTES,mtr);/*初始化inodeentry的三个extent链表*/flst_init(inode+FSEG_FREE,mtr);flst_init(inode+FSEG_NOT_FULL,mtr);flst_init(inode+FSEG_FULL,mtr);/*初始化innodeentry的32个碎片页*/mlog_write_ulint(inode+FSEG_MAGIC_N,FSEG_MAGIC_N_VALUE,MLOG_4BYTES,mtr);for(i=0;i<FSEG_FRAG_ARR_N_SLOTS;i++){fseg_set_nth_frag_page_no(inode,i,FIL_NULL,mtr);}/*如果传入的page是0,则分配一个段首page*/if(page==0){block=fseg_alloc_free_page_low(space,page_size,inode,0,FSP_UP,RW_SX_LATCH,mtr,mtr#ifdefUNIV_DEBUG,has_done_reservation#endif/*UNIV_DEBUG*/);header=byte_offset+buf_block_get_frame(block);mlog_write_ulint(buf_block_get_frame(block)+FIL_PAGE_TYPE,FIL_PAGE_TYPE_SYS,MLOG_2BYTES,mtr);}/*在page指定位置记录segmentheader,segmentheader由inodepage所在的spaceid,pageno,以及inodeentry的在inodepage中的页内偏移组成*/mlog_write_ulint(header+FSEG_HDR_OFFSET,page_offset(inode),MLOG_2BYTES,mtr);mlog_write_ulint(header+FSEG_HDR_PAGE_NO,page_get_page_no(page_align(inode)),MLOG_4BYTES,mtr);mlog_write_ulint(header+FSEG_HDR_SPACE,space_id,MLOG_4BYTES,mtr);funct_exit:DBUG_RETURN(block);}4.3 extent的分配过程
表空间分配extent的逻辑比较简单,直接查询FSP_FREE上有没有剩余的extent即可,没有的话就为FSP_FREE重新初始化一些extent。详细逻辑如下:
staticxdes_t*fsp_alloc_free_extent(ulintspace_id,constpage_size_t&page_size,ulinthint,mtr_t*mtr){/*局部变量*/.../*获取spaceheader*/header=fsp_get_space_header(space_id,page_size,mtr);/*获取hint页所在的xdesentry*/descr=xdes_get_descriptor_with_space_hdr(header,space_id,hint,mtr,false,&desc_block);fil_space_t*space=fil_space_get(space_id);/*当hint页所在的xdesentry的状态是XDES_FREE时,直接将其摘下返回,否则尝试从FSP_FREE中为segment分配extent。如果FSP_FREE为空,则需要进一步从未初始化的空间中为FSP_FREE新分配一些extent,并从新的FSP_FREE中取出第一个extent返回*/if(descr&&(xdes_get_state(descr,mtr)==XDES_FREE)){/*Ok,wecantakethisextent*/}else{/*Takethefirstextentinthefreelist*/first=flst_get_first(header+FSP_FREE,mtr);if(fil_addr_is_null(first)){fsp_fill_free_list(false,space,header,mtr);first=flst_get_first(header+FSP_FREE,mtr);}/*分配失败*/if(fil_addr_is_null(first)){return(NULL);/*Nofreeextentsleft*/}descr=xdes_lst_get_descriptor(space_id,page_size,first,mtr);}/*将分配到的extent从FSP_FREE中删除*/flst_remove(header+FSP_FREE,descr+XDES_FLST_NODE,mtr);space->free_len--;return(descr);}
当为segment分配extent时稍微复杂一些:先检查FSEG_FREE中是否有剩余的extent,如果没有再用fsp_alloc_free_extent从表空间中申请extent。在第二种情况下,FSEG_FREE中的extent不足,因此还会进一步尝试为FSEG_FREE分配更多extent。详细过程如下:
staticxdes_t*fseg_alloc_free_extent(fseg_inode_t*inode,ulintspace,constpage_size_t&page_size,mtr_t*mtr){/*局部变量*/.../*如果FSEG_FREE非空,则从其中为segment分配extent,如果FSEG_FREE为空,则从调用fsp_alloc_free_extent为当前segment分配extent*/if(flst_get_len(inode+FSEG_FREE)>0){first=flst_get_first(inode+FSEG_FREE,mtr);descr=xdes_lst_get_descriptor(space,page_size,first,mtr);}else{descr=fsp_alloc_free_extent(space,page_size,0,mtr);if(descr==NULL){return(NULL);}/*将从space申请到的extent设置为segment私有状态(XDES_FSEG),将改extent加入到FSEG_FREE中*/seg_id=mach_read_from_8(inode+FSEG_ID);xdes_set_state(descr,XDES_FSEG,mtr);mlog_write_ull(descr+XDES_ID,seg_id,mtr);flst_add_last(inode+FSEG_FREE,descr+XDES_FLST_NODE,mtr);/*当前FSEP_FREE中剩余的extent不多,尝试为当前segment分配更多物理相邻的extent*/fseg_fill_free_list(inode,space,page_size,xdes_get_offset(descr)+FSP_EXTENT_SIZE,mtr);}return(descr);}4.4 page的分配过程
表空间page的分配过程如下:先查看hint_page所在的extent是否适合分配空闲页面,不适合的话,则尝试从FSP_FREE_FRAG链表中寻找空闲页面。如果FSP_FREE_FRAG为空,则新分配一个extent,将其添加到FSP_FREE_FRAG中,并在其中分配空闲页面。
staticMY_ATTRIBUTE((warn_unused_result))buf_block_t*fsp_alloc_free_page(ulintspace,constpage_size_t&page_size,ulinthint,rw_lock_type_trw_latch,mtr_t*mtr,mtr_t*init_mtr){/*局部变量*/.../*获取表空间header和hintpage所在extent的xdesentry*/header=fsp_get_space_header(space,page_size,mtr);descr=xdes_get_descriptor_with_space_hdr(header,space,hint,mtr);/*如果xdesentry的状态是XDES_FREE_FRAG,那就直接从该extent中分配page,否则从FSP_FREE_FRAG中去寻找空闲page*/if(descr&&(xdes_get_state(descr,mtr)==XDES_FREE_FRAG)){/*Ok,wecantakethisextent*/}else{/*Elsetakethefirstextentinfree_fraglist*/first=flst_get_first(header+FSP_FREE_FRAG,mtr);/*尝试从FSP_FREE_FRAG中寻找空闲页面,当FSP_FREE_FRAG链表为空时,需要使用fsp_alloc_free_extent分配一个新的extent,将该extent加入FSP_FREE_FRAG,并在其中分配空闲page*/if(fil_addr_is_null(first)){descr=fsp_alloc_free_extent(space,page_size,hint,mtr);if(descr==NULL){/*Nofreespaceleft*/return(NULL);}xdes_set_state(descr,XDES_FREE_FRAG,mtr);flst_add_last(header+FSP_FREE_FRAG,descr+XDES_FLST_NODE,mtr);}else{descr=xdes_lst_get_descriptor(space,page_size,first,mtr);}/*Resetthehint*/hint=0;}/*从找到的extent中分配一个空闲页面*/free=xdes_find_bit(descr,XDES_FREE_BIT,TRUE,hint%FSP_EXTENT_SIZE,mtr);if(free==ULINT_UNDEFINED){ut_print_buf(stderr,((byte*)descr)-500,1000);putc('',stderr);ut_error;}page_no=xdes_get_offset(descr)+free;/*其他逻辑*//*在fsp_alloc_from_free_frag中设置分配page的XDES_FREE_BIT为false,表示被占用;递增头page的FSP_FRAG_N_USED字段;如果该extent被用满了,就将其从FSP_FREE_FRAG移除,并加入到FSP_FULL_FRAG链表中,更新FSP_FRAG_N_USED的值*/fsp_alloc_from_free_frag(header,descr,free,mtr);/*对Page内容进行初始化后返回*/return(fsp_page_create(page_id_t(space,page_no),page_size,rw_latch,mtr,init_mtr));}
为了能够使得segment内逻辑上相邻的节点在物理上也尽量相邻,尽量提高表空间的利用率,在segment中分配page的逻辑较为复杂。详细过程如下所述:
staticbuf_block_t*fseg_alloc_free_page_low(fil_space_t*space,constpage_size_t&page_size,fseg_inode_t*seg_inode,ulinthint,bytedirection,rw_lock_type_trw_latch,mtr_t*mtr,mtr_t*init_mtr#ifdefUNIV_DEBUG,iboolhas_done_reservation#endif/*UNIV_DEBUG*/){/*局部变量*/.../*计算当前segment使用的和占用的page数。前者统计的统计方法为累加32个碎片页中已使用的数量,FSEG_FULL/FSEG_NOT_FULL中已使用page的数量,后者的统计方法为累加32个碎片页已使用数量,FSEG_FULL/FSEG_NOT_FULL/FSEG_FREE三个链表中总page数*/reserved=fseg_n_reserved_pages_low(seg_inode,&used,mtr);/*获取表空间header和hintpage所在extent的xdesentry*/space_header=fsp_get_space_header(space_id,page_size,mtr);descr=xdes_get_descriptor_with_space_hdr(space_header,space_id,hint,mtr);if(descr==NULL){/*说明hintpage在freelimit之外,将hintpage置0,取消hintpage的作用*/hint=0;descr=xdes_get_descriptor(space_id,hint,page_size,mtr);}/*Inthebigif-elsebelowwelookforret_pageandret_descr*//*-------------------------------------------------------------*/if((xdes_get_state(descr,mtr)==XDES_FSEG)&&mach_read_from_8(descr+XDES_ID)==seg_id&&(xdes_mtr_get_bit(descr,XDES_FREE_BIT,hint%FSP_EXTENT_SIZE,mtr)==TRUE)){take_hinted_page:/*1.hintpage所在的extent属于当前segment,并且hintpage也是空闲状态,这是最理想的情况*/ret_descr=descr;ret_page=hint;gotogot_hinted_page;/*-----------------------------------------------------------*/}elseif(xdes_get_state(descr,mtr)==XDES_FREE&&reserved-used<reserved/FSEG_FILLFACTOR&&used>=FSEG_FRAG_LIMIT){/*2.segment空间利用率高于临界值(7/8,FSEG_FILLFACTOR),并且hintpage所在的extent处于XDES_FREE状态,直接将该extent从FSP_FREE摘下,分配至segment的FSEG_FREE中,返回hintpage*/ret_descr=fsp_alloc_free_extent(space_id,page_size,hint,mtr);xdes_set_state(ret_descr,XDES_FSEG,mtr);mlog_write_ull(ret_descr+XDES_ID,seg_id,mtr);flst_add_last(seg_inode+FSEG_FREE,ret_descr+XDES_FLST_NODE,mtr);/*在利用率条件允许的情况下,为segment的FSEG_FREE多分配几个物理相邻的extent*/fseg_fill_free_list(seg_inode,space_id,page_size,hint+FSP_EXTENT_SIZE,mtr);gototake_hinted_page;/*-----------------------------------------------------------*/}elseif((direction!=FSP_NO_DIR)&&((reserved-used)<reserved/FSEG_FILLFACTOR)&&(used>=FSEG_FRAG_LIMIT)&&(!!(ret_descr=fseg_alloc_free_extent(seg_inode,space_id,page_size,mtr)))){/*3.当利用率小于临界值,不建议分配新的extent,避免空间浪费,此时从FSEG_FREE中获取空闲extent,用于分配新的page*/ret_page=xdes_get_offset(ret_descr);if(direction==FSP_DOWN){ret_page+=FSP_EXTENT_SIZE-1;}}elseif((xdes_get_state(descr,mtr)==XDES_FSEG)&&mach_read_from_8(descr+XDES_ID)==seg_id&&(!xdes_is_full(descr,mtr))){/*4.当hintpage所在的extent属于当前segment时,该extent内如有空闲page,将其返回*/ret_descr=descr;ret_page=xdes_get_offset(ret_descr)+xdes_find_bit(ret_descr,XDES_FREE_BIT,TRUE,hint%FSP_EXTENT_SIZE,mtr);}elseif(reserved-used>0){/*5.如果该segment占用的page数大于实用的page数,说明该segment还有空闲的page,则依次先看FSEG_NOT_FULL链表上是否有未满的extent,如果没有,再看FSEG_FREE链表上是否有完全空闲的extent*/fil_addr_tfirst;if(flst_get_len(seg_inode+FSEG_NOT_FULL)>0){first=flst_get_first(seg_inode+FSEG_NOT_FULL,mtr);}elseif(flst_get_len(seg_inode+FSEG_FREE)>0){first=flst_get_first(seg_inode+FSEG_FREE,mtr);}else{return(NULL);}ret_descr=xdes_lst_get_descriptor(space_id,page_size,first,mtr);ret_page=xdes_get_offset(ret_descr)+xdes_find_bit(ret_descr,XDES_FREE_BIT,TRUE,0,mtr);}elseif(used<FSEG_FRAG_LIMIT){/*6.当前segment的32个碎片页尚未使用完毕,使用fsp_alloc_free_page从表空间FSP_FREE_FRAG中分配独立的page,并加入到该inode的fragarraypage数组中*/buf_block_t*block=fsp_alloc_free_page(space_id,page_size,hint,rw_latch,mtr,init_mtr);if(block!=NULL){/*Putthepageinthefragmentpagearrayofthesegment*/n=fseg_find_free_frag_page_slot(seg_inode,mtr);fseg_set_nth_frag_page_no(seg_inode,n,block->page.id.page_no(),mtr);}return(block);}else{/*7.当上述情况都不满足时,直接使用fseg_alloc_free_extent分配一个空闲extent,并从其中取一个page返回*/ret_descr=fseg_alloc_free_extent(seg_inode,space_id,page_size,mtr);if(ret_descr==NULL){ret_page=FIL_NULL;ut_ad(!has_done_reservation);}else{ret_page=xdes_get_offset(ret_descr);}}/*page分配失败*/if(ret_page==FIL_NULL){return(NULL);}got_hinted_page:/*将可用的hintpage标记为used状态*/if(ret_descr!=NULL){fseg_mark_page_used(seg_inode,ret_page,ret_descr,mtr);}/*对Page内容进行初始化后返回*/return(fsp_page_create(page_id_t(space_id,ret_page),page_size,rw_latch,mtr,init_mtr));}
innodb的文件结构由自下而上包括page(页),extent(区),segment(段),tablespace(表空间)等几个层次。page是最基本的物理单位,所有page具有相同的页首和页尾;extent由通常由连续的64个page组成,tablespace由一个个连续的extent组成;段是用来管理物理文件的逻辑单位,可以向表空间申请分配和释放page 或 extent,是构成索引,回滚段的基本元素;表空间是一个宏观概念,当innodb_file_per_table为ON时一个用户表对应一个表空间。
上述就是小编为大家分享的如何理解InnoDB引擎了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注亿速云行业资讯频道。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。