mysql 两阶段提交

Wed, 08 Mar 2023 00:00:00 +0000

什么是两阶段提交

两阶段提交是mysql在使用innodb引擎时，为了提供crash-safe 能力而设计的，两阶段提交涉及两个日志 server层的逻辑日志 bin log(归档日志) 和 innodb引擎层的物理日志redo log , redolog 存在prepare和commit两个状态 bin log和redo log有啥区别呢？总结如下三点：

redo log是InnoDB引擎特有的；binlog是MySQL的Server层实现的，所有引擎都可以使用。
redo log是物理日志，记录的是“在某个数据页上做了什么修改”；binlog是逻辑日志，记录的是这个语句的原始逻辑，比如“给ID=2这一行的c字段加1 ”。
redo log是循环写的，空间固定会用完；binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。

golang中 select 关键字的实现

Sat, 26 Oct 2019 00:00:00 +0000

下图概括了select关键字的实现:

golang中 make 和 new 关键字的实现

Thu, 17 Oct 2019 00:00:00 +0000

下图概括了make 和 new 关键字的实现:

go服务优化技巧

Thu, 20 Jun 2019 00:00:00 +0000

简介

本文介绍go服务可能会用到的几个优化技巧

go unsafe 注释翻译和实践

Sun, 16 Jun 2019 00:00:00 +0000

背景

翻译go unsafe包中的部分注释，学习unsafe包的使用

go append 使用陷阱

Sat, 15 Jun 2019 00:00:00 +0000

问题

请大家思考下如下代码的输出结果,

[golang踩的坑] ioutil.ReadAll 会清空对应Reader

Sun, 26 May 2019 00:00:00 +0000

问题

在golang web后台开发中，为了能够随机采集小部分请求case, 在框架里统一加了部分请求详细信息上报的逻辑，其中用到了，body, err := ioutil.ReadAll(ctx.Request.Body) 来读取请求body里的内容，后面业务逻辑中再取body内容时取出来的是空。

nginx proxy_cache指令集详解

Wed, 15 May 2019 00:00:00 +0000

介绍

nginx error_page指令配置

Thu, 09 May 2019 00:00:00 +0000

背景介绍

在服务改造优化上线过程中，可能需要用之前的服务对新服务做容错，我们在nginx代理层增加了

Nginx Proxy_next_upstream

Wed, 08 May 2019 00:00:00 +0000

介绍

在使用nginx做代理时，为了容错单点故障，保证服务高可用，可以通过proxy_next_upstream指令来实现某些错误时进行请求重试，下面详细介绍下proxy_next_upsream相关的几个指令

leetcode 24 两两交换链表中的节点

Tue, 11 Sep 2018 00:00:00 +0000

题目信息

leetcode 2 两数相加

Mon, 10 Sep 2018 00:00:00 +0000

题目信息

leetcode 19. 删除链表的倒数第N个节点

Sun, 09 Sep 2018 00:00:00 +0000

题目信息

leetcode 160 两个链表相交，求交点

Fri, 07 Sep 2018 00:00:00 +0000

题目信息

编写一个程序，找到两个单链表相交的起始节点。

linux sysstat netstat vmstat 介绍

Thu, 02 Aug 2018 00:00:00 +0000

1. sysstat 简介

sysstat 是linux的一个软件包，里面包含多个linux 各项性能监控的命令，可以查看监控linux cpu io memory net 等信息

nginx 学习(1) - nginx配置

Sun, 05 Nov 2017 00:00:00 +0000

简介

重新学习nginx配置，简单记录下。

微信小程序开发总结

Sat, 23 Sep 2017 00:00:00 +0000

简介

go 源码安装

Wed, 23 Aug 2017 00:00:00 +0000

源码下载

浮点数剖析 (PHP)

Fri, 18 Aug 2017 00:00:00 +0000

PHP面试中, 经常会被问到的一个问题

<?php
    $f = 0.58;
    var_dump(intval($f * 100)); 
?>

静态变量(static) 和全局变量(global)

Thu, 17 Aug 2017 00:00:00 +0000

参考

PHP in_array 源码学习，以及in_array和isset效率比较

Wed, 19 Jul 2017 00:00:00 +0000

背景知识

登录git发评论专用页

Wed, 24 May 2017 00:00:00 +0000

登录git发评论专用页,点击下面的登录按钮，登录git

php 扩展信息查看

Fri, 21 Apr 2017 00:00:00 +0000

查看php扩展的相关信息

Yii 框架missingAction函数xss漏洞分析解决

Wed, 18 Jan 2017 00:00:00 +0000

Yii missingAction xss漏洞

missingAction 是Yii框架controller层用来处理用户请求的action不存在的情况的方法，在CController.php中实现。

php 扩展开发--- 开发PHP第一个扩展

Sat, 17 Dec 2016 00:00:00 +0000

开发PHP第一个扩展

1 使用ext_skel 生成扩展的骨架

下载php源码，源码的ext目录下有个shell脚本ext_skel, 此脚本是用来生成PHP扩展框架的，使用示例：

php 扩展开发--- config.m4解读

Thu, 15 Dec 2016 00:00:00 +0000

1. ext_skel 扩展骨架生成的 config.m4解读

yii table schema cache and query result cache

Wed, 19 Oct 2016 00:00:00 +0000

简介

本文主要介绍YII框架性能优化相关的两个方法：数据库表元信息cache以及数据库查询结果cache。

Yii db schema cache 相关：

Yii框架可能比较慢的原因: It will do a show columns query, then a show create tablequery, then finally it will query the database for the actual data. Those first two queries are so Yii knows the schema of your user table. If the round trip time from your application server to your database server is 100ms (if it’s really this slow, you should do something about it), then those two queries to get the schema will add a minimum of 200ms to your application response time. It will do this for every single request that populates your User model. Depending on how your application is written, it might even do that multiple times in a single request.
翻译过来大概意思是：Yii框架在真正执行sql之前需要执行show columns from xxx;show create table xxx, 相当于额外增加了两次数据库操作，为了节省这两次数据库操作的时间，引入了数据库表schema的cache, 常用cache有memcache,redis等
cache key 的构成：类CDbSchema(framework/db/schema/CDbSchema.php)中的getTable方法中会利用到schema cache来获取数据库表的metadata即schema，其中包括了如何生成缓存table metadata 的key等代码。源码链接关键代码：$key='yii:dbschema'.$this->_connection->connectionString.':'.$this->_connection->username.':'.$name;, 以字符串的形式把表的schema信息存储在cache中。

Yii db query result cache 相关

缓存数据库查询结果到cache的方法的源码，是CCache类的set成员函数，其中有处理dependency的逻辑，函数代码如下：

 public function set($id,$value,$expire=0,$dependency=null)
    {
        Yii::trace('Saving "'.$id.'" to cache','system.caching.'.get_class($this));
        if ($dependency !== null && $this->serializer !== false)
            $dependency->evaluateDependency();
        if ($this->serializer === null)
            $value = serialize(array($value,$dependency));
        elseif ($this->serializer !== false)
            $value = call_user_func($this->serializer[0], array($value,$dependency));
        return $this->setValue($this->generateUniqueKey($id), $value, $expire);
    }

从代码可以看到cache下来的数据包括了dependency的信息，

从cache中获取query result时的源码, 其中会把cache中的dependency的内容去掉，再返回给调用者，详细代码如下:

public function get($id)
    {
        $value = $this->getValue($this->generateUniqueKey($id));
        if($value===false || $this->serializer===false)
            return $value;
        if($this->serializer===null)
            $value=unserialize($value);
        else
            $value=call_user_func($this->serializer[1], $value);
        if(is_array($value) && (!$value[1] instanceof ICacheDependency || !$value[1]->getHasChanged()))
        {
            Yii::trace('Serving "'.$id.'" from cache','system.caching.'.get_class($this));
            return $value[0];
        }
        else
            return false;
    }

query result cache 查询和写入的入口在CDbCommand的queryInternal函数，源码,

其中调用cache->get的部分核心代码如下:

$cacheKey='yii:dbquery'.':'.$method.':'.$this->_connection->connectionString.':'.$this->_connection->username;
            $cacheKey.=':'.$this->getText().':'.serialize(array_merge($this->_paramLog,$params));
            if(($result=$cache->get($cacheKey))!==false)
            {
                Yii::trace('Query result found in cache','system.db.CDbCommand');
                return $result[0];
            }

其中调用cache->set的核心代码如下:

if(isset($cache,$cacheKey))
    $cache->set($cacheKey,array($result),$this->_connection->queryCachingDuration, $this->_connection->queryCachingDependency);

对于query result cache依赖的dependency, 相关的类有：CCacheDependency类，类中有计算dependency是否变化的函数getHasChanged此函数需要依赖函数generateDependentData(), 当新生成的dependency的属性值于cache中缓存下来的值发生变化时，则认为此query result cache已经失效，需要重新从数据库获取最新数据. CCacheDependency的源码
query result cache 其实是把一个复杂的sql查询，依赖于一个相对简单的sql查询，缓存到cache中，每次都去检查简单的sql结果是否发生变化，没发生变化的话就认为复杂的sql查询结果也没发生变化。

数据库表schema cache以及query result cache 的相关配置如下:

    'components' => array(
        'db' => array(       
            'schemaCachingDuration'=>3600, // 缓存有效期 3600秒
            'queryCachingDuration'=>3600,
            //默认使用cache组件，显示的申明使用redis组件来缓存schemaData和query result
            'schemaCacheID'=>'redis',
            'queryCacheID'=>'redis', // redis组件也需要在components中单独配置
        ),
    )

query result cache 示例

    $sql = '执行比较耗时的sql';
    $dependency = new CDbCacheDependency('比较简单的会影响到比较耗时sql的sql');
    $rows = Yii::app()->db->cache(1000, $dependency)->createCommand($sql)->queryAll();

参考

sublime text 3 扩展包安装以及遇到的问题

Fri, 24 Jun 2016 00:00:00 +0000

简介

最近在用sublime text3, 通过package control 可以安装的扩展包真的太多了，很强大但是在安装的时候遇到了一些问题

php output buffering 配置和相关函数学习

Tue, 07 Jun 2016 00:00:00 +0000

简介

output buffering 简称ob, 是输出缓冲区，通过php配置以及output control （输出控制函数）来控制php的输出，输出控制函数不会作用于setcookie以及header两个输出标头的函数，只会作用于类似与echo类的函数.

xhprof 分析php应用程序的性能

Thu, 26 May 2016 00:00:00 +0000

主要是四个步骤

apache配置

Tue, 03 May 2016 00:00:00 +0000

0. 简介

学习apache配置，主要是按照指令来学习，争取每天学习几个

正则表达式学习整理(一)

Mon, 02 May 2016 00:00:00 +0000

0. 简介

http 传递数组形式的参数

Fri, 29 Apr 2016 00:00:00 +0000

http两中传参方式

1.普通字符串

eg:  a=1&b=2

vim 配置(二) -- map 类操作

Mon, 04 Apr 2016 00:00:00 +0000

0. 简介

通过map可以配置vim一些快捷键操作，比如map <C-a> ggVG 来设置Ctrl+a 选择vim正在编辑的文件的所用内容。在介绍map命令之前，先介绍一下vim的不同模式，在vim不同模式下都有对应的map操作。

VIM 配置(一)--基础篇

Sat, 02 Apr 2016 00:00:00 +0000

0. 简介

php stream扩展学习

Thu, 31 Mar 2016 00:00:00 +0000

参考

php扩展操作相关的函数

Tue, 29 Mar 2016 00:00:00 +0000

简介

php7 进行简单的php扩展开发

Mon, 28 Mar 2016 00:00:00 +0000

php扩展开发步骤

进程，线程，协程学习比较

Sat, 19 Mar 2016 00:00:00 +0000

###参考

linux 服务器集群系统，LVS学习

Thu, 17 Mar 2016 00:00:00 +0000

###参考本文参考章文嵩博士的LVS 服务器集群系统

vim markdown语法高亮插件

Wed, 16 Mar 2016 00:00:00 +0000

插件vim-markdown github 主页

jekyll搭建github page 博客汇总

Tue, 15 Mar 2016 00:00:00 +0000

###搭建huyongde.github.io过程中总结的,和大家分享下

mac 安装php7

Sun, 13 Mar 2016 00:00:00 +0000

###homebrew

docker 入门学习

Sun, 13 Mar 2016 00:00:00 +0000

本文主要介绍如何在mac上安装docker，以及简单的把玩docker

PHP性能之路

Sat, 12 Mar 2016 00:00:00 +0000

###PHP 性能之路

纵观语言发展历史，从0和1的机器码开始，到汇编语言，然后到C语言，再到动态脚本语言PHP。执行效率呈指数下降，但是，学习门槛也呈指数降低。PHP语言不仅屏蔽了C的内存> 管理和指针的复杂性，而且更进一步屏蔽了变量类型的复杂性。提升了项目开发的效率，降低了学习的门槛，但同时牺牲了一定的执行性能。然后，HHVM的Hack给我们一种“回归> 原始”的感觉，重新引入了变量的复杂性。当然，不同的语言解决不同场景下的问题，并不能够一概而论

php 迭代器、yield、生成器以及协程

Tue, 08 Mar 2016 00:00:00 +0000

####参考

IO多路复用 (select, pool, epool)

Mon, 07 Mar 2016 00:00:00 +0000

###参考作者：罗志宇链接：https://www.zhihu.com/question/32163005/answer/55772739 来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

学习redisbook, 了解redis设计和原理

Sun, 06 Mar 2016 00:00:00 +0000

redisbook介绍

如何获得手机4G或者3G网络的数据包

Fri, 04 Mar 2016 00:00:00 +0000

###思路

golang 解析toml配置文件

Wed, 02 Mar 2016 00:00:00 +0000

#####golang代码如下： ``` package main

检查当前svn路径下面修改的PHP文件是否有语法错误(以及其他小技巧)

Mon, 29 Feb 2016 00:00:00 +0000

1. 检查修改的php代码是否有语法错误

网站短连接生成原理

Sat, 27 Feb 2016 00:00:00 +0000

短连接生成的两种方式

redis主从复制介绍

Fri, 26 Feb 2016 00:00:00 +0000

简介

Redis的replication机制允许slave从master那里通过网络传输拷贝到完整的数据备份。具有以下特点：

mysql innodb 事务日志ib_logfile

Fri, 26 Feb 2016 00:00:00 +0000

###简介

mysql 主从复制

Fri, 26 Feb 2016 00:00:00 +0000

###简介

netstat 实际使用例子

Sun, 17 Jan 2016 00:00:00 +0000

本文参考: netstat command examples

抓包神器 charles, 抓移动端的包

Fri, 15 Jan 2016 00:00:00 +0000

简介

go import 导入包介绍

Tue, 12 Jan 2016 00:00:00 +0000

0. 简介

sendfile

go 学习资料汇总

Mon, 14 Dec 2015 00:00:00 +0000

go 简介

英语单词学习

Mon, 14 Dec 2015 00:00:00 +0000

##go学习涉及到的单词

autoconf automake 学习

Sat, 12 Dec 2015 00:00:00 +0000

简介

markdown语法再学习

Fri, 11 Dec 2015 00:00:00 +0000

引用

这是一个引用

这是个嵌套引用

one

two

http 缓存策略

Wed, 09 Dec 2015 00:00:00 +0000

##目录

web缓存类型
缓存相关的header
参考

unix 查看window开发的代码，如何处理^M特殊字符

Thu, 03 Dec 2015 00:00:00 +0000

去除代码中的^M

写C++遇到的问题

Thu, 03 Dec 2015 00:00:00 +0000

写C++测试程序遇到的问题

架构师培训

Mon, 30 Nov 2015 00:00:00 +0000

##架构师的能力要求

chrome浏览器的相关插件

Sun, 29 Nov 2015 00:00:00 +0000

####user agent switcher

为浏览器添加vim的快捷键--for vimmer

Sun, 29 Nov 2015 00:00:00 +0000

###目录

简介
chrome浏览器
firefox浏览器

sf 小米大数据-技术小实践

Sat, 28 Nov 2015 00:00:00 +0000

介绍小米大数据

SF 大数据技术分享--druid

Sat, 28 Nov 2015 00:00:00 +0000

##druid

大数据行存储还是列存储？

Sat, 28 Nov 2015 00:00:00 +0000

介绍数据行存储和列存储的优缺点

linux 设置输出内容的颜色

Fri, 27 Nov 2015 00:00:00 +0000

##目录

例子
自己的使用
参考

tcpdump tutorial - sniffing and analysing packets from commandline

Thu, 26 Nov 2015 00:00:00 +0000

##tcpdump

linux network monitor commands

Thu, 26 Nov 2015 00:00:00 +0000

参考原文 18 commands to monitor network bandwidth on Linux server

整合disqus和jekyll，打造一个支持评论的blog

Thu, 26 Nov 2015 00:00:00 +0000

##目录

为什么~号代表home目录

Wed, 25 Nov 2015 00:00:00 +0000

在unix类的系统（包括：BSD、GUN/LIUNX 以及 Mac OS X)中，波浪号(tilde)代表当前用户的home目录.

TLS 学习

Wed, 25 Nov 2015 00:00:00 +0000

##目录

相关联的协议
tls密码套件
协议分层
record协议
handshake协议
参考

linux 命令学习汇总

Wed, 25 Nov 2015 00:00:00 +0000

##目录

killall
lsof
netstat
学习计划

翻墙看世界

Tue, 24 Nov 2015 00:00:00 +0000

##翻墙看世界(google ……)

mac系统奥，

c++获得文件大小

Tue, 24 Nov 2015 00:00:00 +0000

c++获得文件大小的几种方式

markdown 学习

Mon, 23 Nov 2015 00:00:00 +0000

主题

Learn Ngx_openresty

Mon, 23 Nov 2015 00:00:00 +0000

Name

jekyll 入门 && jekyll 搭建github page的框架

Mon, 23 Nov 2015 00:00:00 +0000

##参考

c++ setw使用以及 markdown中 highlight 加亮代码

Mon, 23 Nov 2015 00:00:00 +0000

mysql 两阶段提交

什么是两阶段提交

golang中 select 关键字的实现

下图概括了select关键字的实现:

golang中 make 和 new 关键字的实现

下图概括了make 和 new 关键字的实现:

go服务优化技巧

简介

go unsafe 注释翻译和实践

背景

go append 使用陷阱

问题

[golang踩的坑] ioutil.ReadAll 会清空对应Reader

问题

nginx proxy_cache指令集详解

介绍

nginx error_page指令配置

背景介绍

Nginx Proxy_next_upstream

介绍

leetcode 24 两两交换链表中的节点

题目信息

leetcode 2 两数相加

题目信息

leetcode 19. 删除链表的倒数第N个节点

题目信息

leetcode 160 两个链表相交，求交点

题目信息

linux sysstat netstat vmstat 介绍

1. sysstat 简介

nginx 学习(1) - nginx配置

简介

微信小程序开发总结

简介

go 源码安装

源码下载

浮点数剖析 (PHP)

PHP面试中, 经常会被问到的一个问题

静态变量(static) 和 全局变量(global)

参考

PHP in_array 源码学习， 以及in_array和isset效率比较

背景知识

登录git发评论专用页

登录git发评论专用页,点击下面的登录按钮，登录git

php 扩展信息查看

查看php扩展的相关信息

Yii 框架missingAction函数xss漏洞分析解决

Yii missingAction xss漏洞

php 扩展开发--- 开发PHP第一个扩展

开发PHP第一个扩展

1 使用ext_skel 生成扩展的骨架

php 扩展开发--- config.m4解读

1. ext_skel 扩展骨架生成的 config.m4解读

yii table schema cache and query result cache

简介

Yii db schema cache 相关：

Yii db query result cache 相关

数据库表schema cache以及query result cache 的相关配置如下:

query result cache 示例

参考

sublime text 3 扩展包安装以及遇到的问题

简介

php output buffering 配置和相关函数学习

简介

xhprof 分析php应用程序的性能

apache配置

0. 简介

正则表达式学习整理(一)

0. 简介

http 传递数组形式的参数

http两中传参方式

1.普通字符串

vim 配置(二) -- map 类操作

0. 简介

VIM 配置(一)--基础篇

0. 简介

php stream扩展学习

参考

php扩展操作相关的函数

简介

静态变量(static) 和全局变量(global)

PHP in_array 源码学习，以及in_array和isset效率比较

进程，线程，协程学习比较