网站中Cache的使用
Tag 构架, Cache, 网站, MVC, on by view 5726

现在的许都网站都使用MVC构架,为了应对高并发,人们通常使用基于内存存取的Cache系统作为后端减压的应对方式。在网站的后端,主要涉及业务逻辑处理和数据库查询,而数据查询许多时候在高并发的状况下成为了性能的瓶颈。本文要讨论的是Cache如何使用才能够更加合理,更加有效。

网站的MVC构架通常情况如下
mvc_structure.png
数据库(Database)处于最后端,其次是Model层,Model层是对数据库直接操作的一种封装,然后是Controller层,Controller层是专门处理业务逻辑的,获取数据是直接调用Model层中封装的各种方法,最外层是View层,负责显示数据到页面,Controller层处理完毕的的数据传到View层,由其渲染为静态页发送给用户浏览器。

构想一,将Cache用于Model层中
cache_in_model.png
Cache用于Model层是将查询到的数据放置到Cache中,从而避免下次同样的数据需要再次去数据库执行SQL语句查询,而是直接从Cache中更快的读取数据(理论上某些SQL查询非常耗时,这样Cache效果更明显)。

// 通过id获取文章-cached
func GetArticle(id int) (Article, error) {
	var err error
	var art Article

	cache := config.GetCache("GetArticle.id." + fmt.Sprintf("%d", id))
	if cache != nil { // check cache
		json.Unmarshal([]byte(cache.(string)), &art)
		return art, nil
	} else {
		o := orm.NewOrm()
		o.Using("default")
		art = Article{Id: id}
		err = o.Read(&art, "id")

		data, _ := utils.JsonEncode(art)
		config.SetCache("GetArticle.id."+fmt.Sprintf("%d", id), data, 600)
	}

	return art, err
}

构想二,将Cache用于Controller层,甚至View层。
cache_in_controller.png
若是将Cache用于Controller层,可以同时减轻业务逻辑处理和数据库查询。如果将Cache用于View层,甚至可以减轻模版的渲染工作,这样一来有点类似于全站静态化的感觉了,但是我并不觉得这是一个好方法,或许对于个别网站是可行的,但是对于大多数相对复杂的网站,这是完全不科学的方法。例如,一个论坛网站,某个页面有帖子正文,有回复,若是将这种页面放入Cache势必会导致不得不降低Cache过期时间,而最终的结果将会是Cache命中率极低,还不如不用Cache。

对于我来说,我更偏向于在Model层使用Cache,因为这样会更加灵活能够定向的缓存该缓存的东西,而不是像方案二中外层的缓存使得数据块不易分离。


windows live writer与wordpress通讯协议(xmlrpc)分析
Tag windows live writer, wordpress, xmlrpc, 通讯, on by view 5726

最近一直在完善自己的博客,wordpress博客不可不谓之博客系统中最完善的一个,我的博客系统也一直以wordpress为样本,向wordpress学习。相信用过wordpress的人都用过windows live writer作为自己博客的客户端。windows live writer原本是微软为live博客开发的客户端,但是现在live博客已经关停,因此windows live writer也停止了更新。作为windows系统下最佳的博客离线客户端,即便它已经停止更新,它也将会是一款经典的软件,如同xp系统一样。

最近两天的时间,我将自己的博客系统实现了与windows live writer通讯,苦于找不到有用的指导资料,折腾得很辛苦。

调试工具:
服务端:本地搭建wordpress,我的博客blog
客户端:windows live writer,chrome浏览器的Postman应用扩展

调试过程:

  1. 进入本地wordpress首页,找到xmlrpc协议入口

    <link title="RSD" rel="EditURI" type="application/rsd+xml" href="http://127.0.0.1/xmlrpc.php">

    之后的所有请求都是从这个入口上实现的。

  2. 协议检查。windows live writer连接后的第一件事请是获取到首页上的接口(title为RSD的link标签),第二件事情便是向http://127.0.0.1/xmlrpc.php发送get请求,获取到的内容大致如下:

    <?xml version="1.0" encoding="UTF-8"?><rsd version="1.0" xmlns="http://archipelago.phrasewise.com/rsd">
      <service>
        <engineName>WordPress</engineName>
        <engineLink>http://wordpress.org/</engineLink>
        <homePageLink>http://127.0.0.1</homePageLink>
        <apis>
          <api name="WordPress" blogID="1" preferred="true" apiLink="http://127.0.0.1/xmlrpc" />
        </apis>
      </service>
    </rsd>
  3. 登录,发送blogger.getUsersBlogs请求【以下请求的主体均在http request的body内,并且皆为post请求】

    <?xml version="1.0" encoding="utf-8"?>
    <methodCall>
     <methodName>blogger.getUsersBlogs</methodName>
     <params>
      <param>
       <value>
        <string>ffffffabffffffce6dffffff93ffffffac29ffffffc9fffffff826ffffffdeffffffc9ffffffe43c0b763036ffffffa0fffffff3ffffffa963377716</string>
       </value>
      </param>
      <param>
       <value>
        <!-- 用户名 -->
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <!-- 密码 -->
        <string>lijun</string>
       </value>
      </param>
     </params>
    </methodCall>

    响应:

    <?xml version="1.0" encoding="UTF-8"?>
    <methodResponse>
      <params>
        <param>
          <value>
            <array>
              <data>
                <value>
                  <struct>
                    <!-- 1 -->
                    <member><name>isAdmin</name><value><boolean>1</boolean></value></member>
                    <!-- homepage -->
                    <member><name>url</name><value><string>%s</string></value></member>
                    <!-- userid -->
                    <member><name>blogid</name><value><string>%d</string></value></member>
                    <!-- blogname -->
                    <member><name>blogName</name><value><string>%s</string></value></member>
                    <!-- xmlrpc url address -->
                    <member><name>xmlrpc</name><value><string>%s</string></value></member>
                  </struct>
                </value>
              </data>
            </array>
          </value>
        </param>
      </params>
    </methodResponse>

    上面的%d%s等按照自己的博客替换成相应的返回参数,遵循printf函数的格式化规则。

  4. 新建文章metaWeblog.newPost

    <?xml version="1.0" encoding="utf-8"?>
    <methodCall>
     <methodName>metaWeblog.newPost</methodName>
     <params>
      <param>
       <value>
        <string>1</string>
       </value>
      </param>
      <param>
       <value>
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <struct>
         <member>
          <name>title</name>
          <value>
           <string>test tag</string>
          </value>
         </member>
         <member>
          <name>description</name>
          <value>
           <string>&lt;p&gt;test tag content&lt;/p&gt;</string>
          </value>
         </member>
         <member>
          <name>mt_text_more</name>
          <value>
           <string />
          </value>
         </member>
         <member>
          <name>wp_slug</name>
          <value>
           <string />
          </value>
         </member>
         <member>
          <name>mt_basename</name>
          <value>
           <string />
          </value>
         </member>
         <member>
          <name>wp_password</name>
          <value>
           <string />
          </value>
         </member>
         <member>
          <name>categories</name>
          <value>
           <array>
            <data>
             <value>
              <string>ceshi</string>
             </value>
             <value>
              <string>tag</string>
             </value>
            </data>
           </array>
          </value>
         </member>
         <member>
          <name>mt_excerpt</name>
          <value>
           <string />
          </value>
         </member>
        </struct>
       </value>
      </param>
      <param>
       <value>
        <boolean>1</boolean>
       </value>
      </param>
     </params>
    </methodCall>

    响应:

    <?xml version="1.0" encoding="UTF-8"?>
    <methodResponse>
      <params>
        <param>
          <value>
          <!-- post id -->
          <string>%d</string>
          </value>
        </param>
      </params>
    </methodResponse>
  5. 新建分类标签请求wp.newCategory

    <?xml version="1.0" encoding="utf-8"?>
    <methodCall>
     <methodName>wp.newCategory</methodName>
     <params>
      <param>
       <value>
        <string>1</string>
       </value>
      </param>
      <param>
       <value>
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <struct>
         <member>
          <name>name</name>
          <value>
           <string>测试</string>
          </value>
         </member>
         <member>
          <name>parent_id</name>
          <value>
           <int>0</int>
          </value>
         </member>
        </struct>
       </value>
      </param>
     </params>
    </methodCall>

     响应:

    <?xml version="1.0" encoding="UTF-8"?>
    <methodResponse>
      <params>
        <param>
          <value>
          <!-- catalog id -->
          <int>%d</int>
          </value>
        </param>
      </params>
    </methodResponse>
  6. 新建媒体文件metaWeblog.newMediaObject【图片上传】

    <?xml version="1.0" encoding="utf-8"?>
    <methodCall>
     <methodName>metaWeblog.newMediaObject</methodName>
     <params>
      <param>
       <value>
        <string>1</string>
       </value>
      </param>
      <param>
       <value>
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <string>lijun</string>
       </value>
      </param>
      <param>
       <value>
        <struct>
         <member>
          <name>name</name>
          <value>
           <string>loadfailed.png</string>
          </value>
         </member>
         <member>
          <name>type</name>
          <value>
           <string>image/png</string>
          </value>
         </member>
         <member>
          <name>bits</name>
          <value>
           <!-- base64转码的图片文件 -->
           <base64>iVBORw0KGgoAAAANSUhEUgAAAkJggg==</base64>
          </value>
         </member>
        </struct>
       </value>
      </param>
     </params>
    </methodCall>

     响应:

    <?xml version="1.0" encoding="UTF-8"?>
    <methodResponse>
      <params>
        <param>
          <value>
          <struct>
            <!-- file id -->
            <member><name>id</name><value><string>%d</string></value></member>
            <!-- file name -->
            <member><name>file</name><value><string>%s</string></value></member>
            <!-- file url -->
            <member>
              <name>url</name>
              <value><string>%s</string></value>
            </member>
            <!-- file type -->
            <member><name>type</name><value><string>%s</string></value></member>
          </struct>
          </value>
        </param>
      </params>
    </methodResponse>


协议的内容太多,如有需要还建议自己使用相关的工具进行捕捉请求,以及使用Postman捕捉响应,然后自己分析请求与响应的内容,并在自己的系统中实现它。响应部分的其他内容可以参考我的博客系统源码http://github.com/duguying/blog ,请求部分我已经打包可以直接下载


写在网站变迁之后
Tag 网站, 备案, wordpress, go, 博客, on by view 5810

最近几天一直忙于这学期的课程设计作业,无法抽空写点什么。其实这次博客变动之后早就想写点东西记录一下本次博客搬迁的过程。

本次博客搬家是从原先的位于英国的Hostinger空间搬迁至国内的阿里云服务器,搬迁的原因主要有两个:第一个原因是国内访问国外的服务器线路极其的不稳定,经常被和谐或者是访问速度很慢;第二个原因是我已经决定并开始使用go语言重构了博客系统,弃用原来的基于php的wordpress博客系统,这一次用go语言重构博客也是一个挑战。

博客变迁记载

  • 2011-2012年左右,博客是基于php的wordpress系统,曾放置于“浦东信息港”那个免费空间提供商,相比于国内的免费空间这一家还算不错(不排除有我不知道的更好的),他提供香港机房版免备案空间,同时也提供单个MySQL数据库(不是整个MySQL服务器),可是有两个缺点:访问速度慢;不支持curl服务(这意味着不能在线安装wordpress的各种插件)。

  • 2013年,我申请了域名 duguying.net ,使用修改版的wordpress将网站放置于百度云,并且绑定了域名,可是不久之后百度云开始检查备案,未备案的网站一律停止域名解析,再到后来百度云升级了,可是升级后的系统却是非常的不方便使用,在到后来百度云开始大张旗鼓的收费了,感觉再也不爱百度云了。

  • 2014年上半年,将网站迁移至Hostinger,之前百度云上面的数据有部分已经丢失了,可是好景不长,Hostinger免费又是国外的免备案服务器,估计注册的人不少,那么各种言论也不少,相信触动了某的逆鳞的言论也是不少,因此就会偶尔遭遇和谐,对于这种各网站公用ip的空间来说,一个网站被和谐意味着相同ip的所有网站空间全部被和谐,空间提供商是老外,别人可不在意什么和谐。另外,Hostinger经常会出现CPU过载,然后你的网站就会自动跳转到一个警告页面,对于这个表示无语。最后,网速的确很差。

  • 2014年下半年,手痒了,想搞一个云服务器,把网站全部迁移至拥有独立造作系统、拥有root账户的云服务器或者是VPS。本人一开始是表示不喜欢备案的,因为我并不认为我的言论会导致什么坏的事情所以觉得自己没必要被审查,然后早就听说备案特别复杂,是一件很费神的事情。于是,我对比了国内外VPS/云服务器的价格之后,决定先在DigitalOcean购买一个月的VPS试用一下。买下之后却遇到了一系列的问题(将帐号锁定禁止开通主机),各方谷歌之后发现甚至有人大骂DigitalOcean野蛮终止自己的服务器导致大量的客户丢失(链接),硬着头皮看完英文,我想糟了该不会是被老外坑了吧,最后还是决定通过沟通的方式看能不能解决,于是我给客服发送用我那蹩脚的英文写的电子邮件,邮件中描述了我所遇到的状况并表示希望能够解除锁定,等待了半日的时间,终于收到了回复的电邮,帐号也解锁了。于是,立即创建了一个虚拟主机,ssh登陆之,最后发现ssh竟然卡出翔……我在putty上敲了一行的命令,没反应,大概过了十来秒屏幕突然一下子又出现了刚才敲的一行命令,按删除键没反应,再按又没反应,十来秒后一下子删除了N个字符,删多了。这样的用户体验,谁能忍!毕竟是国外的服务器……

  • 2014年7月左右,DigitalOcean那卡出翔的用户体验让我放弃了继续试用linode,听说linode可以选择日本的数据中心,网速还不错,据说大神byvoid的个人博客就是放在linode,可是又据说这个日本的数据中心容易被和谐。于是,恰逢遇到阿里云促销“0元半年体验”,申请成功后发现这个是不包括网络带宽的,没办法,一咬牙就花了127大洋买了6个月的带宽。ssh登录,速度很不错,速度上感觉与本地虚拟机相似比较爽,没办法了,买了国内的云服务器,乖乖备案吧。

  • 2014年8月,既然买了一个独立的云服务器那么就得用到实处,我决定使用go语言重构博客了,第一周看了《Go语言编程》那本书的大部分,第二周开始基于Beego框架构建博客系统,第三周博客后台完成大部分,开始构思前端界面并且开始准备备案的事情。终于要备案了,这是我第一次备案,备案使用的是阿里云系统,阿里云的客服处理事情的速度还是比较快的,提交初审后过了两小时就有客服妹纸打电话说明相关信息并且告诉我我起得网站名称不行,需要改一下更容易通过,于是就按照客服妹纸的建议改为“大俊的个人网站”(我提交的名称是“大俊哥之家”),并且客服告诉我我的域名持有人名称与申请备案人名称不一致,当时域名是在oray注册的,注册信息填写英文名的时候填写的是Rex Lee,因此显示为Rex Lee,客服建议我讲域名转到阿里云。后来我发现阿里云和万网居然合并了(万网被阿里云收购),记得我上次登录万网时候那时还没有合并,域名价格都是特贵的,所以当初才选择了相对便宜的Oray,可是现在一看,域名居然白菜价,转入39,注册49,续费55,我果断决定转入了,可是,有另外一件麻烦事情,当初Oray帐号注册时候没有实名认证,Oray规定只有实名认证的用户才能够转出域名,没办法,当初注册帐号填写的是企业账户,我现在是无法实名认证的,最终决定注册一个小号,将域名在帐号间转移(花了我10块大洋),然后将小号实名认证,Oray的客服效率真心查啊,帐号实名认证花了4天,这还是我在他官方bbs上催他们才有这效率的,终于,实名认证成功了,也成功获取了域名转移密码,申请转入万网成功,然后又等了将近5个工作日,终于成功转过来了,在原域名商那儿还有5个月的时间也一同转过来了,这是我没想到的。最后发现,国际域名.net根本就不支持中文持有人信息Orz...不过我还是决定将Rex Lee改为中文名的汉语拼音。域名转入的事情告一段落了,与此同时,我申请了阿里云备案的幕布,自己用他的幕布拍照,传照片以及各种资料,然后快递资料。接下来便是漫长的等待了,据说20个工作日可以得到备案结果,还好没用20天,备案号终于发下来了。早已经准备好的网站系统终于可以启动了,我霸气的在putty中敲下service nginx start启动了前端服务器。网站开通。

折腾了这么久,网站总算是通了,我想以后我会继续续费,将这个网站继续下去,go语言才刚刚开始,我也是刚刚开始学习go语言,后面的路还很长,我看好golang。也会坚持写博客。