golang客户端取消http请求
Tag golang, cancelable, http, on by view 1526

首先,创建带有Cancel Context的http请求

var cx context.Context
cx, req.cancel = context.WithCancel(context.Background())

if req.httpreq, err = http.NewRequest(req.method, req.url, reqbody); err != nil {
    return
}
req.httpreq = req.httpreq.WithContext(cx)
req.httpreq.Header = req.Headers
req.httpreq.ContentLength = reqbodyLength

然后,需要停止请求的时候调用req.cancel()方法

if req.cancel != nil {
    req.cancel()
    fmt.Println("running cancel...")
}

return nil

这样才能够客户端强行主动取消正在进行的http连接。就是这么简单


关于阿里云ESC上go语言项目编译6l: running gcc failed: Cannot allocate memory
Tag golang,编译,内存不够,swap, on by view 3239

前段时间将自己的阿里云服务器上的系统由centos 6.5换为了ubuntu 14,其他的硬件配置都没有发生改变,将服务器上的数据恢复并且重新安装了golang的编译环境后,发现使用go build编译稍微大一点的golang项目就会报错:

/usr/local/go/pkg/tool/linux_amd64/6l: running gcc failed: Cannot allocate memory

一直想不通为啥换了个系统就会报这个错,字面意思是gcc分配内存失败,应该是内存不够用,机器配置是1G内存,free -m 发现尚有400M的内存未使用,难道剩余400M的内存还不够go build命令编译代码使用?好吧,既然如此我就给它释放内存,kill掉众多的进程之后再进行go build编译,发现又可以编译了。之后发现偶尔能编译偶尔又不能编译,看样子确实是内存不够,可是为啥之前的centos系统上没有出现这种状况呢,一直不相信简单的“内存不够”就可以解释这一问题,因为之前的centos系统上是正常的,我甚至觉得可能是gcc版本的问题,猜测只有较高版本的gcc才会报这个错误。后来也曾在“golang天朝”论坛上发过帖子,并表达自己的猜测,认为不是内存不够这么简单,结果被别人鄙视不看英文……

不想花钱升级机器硬件,难道我只有装回centos?今天执行free -m偶然间注意到了swap的数值貌似一直是空的,我思考若是我添加swap交换空间是否能解决这一问题呢,毕竟swap其实就是用硬盘空间虚拟出的内存,一个内存的缓冲区。于是就给它加了个1G的文件作为swap,居然直接就可以用go build,再也不用担心gcc对我说Cannot allocate memory了。简单的记录一下添加文件作为swap的步骤:

  • 创建1个1GB的file

sudo dd if=/dev/zero of=/mnt/1GB.swap bs=1M count=1024
  • 格式化为Swap file

sudo mkswap /mnt/1GB.swap
  • 把swap file加入到系统中

sudo swapon /mnt/1GB.swap
  • 将swap永久添加
    在/ect/fstab中加入新的Swap分区

sudo gedit /etc/fstab
  • 在最后加入下列内容

/mnt/1GB.swap none swap sw 0 0

最后,free -m 命令可以看到swap的数据如下

             total       used       free     shared    buffers     cached
Mem:           992        903         88          0         57        188
-/+ buffers/cache:        656        335
Swap:         1023          0       1023

1G的内存交换区文件已经创建。


Goj开发过程中遇到gcc进程变为孤儿进程的问题
Tag Goj,孤儿进程,deamon,Online Judge, on by view 2771

尽管现在已经放假,没有太多的心思放在开发上,但是Goj项目开发最近一直在缓慢的保持着。最近主要是处理judger与ojsite通信的问题,其过程中并没有遇到什么特殊的问题,TCP以及HTTP协议什么的都不成问题。但是在今天调试提交编译任务时却发现了一个有趣的事情,那就是gcc在特定情况下变成了deamon进程。

事情经过是这样的,但凡judger都必须经历#include "/dev/random"的考验,至於这是什么、为什么我也懒得解释,下面引用知乎上的一段话,感兴趣的自己看全文

小心编译期间的一些“高级功能”,比如 C 的 include 其实是有很多巧妙的用法,试试看在 Linux 下 #include "/dev/random" 或者 #include "/dev/tty" 之类的(这两个东西会把网络上不少二流 OJ 直接卡死……)。

而我的judger是这么解决这个问题的,创建一个线程监控编译子进程,超过一定时间kill。这样原本是没有太大的问题的,而且我也相信这也是一种正确的解决方案,但问题是我并不是直接用judger去调用gcc的,而是将gcc包装到了shell脚本,然后调用sh去执行脚本,这样做也是初期考虑到灵活性而决定的。于是judger的子进程是bash,而gcc是bash的子进程,编译任务阻塞后kill掉的是sh,于是gcc变为了孤儿进程,被init进程收养。

illeage_include.png

orphan.png

这倒不是什么难题,只要将进程改为能够kill掉gcc及其子进程便可解决,但是若是忽略这个问题将会是一个灾难,每一次#include "/dev/random"都将会让服务器产生deamon化的gcc进程,时间一久再多的内存都将会被gcc吃掉。



beego中使用fis
Tag beego,fis, on by view 7227

前段时间接触到了fis,后来发现它正是我所寻找的一类前端工具。之前在byvoid大神的博客上看到前端html源码中引用的js和css都是在文件名后面附加了随机串。如/css/style-882e60051fc11fd2558e888585fc3950.css。我感觉这个做法应该有他的深意。接触fis后才知道,文件md5映射之后可以在服务器端开启静态文件永久缓存,如此一来可以最大化利用浏览器的缓存机制,起到加快页面加载速度节省流量的效果。由于md5映射的文件名是唯一的,所以不用担心缓存导致的前端问题。这一技术在许多其他的网站上也有用到,例如百度、twitter等,其中fis就是出自百度,据fis文档介绍,其中某些创意是受twitter启发的。

最近一直在用beego做项目,于是打算将fis的md5映射机制迁移到beego上来,fis官网文档上介绍了fis在go web的实现demo,不过它是基于martini框架的,在多番查阅文档后,我觉得若是抛开模版内的资源文件自动打包这一功能单纯实现md5映射,我能够自己将其在beego上实现。

fis中带md5映射的前端资源全部记录于map.json文件中,fis项目编译后会自动生成map.json文件,示例如下

{
    "res": {
        "js/global.js": {
            "uri": "/static/js/global_f39ad61.js",
            "type": "js"
        },
        "js/user.js": {
            "uri": "/static/js/user_42dbc3b.js",
            "type": "js"
        },
        "octicons/octicons.scss": {
            "uri": "/static/octicons/octicons_1b828d3.css",
            "type": "css"
        },
        "sass/index.scss": {
            "uri": "/static/css/index_b855d1c.css",
            "type": "css"
        },
        "sass/login.scss": {
            "uri": "/static/css/login_c8abcc0.css",
            "type": "css"
        },
        "sass/register.scss": {
            "uri": "/static/css/register_b76a400.css",
            "type": "css"
        },
        "sass/style.scss": {
            "uri": "/static/css/style_462f7a1.css",
            "type": "css"
        }
    },
    "pkg": {}
}

这其中"res"项就是资源映射表,"js/global.js"以及"js/global.js"等是编译前的文件,即fis项目源文件,而"/static/js/global_f39ad61.js"以及"/static/octicons/octicons_1b828d3.css"等是编译后的文件,网站应当加载编译后的文件,而编译后的文件名是变动的,每次修改源文件并编译后,编译后的文件名md5值便会变化,不过编译前的文件名是不变的,因此,思路是通过编译前文件名得到对应的编译后的文件名,然后加载到网页。beego实现如下:

在工具包utils里有

package utils

import (
	"fmt"
	"github.com/astaxie/beego"
	"github.com/gogather/com"
	"html/template"
)

// fis map
func Fis(key string) template.HTML {
	var text string
	content := loadMap()
	json, _ := com.JsonDecode(content)
	json = json.(map[string]interface{})["res"]
	if fileMap, ok := json.(map[string]interface{}); !ok {
		fmt.Println("map.json id illeage!")
	} else {
		for tmpKey, views := range fileMap {
			uri, ok := views.(map[string]interface{})["uri"].(string)
			if !ok {
				fmt.Println("error in map.json")
			}

			fileType, ok := views.(map[string]interface{})["type"].(string)
			if !ok {
				fmt.Println("error in map.json")
			}

			if tmpKey == key {
				if fileType == "css" {
					text = `<link rel="stylesheet" href="` + uri + `">`
				} else if fileType == "js" {
					text = `<script src="` + uri + `"></script>`
				}
			}
		}
	}

	return template.HTML(text)
}

// load map.json
func loadMap() string {
	mapPath := beego.AppConfig.String("static_map")
	mapContent := com.ReadFile(mapPath)
	return mapContent
}

其中Fis函数便是由编译前的文件名查找编译后的文件名。接下来是注册模版函数

beego.AddFuncMap("asset", utils.Fis)

然后你就可以在模版中这样引入js或者css文件了

{{template "inc/header.tpl" .}}
{{asset "sass/login.scss"}}
	<div class="info">&nbsp</div>
	<div class="login">
		<form action="/login">
			<ul>
				<li><label for="">用户名</label><input type="text" name="username" id=""></li>
				<li><label for="">密码</label><input type="password" name="password" id=""></li>
				<li class="login-btns">
					<button class="btn">{{i18n "login"}}</button>
					<a class="btn oauth-login" href="https://github.com/login/oauth/authorize?client_id={{.github_client_id}}&scope=user,public_repo" target="_blank"><span class="octicon octicon-logo-github"></span>登录</a>
				</li>
			</ul>
		</form>
	</div>
{{asset "js/user.js"}}
{{template "inc/footer.tpl" .}}

其中

{{asset "sass/login.scss"}}

便是引入"sass/login.scss"对应的编译后的css文件。

如此,便实现了利用fis的md5映射功能,现在可以放心开启js和css的强制缓存了。最后附上我自己的项目地址供大家借鉴https://github.com/duguying/ojsite 。


写在网站变迁之后
Tag 网站,备案,wordpress,go,博客, on by view 4349

最近几天一直忙于这学期的课程设计作业,无法抽空写点什么。其实这次博客变动之后早就想写点东西记录一下本次博客搬迁的过程。

本次博客搬家是从原先的位于英国的Hostinger空间搬迁至国内的阿里云服务器,搬迁的原因主要有两个:第一个原因是国内访问国外的服务器线路极其的不稳定,经常被和谐或者是访问速度很慢;第二个原因是我已经决定并开始使用go语言重构了博客系统,弃用原来的基于php的wordpress博客系统,这一次用go语言重构博客也是一个挑战。

博客变迁记载

  • 2011-2012年左右,博客是基于php的wordpress系统,曾放置于“浦东信息港”那个免费空间提供商,相比于国内的免费空间这一家还算不错(不排除有我不知道的更好的),他提供香港机房版免备案空间,同时也提供单个MySQL数据库(不是整个MySQL服务器),可是有两个缺点:访问速度慢;不支持curl服务(这意味着不能在线安装wordpress的各种插件)。

  • 2013年,我申请了域名 duguying.net ,使用修改版的wordpress将网站放置于百度云,并且绑定了域名,可是不久之后百度云开始检查备案,未备案的网站一律停止域名解析,再到后来百度云升级了,可是升级后的系统却是非常的不方便使用,在到后来百度云开始大张旗鼓的收费了,感觉再也不爱百度云了。

  • 2014年上半年,将网站迁移至Hostinger,之前百度云上面的数据有部分已经丢失了,可是好景不长,Hostinger免费又是国外的免备案服务器,估计注册的人不少,那么各种言论也不少,相信触动了某的逆鳞的言论也是不少,因此就会偶尔遭遇和谐,对于这种各网站公用ip的空间来说,一个网站被和谐意味着相同ip的所有网站空间全部被和谐,空间提供商是老外,别人可不在意什么和谐。另外,Hostinger经常会出现CPU过载,然后你的网站就会自动跳转到一个警告页面,对于这个表示无语。最后,网速的确很差。

  • 2014年下半年,手痒了,想搞一个云服务器,把网站全部迁移至拥有独立造作系统、拥有root账户的云服务器或者是VPS。本人一开始是表示不喜欢备案的,因为我并不认为我的言论会导致什么坏的事情所以觉得自己没必要被审查,然后早就听说备案特别复杂,是一件很费神的事情。于是,我对比了国内外VPS/云服务器的价格之后,决定先在DigitalOcean购买一个月的VPS试用一下。买下之后却遇到了一系列的问题(将帐号锁定禁止开通主机),各方谷歌之后发现甚至有人大骂DigitalOcean野蛮终止自己的服务器导致大量的客户丢失(链接),硬着头皮看完英文,我想糟了该不会是被老外坑了吧,最后还是决定通过沟通的方式看能不能解决,于是我给客服发送用我那蹩脚的英文写的电子邮件,邮件中描述了我所遇到的状况并表示希望能够解除锁定,等待了半日的时间,终于收到了回复的电邮,帐号也解锁了。于是,立即创建了一个虚拟主机,ssh登陆之,最后发现ssh竟然卡出翔……我在putty上敲了一行的命令,没反应,大概过了十来秒屏幕突然一下子又出现了刚才敲的一行命令,按删除键没反应,再按又没反应,十来秒后一下子删除了N个字符,删多了。这样的用户体验,谁能忍!毕竟是国外的服务器……

  • 2014年7月左右,DigitalOcean那卡出翔的用户体验让我放弃了继续试用linode,听说linode可以选择日本的数据中心,网速还不错,据说大神byvoid的个人博客就是放在linode,可是又据说这个日本的数据中心容易被和谐。于是,恰逢遇到阿里云促销“0元半年体验”,申请成功后发现这个是不包括网络带宽的,没办法,一咬牙就花了127大洋买了6个月的带宽。ssh登录,速度很不错,速度上感觉与本地虚拟机相似比较爽,没办法了,买了国内的云服务器,乖乖备案吧。

  • 2014年8月,既然买了一个独立的云服务器那么就得用到实处,我决定使用go语言重构博客了,第一周看了《Go语言编程》那本书的大部分,第二周开始基于Beego框架构建博客系统,第三周博客后台完成大部分,开始构思前端界面并且开始准备备案的事情。终于要备案了,这是我第一次备案,备案使用的是阿里云系统,阿里云的客服处理事情的速度还是比较快的,提交初审后过了两小时就有客服妹纸打电话说明相关信息并且告诉我我起得网站名称不行,需要改一下更容易通过,于是就按照客服妹纸的建议改为“大俊的个人网站”(我提交的名称是“大俊哥之家”),并且客服告诉我我的域名持有人名称与申请备案人名称不一致,当时域名是在oray注册的,注册信息填写英文名的时候填写的是Rex Lee,因此显示为Rex Lee,客服建议我讲域名转到阿里云。后来我发现阿里云和万网居然合并了(万网被阿里云收购),记得我上次登录万网时候那时还没有合并,域名价格都是特贵的,所以当初才选择了相对便宜的Oray,可是现在一看,域名居然白菜价,转入39,注册49,续费55,我果断决定转入了,可是,有另外一件麻烦事情,当初Oray帐号注册时候没有实名认证,Oray规定只有实名认证的用户才能够转出域名,没办法,当初注册帐号填写的是企业账户,我现在是无法实名认证的,最终决定注册一个小号,将域名在帐号间转移(花了我10块大洋),然后将小号实名认证,Oray的客服效率真心查啊,帐号实名认证花了4天,这还是我在他官方bbs上催他们才有这效率的,终于,实名认证成功了,也成功获取了域名转移密码,申请转入万网成功,然后又等了将近5个工作日,终于成功转过来了,在原域名商那儿还有5个月的时间也一同转过来了,这是我没想到的。最后发现,国际域名.net根本就不支持中文持有人信息Orz...不过我还是决定将Rex Lee改为中文名的汉语拼音。域名转入的事情告一段落了,与此同时,我申请了阿里云备案的幕布,自己用他的幕布拍照,传照片以及各种资料,然后快递资料。接下来便是漫长的等待了,据说20个工作日可以得到备案结果,还好没用20天,备案号终于发下来了。早已经准备好的网站系统终于可以启动了,我霸气的在putty中敲下service nginx start启动了前端服务器。网站开通。

折腾了这么久,网站总算是通了,我想以后我会继续续费,将这个网站继续下去,go语言才刚刚开始,我也是刚刚开始学习go语言,后面的路还很长,我看好golang。也会坚持写博客。


Go语言新手应该知道的几点
Tag golang,初学者,包导入,变量命名, on by view 4693

1. 变量与函数命名

在go语言中变量与函数的命名是有着特殊的限制的,比如,一个函数functionname与函数FunctionName是有着不同的特点的。函数名第一个字母大写表示此函数可以被其他文件中的代码所调用,而函数名第一个字母小写的函数却只能在当前文件中被调用。初学者往往会发现自己正确的导入了包,但是却无法调用包里面的函数,这时候请看一下自己定义的函数名的首字母的大小写情况。因此,建议Go语言变量命名一律使用骆驼命名法(FunctionName/functionName),而不是蛇形命名法(function_name)。

2. 包导入import

(1) 相对路径

import "./model" //当前文件同一目录的model目录,但是不建议这种方式来import

(2) 绝对路径

import "shorturl/model" //加载gopath/src/shorturl/model模块

(3) 点操作

import( . "fmt" ) 
这个点操作的含义就是这个包导入之后在你调用这个包的函数时,你可以省略前缀的包名,也就是前面你调用的fmt.Println("hello world")可以省略的写成Println("hello world")

(4) 别名操作
别名操作顾名思义我们可以把包命名成另一个我们用起来容易记忆的名字

import( f "fmt" ) //别名操作的话调用包函数时前缀变成了我们的前缀,即f.Println("hello world")

(5) _操作

import ( "database/sql" 
         _ "github.com/ziutek/mymysql/godrv" 
        )
_操作其实是引入该包,而不直接使用包里面的函数,而是调用了该包里面的init函数