caffe-python-layer 的自定义

还是caffe的自定义层问题。相比于c,python的自定义层更为简单:代码少、外部文件少、方便执行。因此用这种方法实现有利于开发和实验。


准备

首先还是要记得在编译的时候加上WITH_PYTHON_LAYER的选项,如果没有加可以先make clean删除编译后的文件,再重新编译。

1
WITH_PYTHON_LAYER=1 make && make pycaffe

如果出现

1
layer_factory.hpp:77] Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: Python

这样的错误,说明这一步没有成功。


net中的添加

在caffe的配置net里我们要输入有关层的信息,下面以EuclideanLossLayer层为例。简单来说我们可以直接使用,因为原本caffe里面已经包括了用c编写的代码,现在我们把它改编为python层。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
layer {
type: 'Python'
name: 'loss'
top: 'loss'
bottom: 'ipx'
bottom: 'ipy'
python_param {
# 模块名 -- 通常也是文件名 -- 需要放在 $PYTHONPATH 中
module: 'pyloss'
# 层名 -- 模块里的类名
layer: 'EuclideanLossLayer'
}
# set loss weight so Caffe knows this is a loss layer
loss_weight: 1
}

python的层文件需要在$PYTHONPATH目录下。在prototxt中,模块名是pyloss,这意味着你的包括EuclideanLossLayer类名的py文件名也应该是pyloss.py


layer文件添加

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# pyloss.py
import caffe
import numpy as np
class EuclideanLossLayer(caffe.Layer):
def setup(self, bottom, top):
# check input pair
if len(bottom) != 2:
raise Exception("Need two inputs to compute distance.")
def reshape(self, bottom, top):
# check input dimensions match
if bottom[0].count != bottom[1].count:
raise Exception("Inputs must have the same dimension.")
# difference is shape of inputs
self.diff = np.zeros_like(bottom[0].data, dtype=np.float32)
# loss output is scalar
top[0].reshape(1)
def forward(self, bottom, top):
self.diff[...] = bottom[0].data - bottom[1].data
top[0].data[...] = np.sum(self.diff**2) / bottom[0].num / 2.
def backward(self, top, propagate_down, bottom):
for i in range(2):
if not propagate_down[i]:
continue
if i == 0:
sign = 1
else:
sign = -1
bottom[i].diff[...] = sign * self.diff / bottom[i].num

总结

经测试文件应该没问题,可以读取运行。不过没有现成使用EuclideanLossLayer的网络,最后计算结果没有验证。

Caffe Python Layer