Range lock performance improvements
authorBrian Behlendorf <behlendorf1@llnl.gov>
Tue, 8 Mar 2011 20:17:35 +0000 (12:17 -0800)
committerBrian Behlendorf <behlendorf1@llnl.gov>
Tue, 8 Mar 2011 20:44:06 +0000 (12:44 -0800)
commit450dc149bd5afdddad724a6eff7ff741fa8fdf11
treea648684e14f51b440f5cab7150ac3ff332de677a
parent126400a1ca656d41dea9d2ad88afbec3ed32d391
Range lock performance improvements

The original range lock implementation had to be modified by commit
8926ab7 because it was unsafe on Linux.  In particular, calling
cv_destroy() immediately after cv_broadcast() is dangerous because
the waiters may still be asleep.  Thus the following cv_destroy()
will free memory which may still be in use.

This was fixed by updating cv_destroy() to block on waiters but
this in turn introduced a deadlock.  The deadlock was resolved
with the use of a taskq to move the offending free outside the
range lock.  This worked well but using the taskq for the free
resulted in a serious performace hit.  This is somewhat ironic
because at the time I felt using the taskq might improve things
by making the free asynchronous.

This patch refines the original fix and moves the free from the
taskq to a private free list.  Then items which must be free'd
are simply inserted in to the list.  When the range lock is dropped
it's safe to free the items.  The list is walked and all rl_t
entries are freed.

This change improves small cached read performance by 26x.  This
was expected because for small reads the number of locking calls
goes up significantly.  More surprisingly this change significantly
improves large cache read performance.  This probably attributable
to better cpu/memory locality.  Very likely the same processor
which allocated the memory is now freeing it.

bs ext3 zfs zfs+fix faster
----------------------------------------------
512     435     3       79       26x
1k      820     7       160      22x
2k      1536    14      305      21x
4k      2764    28      572      20x
8k      3788    50      1024     20x
16k     4300    86      1843     21x
32k     4505    138     2560     18x
64k     5324    252     3891     15x
128k    5427    276     4710     17x
256k    5427    413     5017     12x
512k    5427    497     5324     10x
1m      5427    521     5632     10x

Closes #142
include/sys/zfs_rlock.h
module/zfs/zfs_rlock.c