Speed up 'zfs list -t snapshot -o name -s name'
[zfs.git] / cmd / zfs / zfs_iter.c
1 /*
2  * CDDL HEADER START
3  *
4  * The contents of this file are subject to the terms of the
5  * Common Development and Distribution License (the "License").
6  * You may not use this file except in compliance with the License.
7  *
8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
9  * or http://www.opensolaris.org/os/licensing.
10  * See the License for the specific language governing permissions
11  * and limitations under the License.
12  *
13  * When distributing Covered Code, include this CDDL HEADER in each
14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
15  * If applicable, add the following below this CDDL HEADER, with the
16  * fields enclosed by brackets "[]" replaced with your own identifying
17  * information: Portions Copyright [yyyy] [name of copyright owner]
18  *
19  * CDDL HEADER END
20  */
21 /*
22  * Copyright (c) 2005, 2010, Oracle and/or its affiliates. All rights reserved.
23  * Copyright (c) 2012 Pawel Jakub Dawidek <pawel@dawidek.net>.
24  */
25
26 #include <libintl.h>
27 #include <libuutil.h>
28 #include <stddef.h>
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <strings.h>
32
33 #include <libzfs.h>
34
35 #include "zfs_util.h"
36 #include "zfs_iter.h"
37
38 /*
39  * This is a private interface used to gather up all the datasets specified on
40  * the command line so that we can iterate over them in order.
41  *
42  * First, we iterate over all filesystems, gathering them together into an
43  * AVL tree.  We report errors for any explicitly specified datasets
44  * that we couldn't open.
45  *
46  * When finished, we have an AVL tree of ZFS handles.  We go through and execute
47  * the provided callback for each one, passing whatever data the user supplied.
48  */
49
50 typedef struct zfs_node {
51         zfs_handle_t    *zn_handle;
52         uu_avl_node_t   zn_avlnode;
53 } zfs_node_t;
54
55 typedef struct callback_data {
56         uu_avl_t                *cb_avl;
57         int                     cb_flags;
58         zfs_type_t              cb_types;
59         zfs_sort_column_t       *cb_sortcol;
60         zprop_list_t            **cb_proplist;
61         int                     cb_depth_limit;
62         int                     cb_depth;
63         uint8_t                 cb_props_table[ZFS_NUM_PROPS];
64 } callback_data_t;
65
66 uu_avl_pool_t *avl_pool;
67
68 /*
69  * Include snaps if they were requested or if this a zfs list where types
70  * were not specified and the "listsnapshots" property is set on this pool.
71  */
72 static int
73 zfs_include_snapshots(zfs_handle_t *zhp, callback_data_t *cb)
74 {
75         zpool_handle_t *zph;
76
77         if ((cb->cb_flags & ZFS_ITER_PROP_LISTSNAPS) == 0)
78                 return (cb->cb_types & ZFS_TYPE_SNAPSHOT);
79
80         zph = zfs_get_pool_handle(zhp);
81         return (zpool_get_prop_int(zph, ZPOOL_PROP_LISTSNAPS, NULL));
82 }
83
84 /*
85  * Called for each dataset.  If the object is of an appropriate type,
86  * add it to the avl tree and recurse over any children as necessary.
87  */
88 static int
89 zfs_callback(zfs_handle_t *zhp, void *data)
90 {
91         callback_data_t *cb = data;
92         int dontclose = 0;
93         int include_snaps = zfs_include_snapshots(zhp, cb);
94
95         if ((zfs_get_type(zhp) & cb->cb_types) ||
96             ((zfs_get_type(zhp) == ZFS_TYPE_SNAPSHOT) && include_snaps)) {
97                 uu_avl_index_t idx;
98                 zfs_node_t *node = safe_malloc(sizeof (zfs_node_t));
99
100                 node->zn_handle = zhp;
101                 uu_avl_node_init(node, &node->zn_avlnode, avl_pool);
102                 if (uu_avl_find(cb->cb_avl, node, cb->cb_sortcol,
103                     &idx) == NULL) {
104                         if (cb->cb_proplist) {
105                                 if ((*cb->cb_proplist) &&
106                                     !(*cb->cb_proplist)->pl_all)
107                                         zfs_prune_proplist(zhp,
108                                             cb->cb_props_table);
109
110                                 if (zfs_expand_proplist(zhp, cb->cb_proplist,
111                                     (cb->cb_flags & ZFS_ITER_RECVD_PROPS))
112                                     != 0) {
113                                         free(node);
114                                         return (-1);
115                                 }
116                         }
117                         uu_avl_insert(cb->cb_avl, node, idx);
118                         dontclose = 1;
119                 } else {
120                         free(node);
121                 }
122         }
123
124         /*
125          * Recurse if necessary.
126          */
127         if (cb->cb_flags & ZFS_ITER_RECURSE &&
128             ((cb->cb_flags & ZFS_ITER_DEPTH_LIMIT) == 0 ||
129             cb->cb_depth < cb->cb_depth_limit)) {
130                 cb->cb_depth++;
131                 if (zfs_get_type(zhp) == ZFS_TYPE_FILESYSTEM)
132                         (void) zfs_iter_filesystems(zhp, zfs_callback, data);
133                 if ((zfs_get_type(zhp) != ZFS_TYPE_SNAPSHOT) && include_snaps) {
134                         (void) zfs_iter_snapshots(zhp,
135                             (cb->cb_flags & ZFS_ITER_SIMPLE) != 0, zfs_callback,
136                             data);
137                 }
138                 cb->cb_depth--;
139         }
140
141         if (!dontclose)
142                 zfs_close(zhp);
143
144         return (0);
145 }
146
147 int
148 zfs_add_sort_column(zfs_sort_column_t **sc, const char *name,
149     boolean_t reverse)
150 {
151         zfs_sort_column_t *col;
152         zfs_prop_t prop;
153
154         if ((prop = zfs_name_to_prop(name)) == ZPROP_INVAL &&
155             !zfs_prop_user(name))
156                 return (-1);
157
158         col = safe_malloc(sizeof (zfs_sort_column_t));
159
160         col->sc_prop = prop;
161         col->sc_reverse = reverse;
162         if (prop == ZPROP_INVAL) {
163                 col->sc_user_prop = safe_malloc(strlen(name) + 1);
164                 (void) strcpy(col->sc_user_prop, name);
165         }
166
167         if (*sc == NULL) {
168                 col->sc_last = col;
169                 *sc = col;
170         } else {
171                 (*sc)->sc_last->sc_next = col;
172                 (*sc)->sc_last = col;
173         }
174
175         return (0);
176 }
177
178 void
179 zfs_free_sort_columns(zfs_sort_column_t *sc)
180 {
181         zfs_sort_column_t *col;
182
183         while (sc != NULL) {
184                 col = sc->sc_next;
185                 free(sc->sc_user_prop);
186                 free(sc);
187                 sc = col;
188         }
189 }
190
191 int
192 zfs_sort_only_by_name(const zfs_sort_column_t *sc)
193 {
194         return (sc != NULL && sc->sc_next == NULL &&
195             sc->sc_prop == ZFS_PROP_NAME);
196 }
197
198 /* ARGSUSED */
199 static int
200 zfs_compare(const void *larg, const void *rarg, void *unused)
201 {
202         zfs_handle_t *l = ((zfs_node_t *)larg)->zn_handle;
203         zfs_handle_t *r = ((zfs_node_t *)rarg)->zn_handle;
204         const char *lname = zfs_get_name(l);
205         const char *rname = zfs_get_name(r);
206         char *lat, *rat;
207         uint64_t lcreate, rcreate;
208         int ret;
209
210         lat = (char *)strchr(lname, '@');
211         rat = (char *)strchr(rname, '@');
212
213         if (lat != NULL)
214                 *lat = '\0';
215         if (rat != NULL)
216                 *rat = '\0';
217
218         ret = strcmp(lname, rname);
219         if (ret == 0) {
220                 /*
221                  * If we're comparing a dataset to one of its snapshots, we
222                  * always make the full dataset first.
223                  */
224                 if (lat == NULL) {
225                         ret = -1;
226                 } else if (rat == NULL) {
227                         ret = 1;
228                 } else {
229                         /*
230                          * If we have two snapshots from the same dataset, then
231                          * we want to sort them according to creation time.  We
232                          * use the hidden CREATETXG property to get an absolute
233                          * ordering of snapshots.
234                          */
235                         lcreate = zfs_prop_get_int(l, ZFS_PROP_CREATETXG);
236                         rcreate = zfs_prop_get_int(r, ZFS_PROP_CREATETXG);
237
238                         /*
239                          * Both lcreate and rcreate being 0 means we don't have
240                          * properties and we should compare full name.
241                          */
242                         if (lcreate == 0 && rcreate == 0)
243                                 ret = strcmp(lat + 1, rat + 1);
244                         else if (lcreate < rcreate)
245                                 ret = -1;
246                         else if (lcreate > rcreate)
247                                 ret = 1;
248                 }
249         }
250
251         if (lat != NULL)
252                 *lat = '@';
253         if (rat != NULL)
254                 *rat = '@';
255
256         return (ret);
257 }
258
259 /*
260  * Sort datasets by specified columns.
261  *
262  * o  Numeric types sort in ascending order.
263  * o  String types sort in alphabetical order.
264  * o  Types inappropriate for a row sort that row to the literal
265  *    bottom, regardless of the specified ordering.
266  *
267  * If no sort columns are specified, or two datasets compare equally
268  * across all specified columns, they are sorted alphabetically by name
269  * with snapshots grouped under their parents.
270  */
271 static int
272 zfs_sort(const void *larg, const void *rarg, void *data)
273 {
274         zfs_handle_t *l = ((zfs_node_t *)larg)->zn_handle;
275         zfs_handle_t *r = ((zfs_node_t *)rarg)->zn_handle;
276         zfs_sort_column_t *sc = (zfs_sort_column_t *)data;
277         zfs_sort_column_t *psc;
278
279         for (psc = sc; psc != NULL; psc = psc->sc_next) {
280                 char lbuf[ZFS_MAXPROPLEN], rbuf[ZFS_MAXPROPLEN];
281                 char *lstr, *rstr;
282                 uint64_t lnum, rnum;
283                 boolean_t lvalid, rvalid;
284                 int ret = 0;
285
286                 /*
287                  * We group the checks below the generic code.  If 'lstr' and
288                  * 'rstr' are non-NULL, then we do a string based comparison.
289                  * Otherwise, we compare 'lnum' and 'rnum'.
290                  */
291                 lstr = rstr = NULL;
292                 if (psc->sc_prop == ZPROP_INVAL) {
293                         nvlist_t *luser, *ruser;
294                         nvlist_t *lval, *rval;
295
296                         luser = zfs_get_user_props(l);
297                         ruser = zfs_get_user_props(r);
298
299                         lvalid = (nvlist_lookup_nvlist(luser,
300                             psc->sc_user_prop, &lval) == 0);
301                         rvalid = (nvlist_lookup_nvlist(ruser,
302                             psc->sc_user_prop, &rval) == 0);
303
304                         if (lvalid)
305                                 verify(nvlist_lookup_string(lval,
306                                     ZPROP_VALUE, &lstr) == 0);
307                         if (rvalid)
308                                 verify(nvlist_lookup_string(rval,
309                                     ZPROP_VALUE, &rstr) == 0);
310                 } else if (psc->sc_prop == ZFS_PROP_NAME) {
311                         lvalid = rvalid = B_TRUE;
312
313                         (void) strlcpy(lbuf, zfs_get_name(l), sizeof(lbuf));
314                         (void) strlcpy(rbuf, zfs_get_name(r), sizeof(rbuf));
315
316                         lstr = lbuf;
317                         rstr = rbuf;
318                 } else if (zfs_prop_is_string(psc->sc_prop)) {
319                         lvalid = (zfs_prop_get(l, psc->sc_prop, lbuf,
320                             sizeof (lbuf), NULL, NULL, 0, B_TRUE) == 0);
321                         rvalid = (zfs_prop_get(r, psc->sc_prop, rbuf,
322                             sizeof (rbuf), NULL, NULL, 0, B_TRUE) == 0);
323
324                         lstr = lbuf;
325                         rstr = rbuf;
326                 } else {
327                         lvalid = zfs_prop_valid_for_type(psc->sc_prop,
328                             zfs_get_type(l));
329                         rvalid = zfs_prop_valid_for_type(psc->sc_prop,
330                             zfs_get_type(r));
331
332                         if (lvalid)
333                                 (void) zfs_prop_get_numeric(l, psc->sc_prop,
334                                     &lnum, NULL, NULL, 0);
335                         if (rvalid)
336                                 (void) zfs_prop_get_numeric(r, psc->sc_prop,
337                                     &rnum, NULL, NULL, 0);
338                 }
339
340                 if (!lvalid && !rvalid)
341                         continue;
342                 else if (!lvalid)
343                         return (1);
344                 else if (!rvalid)
345                         return (-1);
346
347                 if (lstr)
348                         ret = strcmp(lstr, rstr);
349                 else if (lnum < rnum)
350                         ret = -1;
351                 else if (lnum > rnum)
352                         ret = 1;
353
354                 if (ret != 0) {
355                         if (psc->sc_reverse == B_TRUE)
356                                 ret = (ret < 0) ? 1 : -1;
357                         return (ret);
358                 }
359         }
360
361         return (zfs_compare(larg, rarg, NULL));
362 }
363
364 int
365 zfs_for_each(int argc, char **argv, int flags, zfs_type_t types,
366     zfs_sort_column_t *sortcol, zprop_list_t **proplist, int limit,
367     zfs_iter_f callback, void *data)
368 {
369         callback_data_t cb = {0};
370         int ret = 0;
371         zfs_node_t *node;
372         uu_avl_walk_t *walk;
373
374         avl_pool = uu_avl_pool_create("zfs_pool", sizeof (zfs_node_t),
375             offsetof(zfs_node_t, zn_avlnode), zfs_sort, UU_DEFAULT);
376
377         if (avl_pool == NULL)
378                 nomem();
379
380         cb.cb_sortcol = sortcol;
381         cb.cb_flags = flags;
382         cb.cb_proplist = proplist;
383         cb.cb_types = types;
384         cb.cb_depth_limit = limit;
385         /*
386          * If cb_proplist is provided then in the zfs_handles created we
387          * retain only those properties listed in cb_proplist and sortcol.
388          * The rest are pruned. So, the caller should make sure that no other
389          * properties other than those listed in cb_proplist/sortcol are
390          * accessed.
391          *
392          * If cb_proplist is NULL then we retain all the properties.  We
393          * always retain the zoned property, which some other properties
394          * need (userquota & friends), and the createtxg property, which
395          * we need to sort snapshots.
396          */
397         if (cb.cb_proplist && *cb.cb_proplist) {
398                 zprop_list_t *p = *cb.cb_proplist;
399
400                 while (p) {
401                         if (p->pl_prop >= ZFS_PROP_TYPE &&
402                             p->pl_prop < ZFS_NUM_PROPS) {
403                                 cb.cb_props_table[p->pl_prop] = B_TRUE;
404                         }
405                         p = p->pl_next;
406                 }
407
408                 while (sortcol) {
409                         if (sortcol->sc_prop >= ZFS_PROP_TYPE &&
410                             sortcol->sc_prop < ZFS_NUM_PROPS) {
411                                 cb.cb_props_table[sortcol->sc_prop] = B_TRUE;
412                         }
413                         sortcol = sortcol->sc_next;
414                 }
415
416                 cb.cb_props_table[ZFS_PROP_ZONED] = B_TRUE;
417                 cb.cb_props_table[ZFS_PROP_CREATETXG] = B_TRUE;
418         } else {
419                 (void) memset(cb.cb_props_table, B_TRUE,
420                     sizeof (cb.cb_props_table));
421         }
422
423         if ((cb.cb_avl = uu_avl_create(avl_pool, NULL, UU_DEFAULT)) == NULL)
424                 nomem();
425
426         if (argc == 0) {
427                 /*
428                  * If given no arguments, iterate over all datasets.
429                  */
430                 cb.cb_flags |= ZFS_ITER_RECURSE;
431                 ret = zfs_iter_root(g_zfs, zfs_callback, &cb);
432         } else {
433                 int i;
434                 zfs_handle_t *zhp;
435                 zfs_type_t argtype;
436
437                 /*
438                  * If we're recursive, then we always allow filesystems as
439                  * arguments.  If we also are interested in snapshots, then we
440                  * can take volumes as well.
441                  */
442                 argtype = types;
443                 if (flags & ZFS_ITER_RECURSE) {
444                         argtype |= ZFS_TYPE_FILESYSTEM;
445                         if (types & ZFS_TYPE_SNAPSHOT)
446                                 argtype |= ZFS_TYPE_VOLUME;
447                 }
448
449                 for (i = 0; i < argc; i++) {
450                         if (flags & ZFS_ITER_ARGS_CAN_BE_PATHS) {
451                                 zhp = zfs_path_to_zhandle(g_zfs, argv[i],
452                                     argtype);
453                         } else {
454                                 zhp = zfs_open(g_zfs, argv[i], argtype);
455                         }
456                         if (zhp != NULL)
457                                 ret |= zfs_callback(zhp, &cb);
458                         else
459                                 ret = 1;
460                 }
461         }
462
463         /*
464          * At this point we've got our AVL tree full of zfs handles, so iterate
465          * over each one and execute the real user callback.
466          */
467         for (node = uu_avl_first(cb.cb_avl); node != NULL;
468             node = uu_avl_next(cb.cb_avl, node))
469                 ret |= callback(node->zn_handle, data);
470
471         /*
472          * Finally, clean up the AVL tree.
473          */
474         if ((walk = uu_avl_walk_start(cb.cb_avl, UU_WALK_ROBUST)) == NULL)
475                 nomem();
476
477         while ((node = uu_avl_walk_next(walk)) != NULL) {
478                 uu_avl_remove(cb.cb_avl, node);
479                 zfs_close(node->zn_handle);
480                 free(node);
481         }
482
483         uu_avl_walk_end(walk);
484         uu_avl_destroy(cb.cb_avl);
485         uu_avl_pool_destroy(avl_pool);
486
487         return (ret);
488 }