Initial zio delay timing
[zfs.git] / module / zfs / vdev_disk.c
1 /*
2  * CDDL HEADER START
3  *
4  * The contents of this file are subject to the terms of the
5  * Common Development and Distribution License (the "License").
6  * You may not use this file except in compliance with the License.
7  *
8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
9  * or http://www.opensolaris.org/os/licensing.
10  * See the License for the specific language governing permissions
11  * and limitations under the License.
12  *
13  * When distributing Covered Code, include this CDDL HEADER in each
14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
15  * If applicable, add the following below this CDDL HEADER, with the
16  * fields enclosed by brackets "[]" replaced with your own identifying
17  * information: Portions Copyright [yyyy] [name of copyright owner]
18  *
19  * CDDL HEADER END
20  */
21 /*
22  * Copyright (C) 2008-2010 Lawrence Livermore National Security, LLC.
23  * Produced at Lawrence Livermore National Laboratory (cf, DISCLAIMER).
24  * Rewritten for Linux by Brian Behlendorf <behlendorf1@llnl.gov>.
25  * LLNL-CODE-403049.
26  */
27
28 #include <sys/zfs_context.h>
29 #include <sys/spa.h>
30 #include <sys/vdev_disk.h>
31 #include <sys/vdev_impl.h>
32 #include <sys/fs/zfs.h>
33 #include <sys/zio.h>
34 #include <sys/sunldi.h>
35
36 /*
37  * Virtual device vector for disks.
38  */
39 typedef struct dio_request {
40         struct completion       dr_comp;        /* Completion for sync IO */
41         atomic_t                dr_ref;         /* References */
42         zio_t                   *dr_zio;        /* Parent ZIO */
43         int                     dr_rw;          /* Read/Write */
44         int                     dr_error;       /* Bio error */
45         int                     dr_bio_count;   /* Count of bio's */
46         struct bio              *dr_bio[0];     /* Attached bio's */
47 } dio_request_t;
48
49
50 #ifdef HAVE_OPEN_BDEV_EXCLUSIVE
51 static fmode_t
52 vdev_bdev_mode(int smode)
53 {
54         fmode_t mode = 0;
55
56         ASSERT3S(smode & (FREAD | FWRITE), !=, 0);
57
58         if (smode & FREAD)
59                 mode |= FMODE_READ;
60
61         if (smode & FWRITE)
62                 mode |= FMODE_WRITE;
63
64         return mode;
65 }
66 #else
67 static int
68 vdev_bdev_mode(int smode)
69 {
70         int mode = 0;
71
72         ASSERT3S(smode & (FREAD | FWRITE), !=, 0);
73
74         if ((smode & FREAD) && !(smode & FWRITE))
75                 mode = MS_RDONLY;
76
77         return mode;
78 }
79 #endif /* HAVE_OPEN_BDEV_EXCLUSIVE */
80
81 static uint64_t
82 bdev_capacity(struct block_device *bdev)
83 {
84         struct hd_struct *part = bdev->bd_part;
85
86         /* The partition capacity referenced by the block device */
87         if (part)
88                return part->nr_sects;
89
90         /* Otherwise assume the full device capacity */
91         return get_capacity(bdev->bd_disk);
92 }
93
94 static void
95 vdev_disk_error(zio_t *zio)
96 {
97 #ifdef ZFS_DEBUG
98         printk("ZFS: zio error=%d type=%d offset=%llu size=%llu "
99             "flags=%x delay=%llu\n", zio->io_error, zio->io_type,
100             (u_longlong_t)zio->io_offset, (u_longlong_t)zio->io_size,
101             zio->io_flags, (u_longlong_t)zio->io_delay);
102 #endif
103 }
104
105 static int
106 vdev_disk_open(vdev_t *v, uint64_t *psize, uint64_t *ashift)
107 {
108         struct block_device *bdev;
109         vdev_disk_t *vd;
110         int mode, block_size;
111
112         /* Must have a pathname and it must be absolute. */
113         if (v->vdev_path == NULL || v->vdev_path[0] != '/') {
114                 v->vdev_stat.vs_aux = VDEV_AUX_BAD_LABEL;
115                 return EINVAL;
116         }
117
118         vd = kmem_zalloc(sizeof(vdev_disk_t), KM_SLEEP);
119         if (vd == NULL)
120                 return ENOMEM;
121
122         /*
123          * Devices are always opened by the path provided at configuration
124          * time.  This means that if the provided path is a udev by-id path
125          * then drives may be recabled without an issue.  If the provided
126          * path is a udev by-path path then the physical location information
127          * will be preserved.  This can be critical for more complicated
128          * configurations where drives are located in specific physical
129          * locations to maximize the systems tolerence to component failure.
130          * Alternately you can provide your own udev rule to flexibly map
131          * the drives as you see fit.  It is not advised that you use the
132          * /dev/[hd]d devices which may be reorder due to probing order.
133          * Devices in the wrong locations will be detected by the higher
134          * level vdev validation.
135          */
136         mode = spa_mode(v->vdev_spa);
137         bdev = vdev_bdev_open(v->vdev_path, vdev_bdev_mode(mode), vd);
138         if (IS_ERR(bdev)) {
139                 kmem_free(vd, sizeof(vdev_disk_t));
140                 return -PTR_ERR(bdev);
141         }
142
143         v->vdev_tsd = vd;
144         vd->vd_bdev = bdev;
145         block_size =  vdev_bdev_block_size(bdev);
146
147         /* We think the wholedisk property should always be set when this
148          * function is called.  ASSERT here so if any legitimate cases exist
149          * where it's not set, we'll find them during debugging.  If we never
150          * hit the ASSERT, this and the following conditional statement can be
151          * removed. */
152         ASSERT3S(v->vdev_wholedisk, !=, -1ULL);
153
154         /* The wholedisk property was initialized to -1 in vdev_alloc() if it
155          * was unspecified.  In that case, check if this is a whole device.
156          * When bdev->bd_contains == bdev we have a whole device and not simply
157          * a partition. */
158         if (v->vdev_wholedisk == -1ULL)
159                 v->vdev_wholedisk = (bdev->bd_contains == bdev);
160
161         /* Clear the nowritecache bit, causes vdev_reopen() to try again. */
162         v->vdev_nowritecache = B_FALSE;
163
164         /* Physical volume size in bytes */
165         *psize = bdev_capacity(bdev) * block_size;
166
167         /* Based on the minimum sector size set the block size */
168         *ashift = highbit(MAX(block_size, SPA_MINBLOCKSIZE)) - 1;
169
170         return 0;
171 }
172
173 static void
174 vdev_disk_close(vdev_t *v)
175 {
176         vdev_disk_t *vd = v->vdev_tsd;
177
178         if (vd == NULL)
179                 return;
180
181         if (vd->vd_bdev != NULL)
182                 vdev_bdev_close(vd->vd_bdev,
183                                 vdev_bdev_mode(spa_mode(v->vdev_spa)));
184
185         kmem_free(vd, sizeof(vdev_disk_t));
186         v->vdev_tsd = NULL;
187 }
188
189 static dio_request_t *
190 vdev_disk_dio_alloc(int bio_count)
191 {
192         dio_request_t *dr;
193         int i;
194
195         dr = kmem_zalloc(sizeof(dio_request_t) +
196                          sizeof(struct bio *) * bio_count, KM_SLEEP);
197         if (dr) {
198                 init_completion(&dr->dr_comp);
199                 atomic_set(&dr->dr_ref, 0);
200                 dr->dr_bio_count = bio_count;
201                 dr->dr_error = 0;
202
203                 for (i = 0; i < dr->dr_bio_count; i++)
204                         dr->dr_bio[i] = NULL;
205         }
206
207         return dr;
208 }
209
210 static void
211 vdev_disk_dio_free(dio_request_t *dr)
212 {
213         int i;
214
215         for (i = 0; i < dr->dr_bio_count; i++)
216                 if (dr->dr_bio[i])
217                         bio_put(dr->dr_bio[i]);
218
219         kmem_free(dr, sizeof(dio_request_t) +
220                   sizeof(struct bio *) * dr->dr_bio_count);
221 }
222
223 static void
224 vdev_disk_dio_get(dio_request_t *dr)
225 {
226         atomic_inc(&dr->dr_ref);
227 }
228
229 static int
230 vdev_disk_dio_put(dio_request_t *dr)
231 {
232         int rc = atomic_dec_return(&dr->dr_ref);
233
234         /*
235          * Free the dio_request when the last reference is dropped and
236          * ensure zio_interpret is called only once with the correct zio
237          */
238         if (rc == 0) {
239                 zio_t *zio = dr->dr_zio;
240                 int error = dr->dr_error;
241
242                 vdev_disk_dio_free(dr);
243
244                 if (zio) {
245                         zio->io_delay = jiffies_to_msecs(
246                             jiffies_64 - zio->io_delay);
247                         zio->io_error = error;
248                         ASSERT3S(zio->io_error, >=, 0);
249                         if (zio->io_error)
250                                 vdev_disk_error(zio);
251                         zio_interrupt(zio);
252                 }
253         }
254
255         return rc;
256 }
257
258 BIO_END_IO_PROTO(vdev_disk_physio_completion, bio, size, error)
259 {
260         dio_request_t *dr = bio->bi_private;
261         int rc;
262
263         /* Fatal error but print some useful debugging before asserting */
264         if (dr == NULL)
265                 PANIC("dr == NULL, bio->bi_private == NULL\n"
266                     "bi_next: %p, bi_flags: %lx, bi_rw: %lu, bi_vcnt: %d\n"
267                     "bi_idx: %d, bi_size: %d, bi_end_io: %p, bi_cnt: %d\n",
268                     bio->bi_next, bio->bi_flags, bio->bi_rw, bio->bi_vcnt,
269                     bio->bi_idx, bio->bi_size, bio->bi_end_io,
270                     atomic_read(&bio->bi_cnt));
271
272 #ifndef HAVE_2ARGS_BIO_END_IO_T
273         if (bio->bi_size)
274                 return 1;
275 #endif /* HAVE_2ARGS_BIO_END_IO_T */
276
277         if (error == 0 && !test_bit(BIO_UPTODATE, &bio->bi_flags))
278                 error = -EIO;
279
280         if (dr->dr_error == 0)
281                 dr->dr_error = -error;
282
283         /* Drop reference aquired by __vdev_disk_physio */
284         rc = vdev_disk_dio_put(dr);
285
286         /* Wake up synchronous waiter this is the last outstanding bio */
287         if ((rc == 1) && (dr->dr_rw & (1 << DIO_RW_SYNCIO)))
288                 complete(&dr->dr_comp);
289
290         BIO_END_IO_RETURN(0);
291 }
292
293 static inline unsigned long
294 bio_nr_pages(void *bio_ptr, unsigned int bio_size)
295 {
296         return ((((unsigned long)bio_ptr + bio_size + PAGE_SIZE - 1) >>
297                 PAGE_SHIFT) - ((unsigned long)bio_ptr >> PAGE_SHIFT));
298 }
299
300 static unsigned int
301 bio_map(struct bio *bio, void *bio_ptr, unsigned int bio_size)
302 {
303         unsigned int offset, size, i;
304         struct page *page;
305
306         offset = offset_in_page(bio_ptr);
307         for (i = 0; i < bio->bi_max_vecs; i++) {
308                 size = PAGE_SIZE - offset;
309
310                 if (bio_size <= 0)
311                         break;
312
313                 if (size > bio_size)
314                         size = bio_size;
315
316                 if (kmem_virt(bio_ptr))
317                         page = vmalloc_to_page(bio_ptr);
318                 else
319                         page = virt_to_page(bio_ptr);
320
321                 if (bio_add_page(bio, page, size, offset) != size)
322                         break;
323
324                 bio_ptr  += size;
325                 bio_size -= size;
326                 offset = 0;
327         }
328
329         return bio_size;
330 }
331
332 static int
333 __vdev_disk_physio(struct block_device *bdev, zio_t *zio, caddr_t kbuf_ptr,
334                    size_t kbuf_size, uint64_t kbuf_offset, int flags)
335 {
336         dio_request_t *dr;
337         caddr_t bio_ptr;
338         uint64_t bio_offset;
339         int bio_size, bio_count = 16;
340         int i = 0, error = 0, block_size;
341
342 retry:
343         dr = vdev_disk_dio_alloc(bio_count);
344         if (dr == NULL)
345                 return ENOMEM;
346
347         if (zio && !(zio->io_flags & (ZIO_FLAG_IO_RETRY | ZIO_FLAG_TRYHARD)))
348                         bio_set_flags_failfast(bdev, &flags);
349
350         dr->dr_zio = zio;
351         dr->dr_rw = flags;
352         block_size = vdev_bdev_block_size(bdev);
353
354         /*
355          * When the IO size exceeds the maximum bio size for the request
356          * queue we are forced to break the IO in multiple bio's and wait
357          * for them all to complete.  Ideally, all pool users will set
358          * their volume block size to match the maximum request size and
359          * the common case will be one bio per vdev IO request.
360          */
361         bio_ptr    = kbuf_ptr;
362         bio_offset = kbuf_offset;
363         bio_size   = kbuf_size;
364         for (i = 0; i <= dr->dr_bio_count; i++) {
365
366                 /* Finished constructing bio's for given buffer */
367                 if (bio_size <= 0)
368                         break;
369
370                 /*
371                  * By default only 'bio_count' bio's per dio are allowed.
372                  * However, if we find ourselves in a situation where more
373                  * are needed we allocate a larger dio and warn the user.
374                  */
375                 if (dr->dr_bio_count == i) {
376                         vdev_disk_dio_free(dr);
377                         bio_count *= 2;
378                         printk("WARNING: Resized bio's/dio to %d\n",bio_count);
379                         goto retry;
380                 }
381
382                 dr->dr_bio[i] = bio_alloc(GFP_NOIO,
383                                           bio_nr_pages(bio_ptr, bio_size));
384                 if (dr->dr_bio[i] == NULL) {
385                         vdev_disk_dio_free(dr);
386                         return ENOMEM;
387                 }
388
389                 /* Matching put called by vdev_disk_physio_completion */
390                 vdev_disk_dio_get(dr);
391
392                 dr->dr_bio[i]->bi_bdev = bdev;
393                 dr->dr_bio[i]->bi_sector = bio_offset / block_size;
394                 dr->dr_bio[i]->bi_rw = dr->dr_rw;
395                 dr->dr_bio[i]->bi_end_io = vdev_disk_physio_completion;
396                 dr->dr_bio[i]->bi_private = dr;
397
398                 /* Remaining size is returned to become the new size */
399                 bio_size = bio_map(dr->dr_bio[i], bio_ptr, bio_size);
400
401                 /* Advance in buffer and construct another bio if needed */
402                 bio_ptr    += dr->dr_bio[i]->bi_size;
403                 bio_offset += dr->dr_bio[i]->bi_size;
404         }
405
406         /* Extra reference to protect dio_request during submit_bio */
407         vdev_disk_dio_get(dr);
408         if (zio)
409                 zio->io_delay = jiffies_64;
410
411         /* Submit all bio's associated with this dio */
412         for (i = 0; i < dr->dr_bio_count; i++)
413                 if (dr->dr_bio[i])
414                         submit_bio(dr->dr_rw, dr->dr_bio[i]);
415
416         /*
417          * On synchronous blocking requests we wait for all bio the completion
418          * callbacks to run.  We will be woken when the last callback runs
419          * for this dio.  We are responsible for putting the last dio_request
420          * reference will in turn put back the last bio references.  The
421          * only synchronous consumer is vdev_disk_read_rootlabel() all other
422          * IO originating from vdev_disk_io_start() is asynchronous.
423          */
424         if (dr->dr_rw & (1 << DIO_RW_SYNCIO)) {
425                 wait_for_completion(&dr->dr_comp);
426                 error = dr->dr_error;
427                 ASSERT3S(atomic_read(&dr->dr_ref), ==, 1);
428         }
429
430         (void)vdev_disk_dio_put(dr);
431
432         return error;
433 }
434
435 int
436 vdev_disk_physio(struct block_device *bdev, caddr_t kbuf,
437                  size_t size, uint64_t offset, int flags)
438 {
439         bio_set_flags_failfast(bdev, &flags);
440         return __vdev_disk_physio(bdev, NULL, kbuf, size, offset, flags);
441 }
442
443 /* 2.6.24 API change */
444 #ifdef HAVE_BIO_EMPTY_BARRIER
445 BIO_END_IO_PROTO(vdev_disk_io_flush_completion, bio, size, rc)
446 {
447         zio_t *zio = bio->bi_private;
448
449         zio->io_delay = jiffies_to_msecs(jiffies_64 - zio->io_delay);
450         zio->io_error = -rc;
451         if (rc && (rc == -EOPNOTSUPP))
452                 zio->io_vd->vdev_nowritecache = B_TRUE;
453
454         bio_put(bio);
455         ASSERT3S(zio->io_error, >=, 0);
456         if (zio->io_error)
457                 vdev_disk_error(zio);
458         zio_interrupt(zio);
459
460         BIO_END_IO_RETURN(0);
461 }
462
463 static int
464 vdev_disk_io_flush(struct block_device *bdev, zio_t *zio)
465 {
466         struct request_queue *q;
467         struct bio *bio;
468
469         q = bdev_get_queue(bdev);
470         if (!q)
471                 return ENXIO;
472
473         bio = bio_alloc(GFP_KERNEL, 0);
474         if (!bio)
475                 return ENOMEM;
476
477         bio->bi_end_io = vdev_disk_io_flush_completion;
478         bio->bi_private = zio;
479         bio->bi_bdev = bdev;
480         zio->io_delay = jiffies_64;
481         submit_bio(WRITE_BARRIER, bio);
482
483         return 0;
484 }
485 #else
486 static int
487 vdev_disk_io_flush(struct block_device *bdev, zio_t *zio)
488 {
489         return ENOTSUP;
490 }
491 #endif /* HAVE_BIO_EMPTY_BARRIER */
492
493 static int
494 vdev_disk_io_start(zio_t *zio)
495 {
496         vdev_t *v = zio->io_vd;
497         vdev_disk_t *vd = v->vdev_tsd;
498         int flags, error;
499
500         switch (zio->io_type) {
501         case ZIO_TYPE_IOCTL:
502
503                 if (!vdev_readable(v)) {
504                         zio->io_error = ENXIO;
505                         return ZIO_PIPELINE_CONTINUE;
506                 }
507
508                 switch (zio->io_cmd) {
509                 case DKIOCFLUSHWRITECACHE:
510
511                         if (zfs_nocacheflush)
512                                 break;
513
514                         if (v->vdev_nowritecache) {
515                                 zio->io_error = ENOTSUP;
516                                 break;
517                         }
518
519                         error = vdev_disk_io_flush(vd->vd_bdev, zio);
520                         if (error == 0)
521                                 return ZIO_PIPELINE_STOP;
522
523                         zio->io_error = error;
524                         if (error == ENOTSUP)
525                                 v->vdev_nowritecache = B_TRUE;
526
527                         break;
528
529                 default:
530                         zio->io_error = ENOTSUP;
531                 }
532
533                 return ZIO_PIPELINE_CONTINUE;
534
535         case ZIO_TYPE_WRITE:
536                 flags = WRITE;
537                 break;
538
539         case ZIO_TYPE_READ:
540                 flags = READ;
541                 break;
542
543         default:
544                 zio->io_error = ENOTSUP;
545                 return ZIO_PIPELINE_CONTINUE;
546         }
547
548         error = __vdev_disk_physio(vd->vd_bdev, zio, zio->io_data,
549                                    zio->io_size, zio->io_offset, flags);
550         if (error) {
551                 zio->io_error = error;
552                 return ZIO_PIPELINE_CONTINUE;
553         }
554
555         return ZIO_PIPELINE_STOP;
556 }
557
558 static void
559 vdev_disk_io_done(zio_t *zio)
560 {
561         /*
562          * If the device returned EIO, we revalidate the media.  If it is
563          * determined the media has changed this triggers the asynchronous
564          * removal of the device from the configuration.
565          */
566         if (zio->io_error == EIO) {
567                 vdev_t *v = zio->io_vd;
568                 vdev_disk_t *vd = v->vdev_tsd;
569
570                 if (check_disk_change(vd->vd_bdev)) {
571                         vdev_bdev_invalidate(vd->vd_bdev);
572                         v->vdev_remove_wanted = B_TRUE;
573                         spa_async_request(zio->io_spa, SPA_ASYNC_REMOVE);
574                 }
575         }
576 }
577
578 static void
579 vdev_disk_hold(vdev_t *vd)
580 {
581         ASSERT(spa_config_held(vd->vdev_spa, SCL_STATE, RW_WRITER));
582
583         /* We must have a pathname, and it must be absolute. */
584         if (vd->vdev_path == NULL || vd->vdev_path[0] != '/')
585                 return;
586
587         /*
588          * Only prefetch path and devid info if the device has
589          * never been opened.
590          */
591         if (vd->vdev_tsd != NULL)
592                 return;
593
594         /* XXX: Implement me as a vnode lookup for the device */
595         vd->vdev_name_vp = NULL;
596         vd->vdev_devid_vp = NULL;
597 }
598
599 static void
600 vdev_disk_rele(vdev_t *vd)
601 {
602         ASSERT(spa_config_held(vd->vdev_spa, SCL_STATE, RW_WRITER));
603
604         /* XXX: Implement me as a vnode rele for the device */
605 }
606
607 vdev_ops_t vdev_disk_ops = {
608         vdev_disk_open,
609         vdev_disk_close,
610         vdev_default_asize,
611         vdev_disk_io_start,
612         vdev_disk_io_done,
613         NULL,
614         vdev_disk_hold,
615         vdev_disk_rele,
616         VDEV_TYPE_DISK,         /* name of this vdev type */
617         B_TRUE                  /* leaf vdev */
618 };
619
620 /*
621  * Given the root disk device devid or pathname, read the label from
622  * the device, and construct a configuration nvlist.
623  */
624 int
625 vdev_disk_read_rootlabel(char *devpath, char *devid, nvlist_t **config)
626 {
627         struct block_device *bdev;
628         vdev_label_t *label;
629         uint64_t s, size;
630         int i;
631
632         bdev = vdev_bdev_open(devpath, vdev_bdev_mode(FREAD), NULL);
633         if (IS_ERR(bdev))
634                 return -PTR_ERR(bdev);
635
636         s = bdev_capacity(bdev) * vdev_bdev_block_size(bdev);
637         if (s == 0) {
638                 vdev_bdev_close(bdev, vdev_bdev_mode(FREAD));
639                 return EIO;
640         }
641
642         size = P2ALIGN_TYPED(s, sizeof(vdev_label_t), uint64_t);
643         label = vmem_alloc(sizeof(vdev_label_t), KM_SLEEP);
644
645         for (i = 0; i < VDEV_LABELS; i++) {
646                 uint64_t offset, state, txg = 0;
647
648                 /* read vdev label */
649                 offset = vdev_label_offset(size, i, 0);
650                 if (vdev_disk_physio(bdev, (caddr_t)label,
651                     VDEV_SKIP_SIZE + VDEV_PHYS_SIZE, offset, READ_SYNC) != 0)
652                         continue;
653
654                 if (nvlist_unpack(label->vl_vdev_phys.vp_nvlist,
655                     sizeof (label->vl_vdev_phys.vp_nvlist), config, 0) != 0) {
656                         *config = NULL;
657                         continue;
658                 }
659
660                 if (nvlist_lookup_uint64(*config, ZPOOL_CONFIG_POOL_STATE,
661                     &state) != 0 || state >= POOL_STATE_DESTROYED) {
662                         nvlist_free(*config);
663                         *config = NULL;
664                         continue;
665                 }
666
667                 if (nvlist_lookup_uint64(*config, ZPOOL_CONFIG_POOL_TXG,
668                     &txg) != 0 || txg == 0) {
669                         nvlist_free(*config);
670                         *config = NULL;
671                         continue;
672                 }
673
674                 break;
675         }
676
677         vmem_free(label, sizeof(vdev_label_t));
678         vdev_bdev_close(bdev, vdev_bdev_mode(FREAD));
679
680         return 0;
681 }