Fix negative zio->io_error which must be positive.
[zfs.git] / module / zfs / vdev_disk.c
1 /*
2  * CDDL HEADER START
3  *
4  * The contents of this file are subject to the terms of the
5  * Common Development and Distribution License (the "License").
6  * You may not use this file except in compliance with the License.
7  *
8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
9  * or http://www.opensolaris.org/os/licensing.
10  * See the License for the specific language governing permissions
11  * and limitations under the License.
12  *
13  * When distributing Covered Code, include this CDDL HEADER in each
14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
15  * If applicable, add the following below this CDDL HEADER, with the
16  * fields enclosed by brackets "[]" replaced with your own identifying
17  * information: Portions Copyright [yyyy] [name of copyright owner]
18  *
19  * CDDL HEADER END
20  */
21 /*
22  * Copyright (C) 2008-2010 Lawrence Livermore National Security, LLC.
23  * Produced at Lawrence Livermore National Laboratory (cf, DISCLAIMER).
24  * Rewritten for Linux by Brian Behlendorf <behlendorf1@llnl.gov>.
25  * LLNL-CODE-403049.
26  */
27
28 #include <sys/zfs_context.h>
29 #include <sys/spa.h>
30 #include <sys/vdev_disk.h>
31 #include <sys/vdev_impl.h>
32 #include <sys/fs/zfs.h>
33 #include <sys/zio.h>
34 #include <sys/sunldi.h>
35
36 /*
37  * Virtual device vector for disks.
38  */
39 typedef struct dio_request {
40         struct completion       dr_comp;        /* Completion for sync IO */
41         atomic_t                dr_ref;         /* References */
42         zio_t                   *dr_zio;        /* Parent ZIO */
43         int                     dr_rw;          /* Read/Write */
44         int                     dr_error;       /* Bio error */
45         int                     dr_bio_count;   /* Count of bio's */
46         struct bio              *dr_bio[0];     /* Attached bio's */
47 } dio_request_t;
48
49
50 #ifdef HAVE_OPEN_BDEV_EXCLUSIVE
51 static fmode_t
52 vdev_bdev_mode(int smode)
53 {
54         fmode_t mode = 0;
55
56         ASSERT3S(smode & (FREAD | FWRITE), !=, 0);
57
58         if (smode & FREAD)
59                 mode |= FMODE_READ;
60
61         if (smode & FWRITE)
62                 mode |= FMODE_WRITE;
63
64         return mode;
65 }
66 #else
67 static int
68 vdev_bdev_mode(int smode)
69 {
70         int mode = 0;
71
72         ASSERT3S(smode & (FREAD | FWRITE), !=, 0);
73
74         if ((smode & FREAD) && !(smode & FWRITE))
75                 mode = MS_RDONLY;
76
77         return mode;
78 }
79 #endif /* HAVE_OPEN_BDEV_EXCLUSIVE */
80
81 static uint64_t
82 bdev_capacity(struct block_device *bdev)
83 {
84         struct hd_struct *part = bdev->bd_part;
85
86         /* The partition capacity referenced by the block device */
87         if (part)
88                return part->nr_sects;
89
90         /* Otherwise assume the full device capacity */
91         return get_capacity(bdev->bd_disk);
92 }
93
94 static void
95 vdev_disk_error(zio_t *zio)
96 {
97 #ifdef ZFS_DEBUG
98         printk("ZFS: zio error=%d type=%d offset=%llu "
99             "size=%llu flags=%x\n", zio->io_error, zio->io_type,
100             (u_longlong_t)zio->io_offset, (u_longlong_t)zio->io_size,
101             zio->io_flags);
102 #endif
103 }
104
105 static int
106 vdev_disk_open(vdev_t *v, uint64_t *psize, uint64_t *ashift)
107 {
108         struct block_device *bdev;
109         vdev_disk_t *vd;
110         int mode, block_size;
111
112         /* Must have a pathname and it must be absolute. */
113         if (v->vdev_path == NULL || v->vdev_path[0] != '/') {
114                 v->vdev_stat.vs_aux = VDEV_AUX_BAD_LABEL;
115                 return EINVAL;
116         }
117
118         vd = kmem_zalloc(sizeof(vdev_disk_t), KM_SLEEP);
119         if (vd == NULL)
120                 return ENOMEM;
121
122         /*
123          * Devices are always opened by the path provided at configuration
124          * time.  This means that if the provided path is a udev by-id path
125          * then drives may be recabled without an issue.  If the provided
126          * path is a udev by-path path then the physical location information
127          * will be preserved.  This can be critical for more complicated
128          * configurations where drives are located in specific physical
129          * locations to maximize the systems tolerence to component failure.
130          * Alternately you can provide your own udev rule to flexibly map
131          * the drives as you see fit.  It is not advised that you use the
132          * /dev/[hd]d devices which may be reorder due to probing order.
133          * Devices in the wrong locations will be detected by the higher
134          * level vdev validation.
135          */
136         mode = spa_mode(v->vdev_spa);
137         bdev = vdev_bdev_open(v->vdev_path, vdev_bdev_mode(mode), vd);
138         if (IS_ERR(bdev)) {
139                 kmem_free(vd, sizeof(vdev_disk_t));
140                 return -PTR_ERR(bdev);
141         }
142
143         v->vdev_tsd = vd;
144         vd->vd_bdev = bdev;
145         block_size =  vdev_bdev_block_size(bdev);
146
147         /* We think the wholedisk property should always be set when this
148          * function is called.  ASSERT here so if any legitimate cases exist
149          * where it's not set, we'll find them during debugging.  If we never
150          * hit the ASSERT, this and the following conditional statement can be
151          * removed. */
152         ASSERT3S(v->vdev_wholedisk, !=, -1ULL);
153
154         /* The wholedisk property was initialized to -1 in vdev_alloc() if it
155          * was unspecified.  In that case, check if this is a whole device.
156          * When bdev->bd_contains == bdev we have a whole device and not simply
157          * a partition. */
158         if (v->vdev_wholedisk == -1ULL)
159                 v->vdev_wholedisk = (bdev->bd_contains == bdev);
160
161         /* Clear the nowritecache bit, causes vdev_reopen() to try again. */
162         v->vdev_nowritecache = B_FALSE;
163
164         /* Physical volume size in bytes */
165         *psize = bdev_capacity(bdev) * block_size;
166
167         /* Based on the minimum sector size set the block size */
168         *ashift = highbit(MAX(block_size, SPA_MINBLOCKSIZE)) - 1;
169
170         return 0;
171 }
172
173 static void
174 vdev_disk_close(vdev_t *v)
175 {
176         vdev_disk_t *vd = v->vdev_tsd;
177
178         if (vd == NULL)
179                 return;
180
181         if (vd->vd_bdev != NULL)
182                 vdev_bdev_close(vd->vd_bdev,
183                                 vdev_bdev_mode(spa_mode(v->vdev_spa)));
184
185         kmem_free(vd, sizeof(vdev_disk_t));
186         v->vdev_tsd = NULL;
187 }
188
189 static dio_request_t *
190 vdev_disk_dio_alloc(int bio_count)
191 {
192         dio_request_t *dr;
193         int i;
194
195         dr = kmem_zalloc(sizeof(dio_request_t) +
196                          sizeof(struct bio *) * bio_count, KM_SLEEP);
197         if (dr) {
198                 init_completion(&dr->dr_comp);
199                 atomic_set(&dr->dr_ref, 0);
200                 dr->dr_bio_count = bio_count;
201                 dr->dr_error = 0;
202
203                 for (i = 0; i < dr->dr_bio_count; i++)
204                         dr->dr_bio[i] = NULL;
205         }
206
207         return dr;
208 }
209
210 static void
211 vdev_disk_dio_free(dio_request_t *dr)
212 {
213         int i;
214
215         for (i = 0; i < dr->dr_bio_count; i++)
216                 if (dr->dr_bio[i])
217                         bio_put(dr->dr_bio[i]);
218
219         kmem_free(dr, sizeof(dio_request_t) +
220                   sizeof(struct bio *) * dr->dr_bio_count);
221 }
222
223 static void
224 vdev_disk_dio_get(dio_request_t *dr)
225 {
226         atomic_inc(&dr->dr_ref);
227 }
228
229 static int
230 vdev_disk_dio_put(dio_request_t *dr)
231 {
232         int rc = atomic_dec_return(&dr->dr_ref);
233
234         /*
235          * Free the dio_request when the last reference is dropped and
236          * ensure zio_interpret is called only once with the correct zio
237          */
238         if (rc == 0) {
239                 zio_t *zio = dr->dr_zio;
240                 int error = dr->dr_error;
241
242                 vdev_disk_dio_free(dr);
243
244                 if (zio) {
245                         zio->io_error = error;
246                         ASSERT3S(zio->io_error, >=, 0);
247                         if (zio->io_error)
248                                 vdev_disk_error(zio);
249                         zio_interrupt(zio);
250                 }
251         }
252
253         return rc;
254 }
255
256 BIO_END_IO_PROTO(vdev_disk_physio_completion, bio, size, error)
257 {
258         dio_request_t *dr = bio->bi_private;
259         int rc;
260
261         /* Fatal error but print some useful debugging before asserting */
262         if (dr == NULL)
263                 PANIC("dr == NULL, bio->bi_private == NULL\n"
264                     "bi_next: %p, bi_flags: %lx, bi_rw: %lu, bi_vcnt: %d\n"
265                     "bi_idx: %d, bi_size: %d, bi_end_io: %p, bi_cnt: %d\n",
266                     bio->bi_next, bio->bi_flags, bio->bi_rw, bio->bi_vcnt,
267                     bio->bi_idx, bio->bi_size, bio->bi_end_io,
268                     atomic_read(&bio->bi_cnt));
269
270 #ifndef HAVE_2ARGS_BIO_END_IO_T
271         if (bio->bi_size)
272                 return 1;
273 #endif /* HAVE_2ARGS_BIO_END_IO_T */
274
275         if (error == 0 && !test_bit(BIO_UPTODATE, &bio->bi_flags))
276                 error = -EIO;
277
278         if (dr->dr_error == 0)
279                 dr->dr_error = -error;
280
281         /* Drop reference aquired by __vdev_disk_physio */
282         rc = vdev_disk_dio_put(dr);
283
284         /* Wake up synchronous waiter this is the last outstanding bio */
285         if ((rc == 1) && (dr->dr_rw & (1 << DIO_RW_SYNCIO)))
286                 complete(&dr->dr_comp);
287
288         BIO_END_IO_RETURN(0);
289 }
290
291 static inline unsigned long
292 bio_nr_pages(void *bio_ptr, unsigned int bio_size)
293 {
294         return ((((unsigned long)bio_ptr + bio_size + PAGE_SIZE - 1) >>
295                 PAGE_SHIFT) - ((unsigned long)bio_ptr >> PAGE_SHIFT));
296 }
297
298 static unsigned int
299 bio_map(struct bio *bio, void *bio_ptr, unsigned int bio_size)
300 {
301         unsigned int offset, size, i;
302         struct page *page;
303
304         offset = offset_in_page(bio_ptr);
305         for (i = 0; i < bio->bi_max_vecs; i++) {
306                 size = PAGE_SIZE - offset;
307
308                 if (bio_size <= 0)
309                         break;
310
311                 if (size > bio_size)
312                         size = bio_size;
313
314                 if (kmem_virt(bio_ptr))
315                         page = vmalloc_to_page(bio_ptr);
316                 else
317                         page = virt_to_page(bio_ptr);
318
319                 if (bio_add_page(bio, page, size, offset) != size)
320                         break;
321
322                 bio_ptr  += size;
323                 bio_size -= size;
324                 offset = 0;
325         }
326
327         return bio_size;
328 }
329
330 static int
331 __vdev_disk_physio(struct block_device *bdev, zio_t *zio, caddr_t kbuf_ptr,
332                    size_t kbuf_size, uint64_t kbuf_offset, int flags)
333 {
334         dio_request_t *dr;
335         caddr_t bio_ptr;
336         uint64_t bio_offset;
337         int bio_size, bio_count = 16;
338         int i = 0, error = 0, block_size;
339
340 retry:
341         dr = vdev_disk_dio_alloc(bio_count);
342         if (dr == NULL)
343                 return ENOMEM;
344
345         dr->dr_zio = zio;
346         dr->dr_rw = flags;
347         block_size = vdev_bdev_block_size(bdev);
348
349 #ifdef BIO_RW_FAILFAST
350         if (flags & (1 << BIO_RW_FAILFAST))
351                 dr->dr_rw |= 1 << BIO_RW_FAILFAST;
352 #endif /* BIO_RW_FAILFAST */
353
354         /*
355          * When the IO size exceeds the maximum bio size for the request
356          * queue we are forced to break the IO in multiple bio's and wait
357          * for them all to complete.  Ideally, all pool users will set
358          * their volume block size to match the maximum request size and
359          * the common case will be one bio per vdev IO request.
360          */
361         bio_ptr    = kbuf_ptr;
362         bio_offset = kbuf_offset;
363         bio_size   = kbuf_size;
364         for (i = 0; i <= dr->dr_bio_count; i++) {
365
366                 /* Finished constructing bio's for given buffer */
367                 if (bio_size <= 0)
368                         break;
369
370                 /*
371                  * By default only 'bio_count' bio's per dio are allowed.
372                  * However, if we find ourselves in a situation where more
373                  * are needed we allocate a larger dio and warn the user.
374                  */
375                 if (dr->dr_bio_count == i) {
376                         vdev_disk_dio_free(dr);
377                         bio_count *= 2;
378                         printk("WARNING: Resized bio's/dio to %d\n",bio_count);
379                         goto retry;
380                 }
381
382                 dr->dr_bio[i] = bio_alloc(GFP_NOIO,
383                                           bio_nr_pages(bio_ptr, bio_size));
384                 if (dr->dr_bio[i] == NULL) {
385                         vdev_disk_dio_free(dr);
386                         return ENOMEM;
387                 }
388
389                 /* Matching put called by vdev_disk_physio_completion */
390                 vdev_disk_dio_get(dr);
391
392                 dr->dr_bio[i]->bi_bdev = bdev;
393                 dr->dr_bio[i]->bi_sector = bio_offset / block_size;
394                 dr->dr_bio[i]->bi_rw = dr->dr_rw;
395                 dr->dr_bio[i]->bi_end_io = vdev_disk_physio_completion;
396                 dr->dr_bio[i]->bi_private = dr;
397
398                 /* Remaining size is returned to become the new size */
399                 bio_size = bio_map(dr->dr_bio[i], bio_ptr, bio_size);
400
401                 /* Advance in buffer and construct another bio if needed */
402                 bio_ptr    += dr->dr_bio[i]->bi_size;
403                 bio_offset += dr->dr_bio[i]->bi_size;
404         }
405
406         /* Extra reference to protect dio_request during submit_bio */
407         vdev_disk_dio_get(dr);
408
409         /* Submit all bio's associated with this dio */
410         for (i = 0; i < dr->dr_bio_count; i++)
411                 if (dr->dr_bio[i])
412                         submit_bio(dr->dr_rw, dr->dr_bio[i]);
413
414         /*
415          * On synchronous blocking requests we wait for all bio the completion
416          * callbacks to run.  We will be woken when the last callback runs
417          * for this dio.  We are responsible for putting the last dio_request
418          * reference will in turn put back the last bio references.  The
419          * only synchronous consumer is vdev_disk_read_rootlabel() all other
420          * IO originating from vdev_disk_io_start() is asynchronous.
421          */
422         if (dr->dr_rw & (1 << DIO_RW_SYNCIO)) {
423                 wait_for_completion(&dr->dr_comp);
424                 error = dr->dr_error;
425                 ASSERT3S(atomic_read(&dr->dr_ref), ==, 1);
426         }
427
428         (void)vdev_disk_dio_put(dr);
429
430         return error;
431 }
432
433 int
434 vdev_disk_physio(struct block_device *bdev, caddr_t kbuf,
435                  size_t size, uint64_t offset, int flags)
436 {
437         return __vdev_disk_physio(bdev, NULL, kbuf, size, offset, flags);
438 }
439
440 /* 2.6.24 API change */
441 #ifdef HAVE_BIO_EMPTY_BARRIER
442 BIO_END_IO_PROTO(vdev_disk_io_flush_completion, bio, size, rc)
443 {
444         zio_t *zio = bio->bi_private;
445
446         zio->io_error = -rc;
447         if (rc && (rc == -EOPNOTSUPP))
448                 zio->io_vd->vdev_nowritecache = B_TRUE;
449
450         bio_put(bio);
451         ASSERT3S(zio->io_error, >=, 0);
452         if (zio->io_error)
453                 vdev_disk_error(zio);
454         zio_interrupt(zio);
455
456         BIO_END_IO_RETURN(0);
457 }
458
459 static int
460 vdev_disk_io_flush(struct block_device *bdev, zio_t *zio)
461 {
462         struct request_queue *q;
463         struct bio *bio;
464
465         q = bdev_get_queue(bdev);
466         if (!q)
467                 return ENXIO;
468
469         bio = bio_alloc(GFP_KERNEL, 0);
470         if (!bio)
471                 return ENOMEM;
472
473         bio->bi_end_io = vdev_disk_io_flush_completion;
474         bio->bi_private = zio;
475         bio->bi_bdev = bdev;
476         submit_bio(WRITE_BARRIER, bio);
477
478         return 0;
479 }
480 #else
481 static int
482 vdev_disk_io_flush(struct block_device *bdev, zio_t *zio)
483 {
484         return ENOTSUP;
485 }
486 #endif /* HAVE_BIO_EMPTY_BARRIER */
487
488 static int
489 vdev_disk_io_start(zio_t *zio)
490 {
491         vdev_t *v = zio->io_vd;
492         vdev_disk_t *vd = v->vdev_tsd;
493         int flags, error;
494
495         switch (zio->io_type) {
496         case ZIO_TYPE_IOCTL:
497
498                 if (!vdev_readable(v)) {
499                         zio->io_error = ENXIO;
500                         return ZIO_PIPELINE_CONTINUE;
501                 }
502
503                 switch (zio->io_cmd) {
504                 case DKIOCFLUSHWRITECACHE:
505
506                         if (zfs_nocacheflush)
507                                 break;
508
509                         if (v->vdev_nowritecache) {
510                                 zio->io_error = ENOTSUP;
511                                 break;
512                         }
513
514                         error = vdev_disk_io_flush(vd->vd_bdev, zio);
515                         if (error == 0)
516                                 return ZIO_PIPELINE_STOP;
517
518                         zio->io_error = error;
519                         if (error == ENOTSUP)
520                                 v->vdev_nowritecache = B_TRUE;
521
522                         break;
523
524                 default:
525                         zio->io_error = ENOTSUP;
526                 }
527
528                 return ZIO_PIPELINE_CONTINUE;
529
530         case ZIO_TYPE_WRITE:
531                 flags = WRITE;
532                 break;
533
534         case ZIO_TYPE_READ:
535                 flags = READ;
536                 break;
537
538         default:
539                 zio->io_error = ENOTSUP;
540                 return ZIO_PIPELINE_CONTINUE;
541         }
542
543 #ifdef BIO_RW_FAILFAST
544         if (zio->io_flags & (ZIO_FLAG_IO_RETRY | ZIO_FLAG_TRYHARD))
545                 flags |= (1 << BIO_RW_FAILFAST);
546 #endif /* BIO_RW_FAILFAST */
547
548         error = __vdev_disk_physio(vd->vd_bdev, zio, zio->io_data,
549                                    zio->io_size, zio->io_offset, flags);
550         if (error) {
551                 zio->io_error = error;
552                 return ZIO_PIPELINE_CONTINUE;
553         }
554
555         return ZIO_PIPELINE_STOP;
556 }
557
558 static void
559 vdev_disk_io_done(zio_t *zio)
560 {
561         /*
562          * If the device returned EIO, we revalidate the media.  If it is
563          * determined the media has changed this triggers the asynchronous
564          * removal of the device from the configuration.
565          */
566         if (zio->io_error == EIO) {
567                 vdev_t *v = zio->io_vd;
568                 vdev_disk_t *vd = v->vdev_tsd;
569
570                 if (check_disk_change(vd->vd_bdev)) {
571                         vdev_bdev_invalidate(vd->vd_bdev);
572                         v->vdev_remove_wanted = B_TRUE;
573                         spa_async_request(zio->io_spa, SPA_ASYNC_REMOVE);
574                 }
575         }
576 }
577
578 static void
579 vdev_disk_hold(vdev_t *vd)
580 {
581         ASSERT(spa_config_held(vd->vdev_spa, SCL_STATE, RW_WRITER));
582
583         /* We must have a pathname, and it must be absolute. */
584         if (vd->vdev_path == NULL || vd->vdev_path[0] != '/')
585                 return;
586
587         /*
588          * Only prefetch path and devid info if the device has
589          * never been opened.
590          */
591         if (vd->vdev_tsd != NULL)
592                 return;
593
594         /* XXX: Implement me as a vnode lookup for the device */
595         vd->vdev_name_vp = NULL;
596         vd->vdev_devid_vp = NULL;
597 }
598
599 static void
600 vdev_disk_rele(vdev_t *vd)
601 {
602         ASSERT(spa_config_held(vd->vdev_spa, SCL_STATE, RW_WRITER));
603
604         /* XXX: Implement me as a vnode rele for the device */
605 }
606
607 vdev_ops_t vdev_disk_ops = {
608         vdev_disk_open,
609         vdev_disk_close,
610         vdev_default_asize,
611         vdev_disk_io_start,
612         vdev_disk_io_done,
613         NULL,
614         vdev_disk_hold,
615         vdev_disk_rele,
616         VDEV_TYPE_DISK,         /* name of this vdev type */
617         B_TRUE                  /* leaf vdev */
618 };
619
620 /*
621  * Given the root disk device devid or pathname, read the label from
622  * the device, and construct a configuration nvlist.
623  */
624 int
625 vdev_disk_read_rootlabel(char *devpath, char *devid, nvlist_t **config)
626 {
627         struct block_device *bdev;
628         vdev_label_t *label;
629         uint64_t s, size;
630         int i;
631
632         bdev = vdev_bdev_open(devpath, vdev_bdev_mode(FREAD), NULL);
633         if (IS_ERR(bdev))
634                 return -PTR_ERR(bdev);
635
636         s = bdev_capacity(bdev) * vdev_bdev_block_size(bdev);
637         if (s == 0) {
638                 vdev_bdev_close(bdev, vdev_bdev_mode(FREAD));
639                 return EIO;
640         }
641
642         size = P2ALIGN_TYPED(s, sizeof(vdev_label_t), uint64_t);
643         label = vmem_alloc(sizeof(vdev_label_t), KM_SLEEP);
644
645         for (i = 0; i < VDEV_LABELS; i++) {
646                 uint64_t offset, state, txg = 0;
647
648                 /* read vdev label */
649                 offset = vdev_label_offset(size, i, 0);
650                 if (vdev_disk_physio(bdev, (caddr_t)label,
651                     VDEV_SKIP_SIZE + VDEV_PHYS_SIZE, offset, READ_SYNC) != 0)
652                         continue;
653
654                 if (nvlist_unpack(label->vl_vdev_phys.vp_nvlist,
655                     sizeof (label->vl_vdev_phys.vp_nvlist), config, 0) != 0) {
656                         *config = NULL;
657                         continue;
658                 }
659
660                 if (nvlist_lookup_uint64(*config, ZPOOL_CONFIG_POOL_STATE,
661                     &state) != 0 || state >= POOL_STATE_DESTROYED) {
662                         nvlist_free(*config);
663                         *config = NULL;
664                         continue;
665                 }
666
667                 if (nvlist_lookup_uint64(*config, ZPOOL_CONFIG_POOL_TXG,
668                     &txg) != 0 || txg == 0) {
669                         nvlist_free(*config);
670                         *config = NULL;
671                         continue;
672                 }
673
674                 break;
675         }
676
677         vmem_free(label, sizeof(vdev_label_t));
678         vdev_bdev_close(bdev, vdev_bdev_mode(FREAD));
679
680         return 0;
681 }