TY - JOUR TI - Large expert-curated database for benchmarking document similarity detection in biomedical literature search AU - Brown, P. AU - Zhou, Y. AU - Tan, A.-C. AU - El-Esawi, M.A. AU - Liehr, T. AU - Blanck, O. AU - Gladue, D.P. AU - Almeida, G.M.F. AU - Cernava, T. AU - Sorzano, C.O. AU - Yeung, A.W.K. AU - Engel, M.S. AU - Chandrasekaran, A.R. AU - Muth, T. AU - Staege, M.S. AU - Daulatabad, S.V. AU - Widera, D. AU - Zhang, J. AU - Meule, A. AU - Honjo, K. AU - Pourret, O. AU - Yin, C.-C. AU - Zhang, Z. AU - Cascella, M. AU - Flegel, W.A. AU - Goodyear, C.S. AU - van Raaij, M.J. AU - Bukowy-Bieryllo, Z. AU - Campana, L.G. AU - Kurniawan, N.A. AU - Lalaouna, D. AU - Hüttner, F.J. AU - Ammerman, B.A. AU - Ehret, F. AU - Cobine, P.A. AU - Tan, E.-C. AU - Han, H. AU - Xia, W. AU - McCrum, C. AU - Dings, R.P.M. AU - Marinello, F. AU - Nilsson, H. AU - Nixon, B. AU - Voskarides, K. AU - Yang, L. AU - Costa, V.D. AU - Bengtsson-Palme, J. AU - Bradshaw, W. AU - Grimm, D.G. AU - Kumar, N. AU - Martis, E. AU - Prieto, D. AU - Sabnis, S.C. AU - Amer, S.E.D.R. AU - Liew, A.W.C. AU - Perco, P. AU - Rahimi, F. AU - Riva, G. AU - Zhang, C. AU - Devkota, H.P. AU - Ogami, K. AU - Basharat, Z. AU - Fierz, W. AU - Siebers, R. AU - Tan, K.H. AU - Boehme, K.A. AU - Brenneisen, P. AU - Brown, J.A.L. AU - Dalrymple, B.P. AU - Harvey, D.J. AU - Ng, G. AU - Werten, S. AU - Bleackley, M. AU - Dai, Z. AU - Dhariwal, R. AU - Gelfer, Y. AU - Hartmann, M.D. AU - Miotla, P. AU - Tamaian, R. AU - Govender, P. AU - Gurney-Champion, O.J. AU - Kauppila, J.H. AU - Zhang, X. AU - Echeverría, N. AU - Subhash, S. AU - Sallmon, H. AU - Tofani, M. AU - Bae, T. AU - Bosch, O. AU - Cuív, P.O. AU - Danchin, A. AU - Diouf, B. AU - Eerola, T. AU - Evangelou, E. AU - Filipp, F. AU - Klump, H. AU - Kurgan, L. AU - Smith, S.S. AU - Terrier, O. AU - Tuttle, N. AU - Ascher, D.B. AU - Janga, S.C. AU - Schulte, L.N. AU - Becker, D. AU - Browngardt, C. AU - Bush, S.J. AU - Gaullier, G. AU - Ide, K. AU - Meseko, C. AU - Werner, G.D.A. AU - Zaucha, J. AU - Al-Farha, A.A. AU - Greenwald, N.F. AU - Popoola, S.I. AU - Rahman, S. AU - Xu, J. AU - Yang, S.Y. AU - Hiroi, N. AU - Alper, O.M. AU - Baker, C.I. AU - Bitzer, M. AU - Chacko, G. AU - Debrabant, B. AU - Dixon, R. AU - Forano, E. AU - Gilliham, M. AU - Kelly, S. AU - Klempnauer, K.-H. AU - Lidbury, B.A. AU - Lin, M.Z. AU - Lynch, I. AU - Ma, W. AU - Maibach, E.W. AU - Mather, D.E. AU - Nandakumar, K.S. AU - Ohgami, R.S. AU - Parchi, P. AU - Tressoldi, P. AU - Xue, Y. AU - Armitage, C. AU - Barraud, P. AU - Chatzitheochari, S. AU - Coelho, L.P. AU - Diao, J. AU - Doxey, A.C. AU - Gobet, A. AU - Hu, P. AU - Kaiser, S. AU - Mitchell, K.M. AU - Salama, M.F. AU - Shabalin, I.G. AU - Song, H. AU - Stevanovic, D. AU - Yadollahpour, A. AU - Zeng, E. AU - Zinke, K. AU - Alimba, C.G. AU - Beyene, T.J. AU - Cao, Z. AU - Chan, S.S. AU - Gatchell, M. AU - Kleppe, A. AU - Piotrowski, M. AU - Torga, G. AU - Woldesemayat, A.A. AU - Cosacak, M.I. AU - Haston, S. AU - Ross, S.A. AU - Williams, R. AU - Wong, A. AU - Abramowitz, M.K. AU - Effiong, A. AU - Lee, S. AU - Abid, M.B. AU - Agarabi, C. AU - Alaux, C. AU - Albrecht, D.R. AU - Atkins, G.J. AU - Beck, C.R. AU - Bonvin, A.M.J.J. AU - Bourke, E. AU - Brand, T. AU - Braun, R.J. AU - Bull, J.A. AU - Cardoso, P. AU - Carter, D. AU - Delahay, R.M. AU - Ducommun, B. AU - Duijf, P.H.G. AU - Epp, T. AU - Eskelinen, E.-L. AU - Fallah, M. AU - Farber, D.B. AU - Fernandez-Triana, J. AU - Feyerabend, F. AU - Florio, T. AU - Friebe, M. AU - Furuta, S. AU - Gabrielsen, M. AU - Gruber, J. AU - Grybos, M. AU - Han, Q. AU - Heinrich, M. AU - Helanterä, H. AU - Huber, M. AU - Jeltsch, A. AU - Jiang, F. AU - Josse, C. AU - Jurman, G. AU - Kamiya, H. AU - de Keersmaecker, K. AU - Kristiansson, E. AU - de Leeuw, F.-E. AU - Li, J. AU - Liang, S. AU - Lopez-Escamez, J.A. AU - Lopez-Ruiz, F.J. AU - Marchbank, K.J. AU - Marschalek, R. AU - Martín, C.S. AU - Miele, A.E. AU - Montagutelli, X. AU - Morcillo, E. AU - Nicoletti, R. AU - Niehof, M. AU - O'Toole, R. AU - Ohtomo, T. AU - Oster, H. AU - Palma, J.-A. AU - Paterson, R. AU - Peifer, M. AU - Portilla, M. AU - Portillo, M.C. AU - Pritchard, A.L. AU - Pusch, S. AU - Raghava, G.P.S. AU - Roberts, N.J. AU - Ross, K. AU - Schuele, B. AU - Sergeant, K. AU - Shen, J. AU - Stella, A. AU - Sukocheva, O. AU - Uversky, V.N. AU - Vanneste, S. AU - Villet, M.H. AU - Viveiros, M. AU - Vorholt, J.A. AU - Weinstock, C. AU - Yamato, M. AU - Zabetakis, I. AU - Zhao, X. AU - Ziegler, A. AU - Aizat, W.M. AU - Atlas, L. AU - Bridges, K.M. AU - Chakraborty, S. AU - Deschodt, M. AU - Domingues, H.S. AU - Esfahlani, S.S. AU - Falk, S. AU - Guisado, J.L. AU - Kane, N.C. AU - Kueberuwa, G. AU - Lau, C.L. AU - Liang, D. AU - Liu, E. AU - Luu, A.M. AU - Ma, C. AU - Ma, L. AU - Moyer, R. AU - Norris, A.D. AU - Panthee, S. AU - Parsons, J.R. AU - Peng, Y. AU - Pinto, I.M. AU - Reschke, C.R. AU - Sillanpää, E. AU - Stewart, C.J. AU - Uhle, F. AU - Yang, H. AU - Zhou, K. AU - Zhu, S. AU - Ashry, M. AU - Bergsland, N. AU - Berthold, M. AU - Chen, C.-E. AU - Colella, V. AU - Cuypers, M. AU - Eskew, E.A. AU - Fan, X. AU - Gajda, M. AU - Gonzálezlez-Prendes, R. AU - Goodin, A. AU - Graham, E.B. AU - Groen, E.J.N. AU - Gutiérrez-Sacristán, A. AU - Habes, M. AU - Heffler, E. AU - Higginbottom, D.B. AU - Janzen, T. AU - Jayaraman, J. AU - Jibb, L.A. AU - Jongen, S. AU - Kinyanjui, T. AU - Koleva-Kolarova, R.G. AU - Li, Z. AU - Liu, Y.-P. AU - Lund, B.A. AU - Lussier, A.A. AU - Ma, L. AU - Mier, P. AU - Moore, M.D. AU - Nagler, K. AU - Orme, M.W. AU - Pearson, J.A. AU - Prajapati, A.S. AU - Saito, Y. AU - Tröder, S.E. AU - Uchendu, F. AU - Verloh, N. AU - Voutchkova, D.D. AU - Abu-Zaid, A. AU - Bakkach, J. AU - Baumert, P. AU - Dono, M. AU - Hanson, J. AU - Herbelet, S. AU - Hobbs, E. AU - Kulkarni, A. AU - Kumar, N. AU - Liu, S. AU - Loft, N.D. AU - Reddan, T. AU - Senghore, T. AU - Vindin, H. AU - Xu, H. AU - Bannon, R. AU - Chen, B. AU - Cheung, J.T.K. AU - Cooper, J. AU - Esnakula, A.K. AU - Feghali, K.A. AU - Ghelardi, E. AU - Gnasso, A. AU - Horbar, J. AU - Lai, H.M. AU - Li, J. AU - Ma, L. AU - Ma, R. AU - Pan, Z. AU - Peres, M.A. AU - Pranata, R. AU - Seow, E. AU - Sydes, M. AU - Testoni, I. AU - Westermair, A.L. AU - Yang, Y. AU - Afnan, M. AU - Albiol, J. AU - Albuquerque, L.G. AU - Amir, S. AU - Amiya, E. AU - Amorim, R.M. AU - An, Q. AU - Andersen, S.U. AU - Aplin, J.D. AU - Argyropoulos, C. AU - Asmann, Y.W. AU - Assaeed, A.M. AU - Atanasov, A.G. AU - Atchison, D.A. AU - Avery, S.V. AU - Avillach, P. AU - Baade, P.D. AU - Backman, L. AU - Badie, C. AU - Baldi, A. AU - Ball, E. AU - Bardot, O. AU - Barnett, A.G. AU - Basner, M. AU - Batra, J. AU - Bazanova, O.M. AU - Beale, A. AU - Beddoe, T. AU - Bell, M.L. AU - Berezikov, E. AU - Berners-Price, S. AU - Bernhardt, P. AU - Berry, E. AU - Bessa, T.B. AU - Billington, C. AU - Birch, J. AU - Blakely, R.D. AU - Blaskovich, M.A.T. AU - Blum, R. AU - Boelaert, M. AU - Bogdanos, D. AU - Bosch, C. AU - Bourgoin, T. AU - Bouvard, D. AU - Boykin, L.M. AU - Bradley, G. AU - Braun, D. AU - Brownlie, J. AU - Brühl, A. AU - Burt, A. AU - Butler, L.M. AU - Byrareddy, S.N. AU - Byrne, H.J. AU - Cabantous, S. AU - Calatayud, S. AU - Candal, E. AU - Carlson, K. AU - Casillas, S. AU - Castelvetro, V. AU - Caswell, P.T. AU - Cavalli, G. AU - Cerovsky, V. AU - Chagoyen, M. AU - Chen, C.-S. AU - Chen, D.F. AU - Chen, H. AU - Chen, H. AU - Chen, J.-T. AU - Chen, Y. AU - Cheng, C. AU - Cheng, J. AU - Chinapaw, M. AU - Chinopoulos, C. AU - Cho, W.C.S. AU - Chong, L. AU - Chowdhury, D. AU - Chwalibog, A. AU - Ciresi, A. AU - Cockcroft, S. AU - Conesa, A. AU - Cook, P.A. AU - Cooper, D.N. AU - Coqueret, O. AU - Corea, E.M. AU - Costa, A. AU - Costa, E. AU - Coupland, C. AU - Crawford, S.Y. AU - Cruz, A.D. AU - Cui, H. AU - Cui, Q. AU - Culver, D.C. AU - D'Angiulli, A. AU - Dahms, T.E.S. AU - Daigle, F. AU - Dalgleish, R. AU - Danielsen, H.E. AU - Darras, S. AU - Davidson, S.M. AU - Day, D.A. AU - Degirmenci, V. AU - Demaison, L. AU - Devriendt, K. AU - Ding, J. AU - Dogan, Y. AU - Dong, X.C. AU - Donner, C.F. AU - Dressick, W. AU - Drevon, C.A. AU - Duan, H. AU - Ducho, C. AU - Dumaz, N. AU - Dwarakanath, B.S. AU - Ebell, M.H. AU - Eisenhardt, S. AU - Elkum, N. AU - Engel, N. AU - Erickson, T.B. AU - Fairhead, M. AU - Faville, M.J. AU - Fejzo, M.S. AU - Festa, F. AU - Feteira, A. AU - Flood-Page, P. AU - Forsayeth, J. AU - Fox, S.A. AU - Franks, S.J. AU - Frentiu, F.D. AU - Frilander, M.J. AU - Fu, X. AU - Fujita, S. AU - Galea, I. AU - Galluzzi, L. AU - Gani, F. AU - Ganpule, A.P. AU - García-Alix, A. AU - Gedye, K. AU - Giordano, M. AU - Giunta, C. AU - Gleeson, P.A. AU - Goarant, C. AU - Gong, H. AU - Gora, D. AU - Gough, M.J. AU - Goyal, R. AU - Graham, K.E. AU - Grande-Pérez, A. AU - Graves, P.M. AU - Greidanus, H. AU - Grice, D. AU - Grunau, C. AU - Gumulya, Y. AU - Guo, Y. AU - Gurevich, V.V. AU - Gusev, O. AU - Hacker, E. AU - Hage, S.R. AU - Hagen, G. AU - Hahn, S. AU - Haller, D.M. AU - Hammerschmidt, S. AU - Han, J. AU - Han, R. AU - Handfield, M. AU - Hapuarachchi, H.C. AU - Harder, T. AU - Hardingham, J.E. AU - Heck, M. AU - Heers, M. AU - Hew, K.F. AU - Higuchi, Y. AU - Hilaire, C.St. AU - Hilton, R. AU - Hodzic, E. AU - Hone, A. AU - Hongoh, Y. AU - Hu, G. AU - Huber, H.P. AU - Hueso, L.E. AU - Huirne, J. AU - Hurt, L. AU - Idborg, H. AU - Ikeo, K. AU - Ingley, E. AU - Jakeman, P.M. AU - Jensen, A. AU - Jia, H. AU - Jia, H. AU - Jia, S. AU - Jiang, J. AU - Jiang, X. AU - Jin, Y. AU - Jo, D. AU - Johnson, A.M. AU - Johnston, M. AU - Jonscher, K.R. AU - Jorens, P.G. AU - Jorgensen, J.O.L. AU - Joubert, J.W. AU - Jung, S.-H. AU - Junior, A.M. AU - Kahan, T. AU - Kamboj, S.K. AU - Kang, Y.-K. AU - Karamanos, Y. AU - Karp, N.A. AU - Kelly, R. AU - Kenna, R. AU - Kennedy, J. AU - Kersten, B. AU - Khalaf, R.A. AU - Khalid, J.M. AU - Khatlani, T. AU - Khider, T. AU - Kijanka, G.S. AU - King, S.R.B. AU - Kluz, T. AU - Knox, P. AU - Kobayashi, T. AU - Koch, K.-W. AU - Kohonen-Corish, M.R.J. AU - Kong, X. AU - Konkle-Parker, D. AU - Korpela, K.M. AU - Kostrikis, L.G. AU - Kraiczy, P. AU - Kratz, H. AU - Krause, G. AU - Krebsbach, P.H. AU - Kristensen, S.R. AU - Kumari, P. AU - Kunimatsu, A. AU - Kurdak, H. AU - Kwon, Y.D. AU - Lachat, C. AU - Lagisz, M. AU - Laky, B. AU - Lammerding, J. AU - Lange, M. AU - Larrosa, M. AU - Laslett, A.L. AU - Laverman, G.D. AU - Leclair, E.E. AU - Lee, K.-W. AU - Lee, M.-Y. AU - Lee, M.-S. AU - Li, G. AU - Li, J. AU - Lieb, K. AU - Lim, Y.Y. AU - Lindsey, M.L. AU - Line, P.-D. AU - Liu, D. AU - Liu, F. AU - Liu, H. AU - Liu, H. AU - Lloyd, V.K. AU - Lo, T.-W. AU - Locci, E. AU - Loidl, J. AU - Lorenzen, J. AU - Lorkowski, S. AU - Lovell, N.H. AU - Lu, H. AU - Lu, W. AU - Lu, Z. AU - Luengo, G.S. AU - Lundh, L.-G. AU - Lysy, P.A. AU - Mabb, A. AU - Mack, H.G. AU - Mackey, D.A. AU - Mahdavi, S.R. AU - Maher, P. AU - Maher, T. AU - Maity, S.N. AU - Malgrange, B. AU - Mamoulakis, C. AU - Mangoni, A.A. AU - Manke, T. AU - Manstead, A.S.R. AU - Mantalaris, A. AU - Marsal, J. AU - Marschall, H.-U. AU - Martin, F.L. AU - Martinez-Raga, J. AU - Martinez-Salas, E. AU - Mathieu, D. AU - Matsui, Y. AU - Maza, E. AU - McCutcheon, J.E. AU - McKay, G.J. AU - McMillan, B. AU - McMillan, N. AU - Meads, C. AU - Medina, L. AU - Merrick, B.A. AU - Metzger, D.W. AU - Meunier, F.A. AU - Michaelis, M. AU - Micheau, O. AU - Mihara, H. AU - Mintz, E.M. AU - Mizukami, T. AU - Moalic, Y. AU - Mohapatra, D.P. AU - Monteiro, A. AU - Montes, M. AU - Moran, J.V. AU - Morozov, S.Y. AU - Mort, M. AU - Murai, N. AU - Murphy, D.J. AU - Murphy, S.K. AU - Murray, S.A. AU - Naganawa, S. AU - Nammi, S. AU - Nasios, G. AU - Natoli, R.M. AU - Nguyen, F. AU - Nicol, C. AU - van Nieuwerburgh, F. AU - Nilsen, E.B. AU - Nobile, C.J. AU - O'Mahony, M. AU - Ohlsson, S. AU - Olatunbosun, O. AU - Olofsson, P. AU - Ortiz, A. AU - Ostrikov, K. AU - Otto, S. AU - Outeiro, T.F. AU - Ouyang, S. AU - Paganoni, S. AU - Page, A. AU - Palm, C. AU - Paradies, Y. AU - Parsons, M.H. AU - Parsons, N. AU - Pascal, P. AU - Paul, E. AU - Peckham, M. AU - Pedemonte, N. AU - Pellizzon, M.A. AU - Petrelli, M. AU - Pichugin, A. AU - Pinto, C.J.C. AU - Plevris, J.N. AU - Pollesello, P. AU - Polz, M. AU - Ponti, G. AU - Porcelli, P. AU - Prince, M. AU - Quinn, G.P. AU - Quinn, T.J. AU - Ramula, S. AU - Rappsilber, J. AU - Rehfeldt, F. AU - Reiling, J.H. AU - Remacle, C. AU - Rezaei, M. AU - Riddick, E.W. AU - Ritter, U. AU - Roach, N.W. AU - Roberts, D.D. AU - Robles, G. AU - Rodrigues, T. AU - Rodriguez, C. AU - Roislien, J. AU - Roobol, M.J. AU - Rowe, A. AU - Ruepp, A. AU - van Ruitenbeek, J. AU - Rust, P. AU - Saad, S. AU - Sack, G.H. AU - Santos, M. AU - Saudemont, A. AU - Sava, G. AU - Schrading, S. AU - Schramm, A. AU - Schreiber, M. AU - Schuler, S. AU - Schymkowitz, J. AU - Sczyrba, A. AU - Seib, K.L. AU - Shi, H.-P. AU - Shimada, T. AU - Shin, J.-S. AU - Shortt, C. AU - Silveyra, P. AU - Skinner, D. AU - Small, I. AU - Smeets, P.A.M. AU - So, P.-W. AU - Solano, F. AU - Sonenshine, D.E. AU - Song, J. AU - Southall, T. AU - Speakman, J.R. AU - Srinivasan, M.V. AU - Stabile, L.P. AU - Stasiak, A. AU - Steadman, K.J. AU - Stein, N. AU - Stephens, A.W. AU - Stewart, D.I. AU - Stine, K. AU - Storlazzi, C. AU - Stoynova, N.V. AU - Strzalka, W. AU - Suarez, O.M. AU - Sultana, T. AU - Sumant, A.V. AU - Summers, M.J. AU - Sun, G. AU - Tacon, P. AU - Tanaka, K. AU - Tang, H. AU - Tanino, Y. AU - Targett-Adams, P. AU - Tayebi, M. AU - Tayyem, R. AU - Tebbe, C.C. AU - Telfer, E.E. AU - Tempel, W. AU - Teodorczyk-Injeyan, J.A. AU - Thijs, G. AU - Thorne, S. AU - Thrift, A.G. AU - Tiffon, C. AU - Tinnefeld, P. AU - Tjahjono, D.H. AU - Tolle, F. AU - Toth, E. AU - Del Tredici, A.L. AU - Tsapas, A. AU - Tsirigotis, K. AU - Turak, A. AU - Tzotzos, G. AU - Udo, E.E. AU - Utsumi, T. AU - Vaidyanathan, S. AU - Vaillant, M. AU - Valsesia, A. AU - Vandenbroucke, R.E. AU - Veiga, F.H. AU - Vendrell, M. AU - Vesk, P.A. AU - Vickers, P. AU - Victor, V.M. AU - Villemur, R. AU - Vohl, M.-C. AU - Voolstra, C.R. AU - Vuillemin, A. AU - Wakelin, S. AU - Waldron, L. AU - Walsh, L.J. AU - Wang, A.Y. AU - Wang, F. AU - Wang, Y. AU - Watanabe, Y. AU - Weigert, A. AU - Wen, J.-C. AU - Wham, C. AU - White, E.P. AU - Wiener, J. AU - Wilharm, G. AU - Wilkinson, S. AU - Willmann, R. AU - Wilson, C. AU - Wirth, B. AU - Wojan, T.R. AU - Wolff, M. AU - Wong, B.M. AU - Wu, T.-W. AU - Wuerbel, H. AU - Xiao, X. AU - Xu, D. AU - Xu, J.W. AU - Xu, J. AU - Xue, B. AU - Yalcin, S. AU - Yan, H. AU - Yang, E.-C. AU - Yang, S. AU - Yang, W. AU - Ye, Y. AU - Ye, Z.-Q. AU - Yli-Kauhaluoma, J. AU - Yoneyama, H. AU - Yu, Y. AU - Yuan, G.-C. AU - Yuh, C.-H. AU - Zaccolo, M. AU - Zeng, C. AU - Zevnik, B. AU - Zhang, C. AU - Zhang, L. AU - Zhang, Y. AU - Zhang, Y. AU - Zhang, Z. AU - Zhang, Z.-Y. AU - Zhao, Y. AU - Zhou, M. AU - Zuberbier, T. AU - Aanei, C.M. AU - Ahmad, R. AU - Al-Lawama, M. AU - Alanio, A. AU - Allardyce, J. AU - Alonso-Caneiro, D. AU - Atack, J.M. AU - Baier, D. AU - Bansal, A. AU - Benezeth, Y. AU - Berbesque, C. AU - Berrevoet, F. AU - Biedermann, P.H.W. AU - Bijleveld, E. AU - Bittner, F. AU - Blombach, F. AU - van den Bos, W. AU - Boudreau, S.A. AU - Bramoweth, A.D. AU - Braubach, O. AU - Cai, Y. AU - Campbell, M. AU - Cao, Z. AU - Catry, T. AU - Chen, X. AU - Cheng, S. AU - Chung, H.-J. AU - Chávez-Fumagalli, M.A. AU - Conway, A. AU - Costa, B.M. AU - Cyr, N. AU - Dean, L.T. AU - Denzel, M.S. AU - Dlamini, S.V. AU - Dudley, K.J. AU - Dufies, M. AU - Ecke, T. AU - Eckweiler, D. AU - Eixarch, E. AU - El-Adawy, H. AU - Emmrich, J.V. AU - Eustace, A.J. AU - Falter-Wagner, C.M. AU - Farhoudi, R. AU - Fuss, J. AU - Gao, J. AU - Gill, M.R. AU - Gloyn, L. AU - Goggs, R. AU - Govinden, U. AU - Greene, G. AU - Greiff, V. AU - Grundle, D.S. AU - Grüneberg, P. AU - Gumede, N. AU - Haore, G. AU - Harrison, P. AU - Hoenner, X. AU - Hojsgaard, D. AU - Hori, H. AU - Ikonomopoulou, M.P. AU - Jeurissen, P. AU - Johnson, D.M. AU - Kabra, D. AU - Kamagata, K. AU - Karmakar, C. AU - Kasian, O. AU - Kaye, L.K. AU - Khan, M.M. AU - Kim, Y.-M. AU - Kish, J.K. AU - Kobold, S. AU - Kohanbash, G. AU - Kohls, G. AU - Kugler, J.-M. AU - Kumar, G. AU - Lacy-Colson, J. AU - Latif, A. AU - Lauschke, V.M. AU - Li, B. AU - Lim, C.J. AU - Liu, F. AU - Liu, X. AU - Lu, J.-J. AU - Lu, Q. AU - Mahavadi, P. AU - Marzocchi, U. AU - McGarrigle, C.A. AU - van Meerten, T. AU - Min, R. AU - Moal, I. AU - Molari, M. AU - Molleman, L. AU - Mondal, S.R. AU - van de Mortel, T. AU - Moss, W.N. AU - Moultos, O.A. AU - Mukherjee, M. AU - Nakayama, K. AU - Narayan, E. AU - Navaratnarajah AU - Neumann, P.-A. AU - Nie, J. AU - Nie, Y. AU - Niemeyer, F. AU - Nolan, F. AU - Nwaiwu, O. AU - Oldenmenger, W.H. AU - Olumayede, E. AU - Ou, J. AU - Pallebage-Gamarallage, M. AU - Pearce, S.P. AU - Pelkonen, T. AU - Pelleri, M.C. AU - Pereira, J.L. AU - Pheko, M. AU - Pinto, K.A. AU - Piovesan, A. AU - Pluess, M. AU - Podolsky, I.M. AU - Prescott, J. AU - Qi, D. AU - Qi, X. AU - Raikou, V.D. AU - Ranft, A. AU - Rhodes, J. AU - Rotge, J.-Y. AU - Rowe, A.D. AU - Saggar, M. AU - Schuon, R.A. AU - Shahid, S. AU - Shalchyan, V. AU - Shirvalkar, P. AU - Shiryayev, O. AU - Singh, J. AU - Smout, M.J. AU - Soares, A. AU - Song, C. AU - Srivastava, K. AU - Srivastava, R.K. AU - Sun, J. AU - Szabo, A. AU - Szymanski, W. AU - Tai, C.N.P. AU - Takeuchi, H. AU - Tanadini-Lang, S. AU - Tang, F. AU - Tao, W. AU - Theron, G. AU - Tian, C.F. AU - Tian, Y.-S. AU - Tuttle, L.M. AU - Valenti, A. AU - Verlot, P. AU - Walker, M. AU - Wang, J. AU - Welter, D. AU - Winslade, M. AU - Wu, D. AU - Wu, Y.-R. AU - Xiao, H. AU - Xu, B. AU - Xu, J. AU - Xu, Z. AU - Yang, D. AU - Yang, M. AU - Yankilevich, P. AU - You, Y. AU - Yu, C. AU - Zhan, J. AU - Zhang, G. AU - Zhang, K. AU - Zhang, T. AU - Zhang, Y. AU - Zhao, G. AU - Zhao, J. AU - Zhou, X. AU - Zhu, Z. AU - Ajani, P.A. AU - Anazodo, U.C. AU - Bagloee, S.A. AU - Bail, K. AU - Bar, I. AU - Bathelt, J. AU - Benkeser, D. AU - Bernier, M.L. AU - Blanchard, A.M. AU - Boakye, D.W. AU - Bonatsos, V. AU - Boon, M.H. AU - Bouboulis, G. AU - Bromfield, E. AU - Brown, J. AU - Bul, K.C.M. AU - Burton, K.J. AU - Butkowski, E.G. AU - Carroll, G. AU - Chao, F. AU - Charrier, E.E. AU - Chen, X. AU - Chen, Y.-C. AU - Chenguang AU - Choi, J.R. AU - Christoffersen, T. AU - Comel, J.C. AU - Cosse, C. AU - Cui, Y. AU - van Dessel, P. AU - Dhaval AU - Diodato, D. AU - Duffey, M. AU - Dutt, A. AU - Egea, L.G. AU - El-Said, M. AU - Faye, M. AU - Fernandez-Fernandez, B. AU - Foley, K.G. AU - Founou, L.L. AU - Fu, F. AU - Gadelkareem, R.A. AU - Galimov, E. AU - Garip, G. AU - Gemmill, A. AU - Gouil, Q. AU - Grey, J. AU - Gridneva, Z. AU - Grothe, M.J. AU - Grébert, T. AU - Guerrero, F. AU - Guignard, L. AU - Haenssgen, M.J. AU - Hasler, D. AU - Holgate, J.Y. AU - Huang, A. AU - Hulse-Kemp, A.M. AU - Jean-Quartier, C. AU - Jeon, S.-M. AU - Jia, Y. AU - Jutzeler, C. AU - Kalatzis, P. AU - Karim, M. AU - Karsay, K. AU - Keitel, A. AU - Kempe, A. AU - Keown, J.R. AU - Khoo, C.M. AU - Khwaja, N. AU - Kievit, R.A. AU - Kosanic, S. AU - Koutoukidis, D.A. AU - Kramer, P. AU - Kumar, D. AU - Kiraǧ, N. AU - Lanza, G. AU - Le, T.D. AU - Leem, J.W. AU - Leightley, D. AU - Leite, A. AU - Lercher, L. AU - Li, Y. AU - Lim, R. AU - Lima, L.R.A. AU - Lin, L. AU - Ling, T. AU - Liu, Y. AU - Liu, Z. AU - Lu, Y. AU - Lum, F.M. AU - Luo, H. AU - Machhi, J. AU - Macleod, A. AU - Macwan, I. AU - Madala, H.R. AU - Madani, N. AU - de Maio, N. AU - Makowiecki, K. AU - Mallinson, D.J. AU - Margelyte, R. AU - Maria, C. AU - Markonis, Y. AU - Marsili, L. AU - Mavoa, S. AU - McWilliams, L. AU - Megersa, M. AU - Souto-Maior, C. AU - Menichetti, J. AU - Mercieca-Bebber, R. AU - Miller, J.J. AU - Minde, D.-P.M. AU - Minges, A. AU - Mishra, E. AU - Mishra, V.R. AU - Moores, C. AU - Morrice, N. AU - Moskalensky, A.E. AU - Navarin, N. AU - Negera, E. AU - Nolet, P. AU - Nordberg, A. AU - Nordén, R. AU - Nowicki, J.P. AU - Olova, N. AU - Olszewski, P. AU - Onzima, R. AU - Pan, C.-L. AU - Park, C. AU - Park, D.I. AU - Park, S. AU - Patil, C.D. AU - Pedro, S.A. AU - Perry, S.R. AU - Peter, J. AU - Peterson, B.M. AU - Pezzuolo, A. AU - Pozdnyakov, I. AU - Qian, S. AU - Qin, L. AU - Rafe, A. AU - Raote, I. AU - Raza, A. AU - Rebl, H. AU - Refai, O. AU - Regan, T. AU - Richa, T. AU - Richardson, M.F. AU - Robinson, K.R. AU - Rossoni, L. AU - Rouet, R. AU - Safaei, S. AU - Schneeberger, P.H.H. AU - Schwotzer, D. AU - Sebastian, A. AU - Selinski, J. AU - Seltmann, S. AU - Sha, F. AU - Shalev, N. AU - Shang, J.-L. AU - Singer, J. AU - Singh, M. AU - Smith, T. AU - Solomon-Moore, E. AU - Song, L. AU - Soraggi, S. AU - Stanley, R. AU - Steckhan, N. AU - Strobl, F. AU - Subissi, L. AU - Supriyanto, I. AU - Surve, C.R. AU - Suzuki, T. AU - Syme, C. AU - Sörelius, K. AU - Tang, Y. AU - Tantawy, M. AU - Tennakoon, S. AU - Teseo, S. AU - Toelzer, C. AU - Tomov, N. AU - Tovar, M. AU - Tran, L. AU - Tripathi, S. AU - Tuladhar, A.M. AU - Ukubuiwe, A.C. AU - Ung, C.O.L. AU - Valgepea, K. AU - Vatanparast, H. AU - Vidal, A. AU - Wang, F. AU - Wang, Q. AU - Watari, R. AU - Webster, R. AU - Webster, R. AU - Wei, J. AU - Wibowo, D. AU - Wingenbach, T.S.H. AU - Xavier, R.M. AU - Xiao, S. AU - Xiong, P. AU - Xu, S. AU - Xu, S. AU - Yao, R. AU - Yao, W. AU - Yin, Q. AU - Yu, Y. AU - Zaitsu, M. AU - Zeineb, Z. AU - Zhan, X.-Y. AU - Zhang, J. AU - Zhang, R. AU - Zhang, W. AU - Zhang, X. AU - Zheng, S. AU - Zhou, B. AU - Zhou, X. AU - Ahmad, H. AU - Akinwumi, S.A. AU - Albery, G.F. AU - Alhowimel, A. AU - Ali, J. AU - Alshehri, M. AU - Alsuhaibani, M. AU - Anikin, A. AU - Azubuike, S.O. AU - Bach-Mortensen, A. AU - Baltiansky, L. AU - Bartas, M. AU - Belachew, K.Y. AU - Bhardwaj, V. AU - Binder, K. AU - Bland, N.S. AU - Boah, M. AU - Bullen, B. AU - Calabrò, G.E. AU - Callahan, T.J. AU - Cao, B. AU - Chalmers, K. AU - Chang, W. AU - Che, Z. AU - Chen, A.T.Y. AU - Chen, H. AU - Chen, H. AU - Chen, Y. AU - Chen, Z. AU - Choi, Y. AU - Chowdhury, M.A.K. AU - Christensen, M.R. AU - Cooke, R.S.C. AU - Cottini, M. AU - Covington, N.V. AU - Cunningham, C. AU - Delarocque, J. AU - Devos, L. AU - Dhar, A.R. AU - Ding, K.-F. AU - Dong, K. AU - Dong, Z. AU - Dreyer, N. AU - Ekstrand, C. AU - Fardet, T. AU - Feleke, B.E. AU - Feurer, T. AU - Freitas, A. AU - Gao, T. AU - Gebremedhin AU - Giganti, F. AU - Grabowski, P. AU - Guerra-Mora, J.R. AU - Guo, C. AU - Guo, X. AU - Gupta, H. AU - He, S. AU - Heijne, M. AU - Heinemann, S. AU - Hogrebe, A. AU - Huang, Z. AU - Iskander-Rizk, S. AU - Iyer, L.M. AU - Jahan, Y. AU - James, A.S. AU - Joel, E. AU - Joffroy, B. AU - Jégousse, C. AU - Kambondo, G. AU - Karnati, P. AU - Kaya, C. AU - Ke, A. AU - Kelly, D. AU - Kickert, R. AU - Kidibule, P.E. AU - Kieselmann, J.P. AU - Kim, H.J. AU - Kitazawa, T. AU - Lamberts, A. AU - Li, Y. AU - Liang, H. AU - Linn, S.N. AU - Litfin, T. AU - Liusuo, W. AU - Lygirou, V. AU - Mahato, A.K. AU - Mai, Z.-M. AU - Major, R.W. AU - Mali, S. AU - Mallis, P. AU - Mao, W. AU - Marvin-Dowle, K. AU - Mason, L.D. AU - Merideth, B. AU - Merino-Plaza, M.J. AU - Merlaen, B. AU - Messina, R. AU - Mishra, A.K. AU - Muhammad, J. AU - Musinguzi, C. AU - Nanou, A. AU - Naqash, A. AU - Nguyen, J.T. AU - Nguyen, T.T.H. AU - Ni, D. AU - Nida AU - Notcovich, S. AU - Ohst, B. AU - Ollivier, Q.R. AU - Osses, D.F. AU - Peng, X. AU - Plantinga, A. AU - Pulia, M. AU - Rafiq, M. AU - Raman, A. AU - Raucher-Chéné AU - Rawski, R. AU - Ray, A. AU - Razak, L.A. AU - Rudolf, K. AU - Rusch, P. AU - Sadoine, M.L. AU - Schmidt, A. AU - Schurr, R. AU - Searles, S. AU - Sharma, S. AU - Sheehan, B. AU - Shi, C. AU - Shohayeb, B. AU - Sommerlad, A. AU - Strehlow, J. AU - Sun, X. AU - Sundar, R. AU - Taherzadeh, G. AU - Tahir, N.D.M. AU - Tang, J. AU - Testa, J. AU - Tian, Z. AU - Tingting, Q. AU - Verheijen, G.P. AU - Vickstrom, C. AU - Wang, T. AU - Wang, X. AU - Wang, Z. AU - Wei, P. AU - Wilson, A. AU - Wyart AU - Yassine, A.-A. AU - Yousefzadeh, A. AU - Zare, A. AU - Zeng, Z. AU - Zhang, C. AU - Zhang, H. AU - Zhang, L. AU - Zhang, T. AU - Zhang, W. AU - Zhang, Z. AU - Zhou, J. AU - Zhu, D. AU - Adamo, V. AU - Adeyemo, A.A. AU - Aggelidou, M. AU - Al-Owaifeer, A.M. AU - Al-Riyami, A.Z. AU - Alzghari, S.K. AU - Andersen, V. AU - Angus, K. AU - Asaduzzaman, M. AU - Asady, H. AU - Ato, D. AU - Bai, X. AU - Baines, R.L. AU - Ballantyne, M. AU - Ban, B. AU - Beck, J. AU - Ben-Nafa, W. AU - Black, E. AU - Blancher, A. AU - Blankstein, R. AU - Bodagh, N. AU - Borges, P. AU - Brooks, A. AU - Brox-Ponce, J. AU - Brunetti, A. AU - Canham, C.D. AU - Carninci, P. AU - Carvajal, R. AU - Chang, S.C. AU - Chao, J. AU - Chatterjee, P. AU - Chen, H. AU - Chen, L. AU - Chen, Y.-C. AU - Chhatriwalla, A.K. AU - Chikowe, I. AU - Chuang, T.-J. AU - Collevatti, R.G. AU - Cornejo, D.A.V. AU - Cuenda, A. AU - Dao, M. AU - Dauga, D. AU - Deng, Z. AU - Devkota, K. AU - Doan, L.V. AU - Elewa, Y.H.A. AU - Fan, D. AU - Faruk, M. AU - Feifei, S. AU - Ferguson, T.S. AU - Fleres, F. AU - Foster, E.J. AU - Foster, S. AU - Furer, T. AU - Gao, Y. AU - Garcia-Rivera, E.J. AU - Gazdar, A. AU - George, R.B. AU - Ghosh, S. AU - Gianchecchi, E. AU - Gleason, J.M. AU - Hackshaw, A. AU - Hall, A. AU - Hall, R. AU - Harper, P. AU - Hogg, W.E. AU - Huang, G. AU - Hunter, K.E. AU - Ijzerman, A.P. AU - Jesus, C. AU - Jian, G. AU - Lewis, J.S., Jr. AU - Kanj, S.S. AU - Kaur, H. AU - Kelly, S. AU - Kheir, F. AU - Kichatova, V.S. AU - Kiyani, M. AU - Klein, R. AU - Kovesi, T. AU - Kraschnewski, J.L. AU - Kumar, A.P. AU - Labutin, D. AU - Lazo-Langner, A. AU - Leclercq, G. AU - Li, M. AU - Li, Q. AU - Li, T. AU - Li, Y. AU - Liao, W.-T. AU - Liao, Z.-Y. AU - Lin, J. AU - Lizer, J. AU - Lobreglio, G. AU - Lowies, C. AU - Lu, C. AU - Majeed, H. AU - Martin, A. AU - Martinez-Sobrido, L. AU - Meresh, E. AU - Middelveen, M. AU - Mohebbi, A. AU - Mota, J. AU - Mozaheb, Z. AU - Muyaya, L. AU - Nandhakumar, A. AU - Ng, S.H.X. AU - Obeidat, M. AU - Oh, D.-H. AU - Owais, M. AU - Pace-Asciak, P. AU - Panwar, A. AU - Park, C. AU - Patterson, C. AU - Penagos-Tabaree, F. AU - Pianosi, P.T. AU - Pinzi, V. AU - Pridans, C. AU - Psaroulaki, A. AU - Pujala, R.K. AU - Pulido-Arjona, L. AU - Qi, P.-F. AU - Rahman, P. AU - Rai, N.K. AU - Rassaf, T. AU - Refardt, J. AU - Ricciardi, W. AU - Riess, O. AU - Rovas, A. AU - Sacks, F.M. AU - Saleh, S. AU - Sampson, C. AU - Schmutz, A. AU - Sepanski, R. AU - Sharma, N. AU - Singh, M. AU - Spearman, P. AU - Subramaniapillai, M. AU - Swali, R. AU - Tan, C.M. AU - Tellechea, J.I. AU - Thomas, L.-M. AU - Tong, X. AU - Vavvas, D.G. AU - Veys, R. AU - Vitriol, V. AU - Wang, H.-D. AU - Wang, J. AU - Wang, J. AU - Waugh, J. AU - Webb, S.A. AU - Williams, B.A. AU - Workman, A.D. AU - Xiang, T. AU - Xie, L.-X. AU - Xu, J. AU - Xu, T. AU - Yang, C. AU - Yoon, J.G. AU - Yuan, C.M. AU - Zaritsky, A. AU - Zhang, Y. AU - Zhao, H. AU - Zuckerman, H. AU - Lyu, R. AU - Pullan, W. AU - RELISH Consortium JO - ACM SIGMIS Database PY - 2019 VL - 2019 TODO - null SP - 1-67 PB - Oxford University Press SN - 0095-0033 TODO - 10.1093/database/baz085 TODO - article; benchmarking; human; medical research; Medical Subject Headings; Medline; nonhuman; okapi; plant seed; search engine; statistical bias; systematic review TODO - Document recommendation systems for locating relevant literature have mostly relied on methods developed a decade ago. This is largely due to the lack of a large offline gold-standard benchmark of relevant documents that cover a variety of research fields such that newly developed literature search techniques can be compared, improved and translated into practice. To overcome this bottleneck, we have established the RElevant LIterature SearcH consortium consisting of more than 1500 scientists from 84 countries, who have collectively annotated the relevance of over 180 000 PubMed-listed articles with regard to their respective seed (input) article/s. The majority of annotations were contributed by highly experienced, original authors of the seed articles. The collected data cover 76% of all unique PubMed Medical Subject Headings descriptors. No systematic biases were observed across different experience levels, research fields or time spent on annotations. More importantly, annotations of the same document pairs contributed by different scientists were highly concordant. We further show that the three representative baseline methods used to generate recommended articles for evaluation (Okapi Best Matching 25, Term Frequency-Inverse Document Frequency and PubMed Related Articles) had similar overall performances. Additionally, we found that these methods each tend to produce distinct collections of recommended articles, suggesting that a hybrid method may be required to completely capture all relevant articles. The established database server located at https://relishdb.ict.griffith.edu.au is freely available for the downloading of annotation data and the blind testing of new methods. We expect that this benchmark will be useful for stimulating the development of new powerful techniques for title and title/abstract-based search engines for relevant articles in biomedical science. © The Author(s) 2019. Published by Oxford University Press. ER -