Luis de Usoz sintió una profunda admiración por la Sociedad de Amigos, aunque nunca se afilió formalmente a ella ni a ninguna otra asociación religiosa. Su colección cuenta con numerosos ejemplares relacionados con la Society of Friends (cuyos seguidores son conocidos como "cuáqueros"), confesión a la que perteneció su amigo y colaborador Benjamin Wiffen.

A pesar de su comunión con las ideas de los cuáqueros en relación a la trata de esclavos, el interés de Luis a favor de los derechos de los esclavos posiblemente tiene su origen en su niñez, en el Perú virreinal, donde formó parte de una sociedad profundamente desigual en la que la explotación de los indios era la norma y donde su padre, el magistrado José Agustín Usoz y Mori, le transmitió la preocupación por la defensa de los indígenas.