Seven Trade-offs in Measuring Nonprofit Performance and Effectiveness

To complement contemporary nonprofit literature, which mainly offers theory-driven recommendations for measuring nonprofit effectiveness, performance, or related concepts; this article presents seven trade-offs for researchers and practitioners to consider before engaging in a nonprofit effectiveness measurement project. For each trade-off, we offer examples and suggestions to clarify the advantages and disadvantages of methodological choices that take various contextual elements into account. In particular, we address the differences between formative and reflective approaches, as well as the differences between unit of interest, unit of data collection, and unit of analysis. These topics require more in-depth attention in the nonprofit effectiveness literature to avoid misinterpretations and measurement biases. Finally, this article concludes with five avenues for further research to help address key challenges that remain in this research area.RésuméAfin de compléter la littérature contemporaine portant sur les organismes à but non lucratif, qui propose principalement des recommandations basées sur la théorie visant à évaluer leur efficacité, leurs performances ou des concepts connexes, cet article présente sept compromis que les chercheurs et les professionnels pourront prendre en considération avant de s’engager dans un projet d’évaluation de l’efficacité d’un organisme à but non lucratif. Pour chaque compromis, nous donnons des exemples et des suggestions mettant en lumière les avantages et les inconvénients de choix méthodologiques qui tiennent compte de divers éléments contextuels. En particulier, nous traitons des différences qui existent entre les approches formative et réflexive, ainsi qu’entre unité d’intérêt, unité de collecte de données et unité d’analyse. Ces sujets exigent d’être approfondis dans la littérature portant sur l’efficacité des organismes à but non lucratif pour éviter les interprétations erronées et les biais d’évaluation. Enfin, cet article conclut avec cinq pistes à explorer dans l’objectif de relever les défis importants qui demeurent dans ce secteur de recherche.ZusammenfassungDie Realisierung von empirischer Nonprofit Forschung hat in den letzten Jahren, sowohl in der akademischen Forschung als auch in der Nonprofit Praxis, stark zugenommen. Während jedoch in anderen Disziplinen und Fachzeitschriften die methodische Diskussion und Fragen der Messung sehr intensiv und teilweise kritisch diskutiert werden, hat dieser Diskurs in der Nonprofit Forschung noch nicht begonnen. Dieser Beitrag verfolgt daher das allgemeine Ziel, den methodischen Diskus unter den Nonprofit Forschenden und Praktikern anzuregen, um mittelfristig einen Beitrag zur Erhöhung der Messqualität von empirischen Nonprofit Studien zu leisten. Zu diesem Zweck werden sieben Entscheidungsbereiche vorgestellt und vertiefend diskutiert, die bei der Realisierung von empirischen Studien im Nonprofit Management, insbesondere bei der Messung von Nonprofit Erfolg und Effektivität, vermehrt beachtet werden sollten. Im Einzelnen sind dies folgende Entscheidungstatbestände: (1) Uni- versus Multidimensionalität, (2) Formative versus reflective Messung, (3) Individual versus Gruppenmeinung, (4) Interne versus externe Messung, (5) Leading versus Lagging, (6) Distinkt versus Überlappende Messung sowie letztlich (7) Adaptiver versus Multiplikativer Messansatz. Jeder Entscheidungsbereich wird mit seinen Vor- und Nachteilen erläutert und exemplarisch diskutiert, um Handlungsempfehlungen für die Nonprofit Community abzuleiten, in welchen Studiensituationen welcher Messansatz zu bevorzugen ist.ResumenPara complementar el material publicado contemporáneo sobre organizaciones sin ánimo de lucro, que ofrece principalmente recomendaciones impulsadas por la teoría para medir la efectividad, el rendimiento o conceptos relacionados de las organizaciones sin ánimo de lucro, este artículo presenta siete compromisos o términos medios a considerar por los investigadores y profesionales antes de implicarse en un proyecto de medición de la efectividad de las organizaciones sin ánimo de lucro. Para cada compromiso ofrecemos ejemplos y sugerencias para clarificar las ventajas y desventajas de las elecciones metodológicas que toman en cuenta diversos elementos contextuales. En particular, abordamos las diferencias entre enfoques formativos y reflexivos, así como también la diferencia entre unidad de interés, unidad de recopilación de datos y unidad de análisis. Estos temas requieren más atención en profundidad en el material publicado sobre la efectividad de las organizaciones sin ánimo de lucro para evitar malas interpretaciones y sesgos de medición.