In this paper, the authors explore ████ ███████ ██ ███ ██████████ ██ ███████ ███ █████ ██████ ██ ████████ ██████ ███████████ ███ █████ ██ ██████████ ████ ██ ███████████ ████ ███ ██████ ██ ██████ █████████ █████████ █████ ███ ███ █████ ██ ███ ████ █████████ ███ ████████ █████ ████ ███ ███████████ █████████ █████ ██████████████ ███████ ██ ███ ████ ██████. This is important work!
The theory is strong and the qualitative work is well done and complements the experiment. I have some reservations and questions about the methods and analysis, but these issues are all fixable. I list my observations and comments below.
praise: This is an excellent and tightly written experiment that tests a specific, narrow, important hypothesis in a rigorous way. This is all incredibly fascinating and well done!
issue: Discuss sample size limitations and power limitations and talk about how power was addressed
███ ██████ ████ ████ ██ ████ █████ █████ ███ █████ ██ ███████████ ████████████ ████ ████████████████████████████████ ███ █████ ██ ███ ███████ ████████ ████ ██ █ ██████ ████ ██████████ ██ ██████ ███ ██████████ ██ ██ ██████ ████ █████ ███ ████ █ ████████ ████ ███ █████ ████ ███ ████████ ██████████ ██████ ███████████ █████ ██ ██████████ ███ █████████ ██ ███ ███████████████ █████████ ██ ████ ██ █████ ████████ ███ ███████████ █████████ █████ ██ ██ ████ █████ ███ ██████████ ███ ████████ ███████████ ████ ████ ██ ████ ██ █████████ ███████████ ████████████ ██ █████████ ███████
█████████ ███████ ██ █████ ██████ ████ █████ ███████ ███ ████ ██ ███████████ ██ ██████████████████████████████ ███ ███████████ ██ ███ █ ██ █████████ █████████ ████████ ██ █████ ███████ ████████ ████████████ ███████ ███ ███ ████ ██ █ ██████ ████ ███ █████████ ██████████ ██ ███████████ ██ ██ ████ ████████████████████████████████████ ███ ███ ███████████ ███ ███ ███████████ ██████████ ███ ██████ ████████████ ███ ████ █████ ██████████ ██ ████████ ██ ██ ████ ███████████████████████████████████████████ ███ ████ ████████████ ███ █████ ██████ ███████████ ██ ██████ ██ ██ ████ ██████████████████████████████████████ ███ ██ ██████████ █████ ███████████ ██ ████ ██ █ █████████ ███████
suggestion: Emphasize █████ ██████ as a possible way to address statistical power
One of the recommendations in https://doi.org/10.1086/734279 is to pair underpowered quantitative work with high quality theoretical work and qualitative methods. The authors here are already doing that—the theory is quite well developed and ███ █████ ██████ ███ ████ ████ ███ █████ ████████ ██████████ ████████ ███ █████████ ███████ ████ ████████████ ████ ██ █ ██████ ███ ████ ██ ███████████ █████ █████ ██ ████████
issue: Clarify the modeling strategy so that if someone had the data, they'd know how to reproduce the results
It would be helpful to know more about the modeling strategy and how the MMs and AMCEs were calculated, since this can be done in lots of different ways. ███ █████ ███████ ██████ ██ █████ ████ ███ ███████ ██████ ███ █████████ ████████ ████████ ██████ █████████ █████ ██ ███ █████ ████ ████████ █ ██████████ █ ██████████ █ █████ █████ ███ ███████████████ ███████ █████████████████████████████████████████████████ ████████ ███████████ ███ ███ █████████ █████ ███ ██████ ███████ ████ ████████ █ ██████████ █ ██████████ █ █████ ███ ██████████ █████ ██ █████ ███ ██ ███████ ████ ███ ████████████ ███████ █████ ████ █████ █████ ██████ ████ █ ██████ ████ ██ ██████ ██ █████████ ██ ███████ ██████ ███████ ████ █████ ███████████ ██████ ██████████████████████████████████████████ █████ ███████ ███ ██ ██ ███ ██████████ ██████████████ ████ ███ ██ ██ ██ ██ ███ ████ █████
suggestion: Consider adding deviations from preregistration to the supporting information
The authors preregistered their experiment, which is great and transparent. Throughout the paper, they clarify which analyses are preregistered and which aren't, which is also great. It could be helpful to clarify any deviations or changes they made from the preregistration (unless they didn't make any!). This newer set of guidelines provides a helpful template for doing that (https://doi.org/10.1177/25152459231213802) (I suggest this to all pre-registered experiments I review—it's not a huge blocking issue for this paper or anything.)
suggestion: Consider looking at AFCPs to supplement AMCEs?
█████ ████ ██ ████████ ██ ██ ████ ███████████████████████████████████████ ██████ ████ █████ ███ █████ ███████ ███████████ █████ ██████████ ██████████ ███ ███ ██████ ████████████ ███████████ ███ ████████ █████████ █████ ████████ ███████ ███████ ██████ ███████████ ██████ ████████ ██████ ███ ██ ████████ ███████ ████████ ██████ ██████ ███████████ █████████ ██ █ █████████ ████ ███████ ███ ███████████ ████ ████████ ███████████████ █████ ███ ██████████ ███████ █████ ███ ██████ ███ █████ ███ ██ ████ ██ ███ ███████ ██████████ ██ █████ ██ ███████ ██ ██████████ ███ ████████ █████ ████ █████ ███████ ██ ███ ██████████ ██████████████████ ██ █ ██████ ███████ ████ ████ ████████████████ ██████████████████████████████████████████████████████████████████████████████████