Anmerkung der Editoren: Antworten des Autors sind in diesem Stil dargestellt!

Editors note: Author's responses are presented like this!

Review by Melanie Mauch

Zusammenfassung der Forschungsarbeit und Ihr Gesamteindruck

Vielen Dank für den Review. Die Kommentare in der Word-Datei wurden durchgegangen und entsprechend angepasst. Zu den konkreten Anmerkungen hier im getrennten schriftlichen Teil, wurden Verweise auf die veränderten Stellen bzw. die vereinzelten Rückfragen eingefügt.

• 7Mind-App als Stressprävention für die breite Masse.

• Die App kann einen Betrag zur Stress-Reduzierung leisten.

• Sehr interessantes Thema und solides Forschungsdesign.

• Forschungslücke eindeutig, da Interesse der Krankenkassen vorhanden.

• Das Abstract ist klar strukturiert und macht neugierig.

• Ich frage mich, warum die Krankenkassen, die das Vorhaben finanziert haben, nicht erwähnt werden/oder erwähnt werden wollen. 
  Ich bin mir gerade nicht ganz sicher, worauf referiert wird. Die Krankenkassen haben die Studie (falls das mit "Vorhaben" gemeint ist) nicht finanziert. Um als Präventionskurs in Deutschland anerkannt zu werden, muss eine Zulassung bei der Zentralen Prüfstelle für Prävention beantragt werden, die den Kurs auf Qualität und Sicherheit überprüfen. Wenn dieser anerkannt ist, sind alle gesetzlichen Krankenkassen dazu verpflichtet, diesen gemäß ihres Präventionsbudgets zu übernehmen. Es bestand zu keinem Zeitpunkt Kontakt zu einer Krankenkasse. Generell haben alle gesetzlichen Krankenkassen ein Präventionsbudget, welches sie Versicherten zur Verfügung stellen müssen, insofern ein anerkannter Kurs absolviert wird. Es gibt also keine Krankenkasse, die hier unmittelbar in den Zulassungsprozess oder gar in jeglichen Zusammenhang mit der Studie getreten wäre, die an dieser Stelle genannt werden könnte.

• Sprachlich viel Luft nach oben.

• Die Stärke des Manuskripts liegt in der Methodik: Die Auswahl des Erhebungsinstruments und der Software, sowie Analyse der Daten. 

• Schwächen sind in der sprachlichen Ausführung und der Berichterstattung zu finden.

• Die Methoden sollten ausführlicher beschrieben werden, P-Werte gerne angeben.
  Anpassungen entsprechend dem Korrekturfile wurden vorgenommen. Die P-Werte werden im Results-Teil angegeben.

• Die Limitationen der Arbeit wurden gut durchdacht und ehrlich dargestellt.

• Argumentation logisch und verständlich.

• Nach Einarbeitung der Major Issues sollte eine Revision stattfinden.

• Quellenauswahl nachvollziehbar

  Beweise und Beispiele

Major Issues

• Titel sollte überarbeitet werden (s. Anmerkungen im Manuskript)
  Anpassung erfolgt.

• Schlüsselwörter/Keywords sollten ergänzt werden
  Wo müssten diese ergänzt werden? Gibt es dafür ein Feld bei der Einreichung (Einreichung erfolgte über Phillip Suwalski daher habe ich ein solches Feld nicht gesehen, falls es das gibt)?

• Das Fehlen der Kontrollgruppe sollte ausführlicher diskutiert werden und eine Begründung hinzugefügt werden. (Warum wurden die Fragebögen nicht zusätzlich einer Gruppe Menschen geschickt, die „keine Intervention“ erhielten? Interessant wäre dann zu sehen, ob sich der FMI sich auch hier ändert oder nicht)
  Angepasst unter: Implications (Abstract) (S.2), 2.6 Methodological limitations (S.8), 4.1. Primary hypothesis (S.21), Conclusion (S.25)

• Der Hintergrund zur Studie ist kurz beschrieben. Wünschenswert wären Begriffserklärungen, wie was versteht man unter Achtsamkeit und Stress. Warum ist Achtsamkeit wichtig, wie kann sie helfen.
  Angepasst unter "Introduction" (S.3)

• Hintergrund zur App sollte ausgebaut werden, seit wann gibt es die App, kam sie schon bei einer anderen Studie oder Umfrage zum Einsatz?
  Angepasst in "Introduction"

• Sprachliche Überarbeitung wird empfohlen. 

• Der Autor beschreibt, dass es keine Ein- und Ausschlusskriterien gab, das kann so nicht stehen bleiben. Einschlusskriterium ist immer, dass die Personen +18 Jahre alt sind und die deutsche Sprache gut genug beherrschen, um die Fragebögen ausfüllen zu können. Der Autor gibt den Download der App, als Einschlusskriterium an. Der Download ist aber eine Teilnahmevoraussetzung. Das ist ein Unterschied.
  Angepasst unter "Data collection" (S. 5)

• Überlegungen zur Ethik sind vollkommen ausgeklammert: Wurde ein Ethikvotum eingeholt? Könnten potenzielle Schäden für die Teilnehmenden entstehen?
  Hinzugefügt als Kapitel 2.4 (S. 6)

• Die Datenqualität wurde nur ansatzweise diskutiert, wie kann die Qualität in Zukunft verbessert werden? Bsp. 5 stelliger Code anstatt 3 stelliger etc.
  Angepasst unter "Discussion"

• Datenanalyse ist soweit nachvollziehbar, mir ist nur nicht klar warum einmal ver- und dann wieder entblindet wurde. Das ist nicht ausführlich genug beschrieben.
  Ausführlichere Erklärung unter 2.6 Analysis

Minor Issues

• Abbildungen sind zu klein, Beschriftungen kaum erkennbar.
  Wurde angepasst

• Abbildungen besser erklären und im Text beschreiben was darauf zu sehen ist.
  Wurde angepasst

• Sind in der Literatur andere Arbeiten vorhanden, die die 7Mind-App beschreiben?
  Angepasst in "Introduction"

 Sonstige Punkte

• Bitte klären, warum keine Ethik eingeholt wurde, bzw. begründen.
  Hinzugefügt als Kapitel 2.4 (S. 6)

Review by Kerstin Rubarth

Thank you for your review and comments. I addressed each of them below.

The author presents a one-arm survey-based study about a mindfulness-based mobile app (7Mind). Users who participated in a mindfulness-based stress management course answered questionnaires about their mental state before starting and after completing the course. Mindfulness was measured by using the Freiburg Mindfulness Inventory. In total, 7117 subjects submitted questionnaires and of those, 829 participants filled out both questionnaires. The author used Wilcoxon-signed rank tests for evaluating pre-/post differences and found statistically significant differences in Mindfulness and perceived pain among other variables.

Importance and Originality:

Stress reduction is important in today’s world and mental health disorders are more and more common. Therefore, digital apps to reduce mental stress and to support healthy daily behaviors seem to be an efficient alternative to psychotherapy or weekly meditation/mindfulness courses with an instructor. However, there is little evidence about the impact on app-based online courses on stress management. Therefore, I consider this study as important.

Major Comments:

• The validity of the study is limited since no control group was enrolled and compared to. However, the author mentions that in the discussion. Still, the author could be a bit more cautious with conclusions coming from this study.
  Adjustments in the following chapters: Implications (Abstract) (S.2), 2.6 Methodological limitations (S.8), 4.1. Primary hypothesis (S.21), Conclusion (S.25)

• The author does not distinguish between statistical significance and content relevance. I would suggest not focusing on p-values and deriving conclusions from them, instead I would suggest comparing the distributions depicted in figure 4a and 4b. Since the sample was quite big, even tiny effects would have been statistically significant, without having relevance content wise. Hence, in my opinion a Bonferroni-correction is not necessary.
  Adjustments in the following chapter: Conclusion (S.25)

Minor Comments:

• I see some “Errors” which should possibly be citations (e.g., mental disorders (Error), meditation applications (Error).
  What exactly is meant by "error" here? "mental disorders" and "mediation applications" are no proper names (?) Maybe I got this comment wrong. Could you specify what you are referring to here?

• “This study investigates whether digital mindfulness-based stress management training offered to the broad society as a health insurance-covered prevention program can affect it positively.” I would suggest the author states specifically what “affect positively” actually means in his study.
  Adjusted S. 3

• “The study aimed to find out whether an App-based intervention can change the Freiburg Mindfulness Inventory (FMI) score significantly within a general population.” Please shortly statFMI what the FMI measures.
  Adjusted in: Introduction p.3 (explaining mindfulness), 2.1 Study design (stating what the FMI measures

• CRM system: Please give the whole name instead of the abbreviation.
  Changed

• I am not sure if Figure 1 is informative, actually correct and therefore necessary. In addition, the caption is non-informative.
  Removed

• “Participants with only a single time point (only one survey taken or inability to link the forms) were excluded from the confirmatory analysis.” I would not say that you analysis is confirmatory but exploratory.
  Adjusted (p. 7)

• Furthermore, it would be interesting to evaluate the subgroup of participants, which only responded one of the questionnaires in terms of their outcomes.
  All analyses were additionally repeated for unpaired groups to include all questionnaires. See chapters: Methods, Results, Discussion

• Instead of “Participants with only a single time point “ I would suggest writing “Participants which only answered one questionnaire…
  Adjusted (p. 7)

• “The Null-Hypothesis was "There is no significant change between t0 and t1". Please consider reformulating your null hypothesis; the Wilcoxon signed-rank test tests whether there the two distributions of t0 and t1 are equal.
  Adjusted (p. 7)

• “This provided the confidence intervals and p-values.” Which confidence intervals were provided/ confidence intervals for what?
  I deleted the sentence due to redundancy. The results chapter covers this subject.

• “Alpha was set to 0.05 for all tests using data once.” I would suggest to delete “… for all tests using data once.”
  Adjusted (p. 7)

• Link missing: “(insert a link to the file)”
  Once the final version is ready to be published on PubPub I will insert the link to the file (there is no place to link to at the moment)

• “The 4-digit code for identification was based on only three questions, so it was possible that the same code was created more than two times (which led to the inability to match the data of this person in the datasets)”: How often did that happen?
  270 observations in the merged dataset of participants had duplicates as IDs and therefore no clear matches. It took quite some effort to recognize, identify and remove them and I was not aware of the magnitude of the issue when I wrote what you quoted above. The analysis with removed duplicates was done for all statistical tests in the resubmission apart from those that included all questionnaires (to address your comment above).
See chapters: Methods, Results, Discussion

• Link missing “(add address here)”
  Removed

• Table 1: I would suggest using different terms for the columns instead of “T0” and “Merged t0t1”. Interested readers who scroll through the article should directly understand the content of the table without first reading the whole manuscript.
  Adjusted

• Could the author please reverse the order of the columns of table 2? I would suggest the following order: N, Median pre, Median post, Median difference, 95% CI of the Median difference (in one column), if you wish a p-value
  Adjusted

• I would suggest rounding the numbers to two decimal points only.
  Adjusted in text and tables

• “The 95 percent confidence interval lies between 7.500078 and 6.500035.” Please round the numbers and reverse the order of the confidence bounds.
  Changed

• Please amend the caption of Table 2 (e.g., Overview of Median changes in FMI Scores, including sample sizes N, …,) as well as the captions of Figure 4a and b: Violin Plots of FMI scores at t0 / t1
  There was apparently a technical problem when the captions were transferred (I talked with Steffen Schwerdtfeger about that). I hope they are visible this time. Otherwise I would kindly ask you to point that out so that I can address this.

• Where can I find the appendix, to find out about the secondary hypotheses?
  There should be a link to a webpage with all files for the appendix on the last page (24). Once the final PubPub article with appendix is created a link can be provided. Was there a problem in the submission process that deleted that link? If yes, please let me (or Phillip Suwalski) know.

• “All statistical tests turned out to be significant, and all differences pointed in the intended direction of improvement. This confirms that mindfulness-based stress management programs and meditation can also be taught by Apps.” I think that the wording “confirms” is too strong without a randomized experiment, please use something like “suggests/hints/indicates”.
  Changed in chapter discussion

• “The improvements of this prevention course need to be reevaluated after six and twelve months to examine their long-term effects.” Is this also part of your research?
  Yes, the data collection for that will start soon but it is not clear yet whether it will be published too due to technical reasons.

• “However, the absence of a placebo group combined with the open-label design does not control the Hawthorne effect.” Please explain shortly what the Hawthorne effect is.
  Added (p. 23)

• It is a bit confusing to read about pain reduction in the discussion, when there is no paragraph about it in the methods and results section of the main document. I would suggest adding a methods and results section about the pain reduction in the main document. As an alternative, the author could put everything about pain reduction into the appendix.
  Added. See chapters: Methods, Results, Discussion,

• “The app intervention has shown a significant effect on the FMI score that pointed in the intended direction.” I would recommend that the author does not use causal language here due to the mentioned limitations (dropouts, selective audience and the missing control group).
  Adjusted in chapter discussion chapter

Review Round 2

Remaining comments from Review by Melanie Mauch

• Warum wurde mit Bonferroni das alpha-Niveau auf 0.025 gesetzt? Es werden ja mehr als zwei Hypothesen berechnet.

α 0.025 ergab sich daraus, dass zunächst die Einzelfragen des FMI mit dem Wilcoxon-Test geprüft wurden und dann nochmal der Gesamtscore des FMI (der sich aus den Einzelfragen ergibt) einem Wilcoxon-Test unterzogen wurde. Dementsprechend ergab sich α-Bonferroni = α / 2. Bei einem standardmäßigen α von 0.05 ergibt das dann entsprechend 0.025.

Nun kann natürlich argumentiert werden, dass durch das Eingehen auf die Anmerkungen von Reviewerin 2, was beinhaltete, zusätzlich auch solche Fälle zu testen, die über keine gematchte ID verfügten, insgesamt vier Testungen durchgeführt wurden. Der Bonferroni korrigierte α entspräche damit 0.0125. Allerdings träfe das nach den Anpassungen nach dem Review auf lediglich 559 von 7717 bzw. 2629 Fällen zu (gematchte Fälle mit eindeutiger ID vs. alle Fälle). Die Literatur ist hier uneindeutig, ob es sich dabei, um einen zu konservativen Korrekturvorgang handeln würde.

Unabhängig davon liegen die p-Werte jedoch ohnehin weit unter 0.01, sodass keiner der Tests dadurch nicht mehr signifikant würde (der p-Wert selbst darf jedoch selbstverständlich keine Rolle dabei spielen, wie nun und ob nun korrigiert wird).

Aus erläuterten Gründen, habe ich keine Bonferroni-Korrektur für 4 Testungen durchgeführt. Allerdings kann ich α in den Tabellen entsprechend auf 0.0125 ändern. Die Aussagen der Hypothesentestungen ändern sich dadurch nicht. 

• Auf was beziehen sich die Konfidenzintervall? Wenn es ein Konfidenzintervall gibt, sollte auch der entsprechende Schätzer angegeben werden

Auf den (Pseudo)-Median Schätzer wurde ursprünglich aufgrund der sehr hohen Fallzahlen, der damit einhergehenden Normalverteilung und den dicht beieinander liegenden Konfidenzintervallen verzichtet, da seine Aussagekraft unter jenen Umständen limitiert ist. Ich füge ihn jedoch gerne in den Tabellen hinzu und vermerke das in der finalen Version des papers entsprechend.