Критерии оценки синтетических респондентов в качественных исследованиях: границы применимости
Обзорная статья
Для цитирования
Жуликов К. О. Критерии оценки синтетических респондентов в качественных исследованиях: границы применимости // Интеракция. Интервью. Интерпретация. 2026. Том 18. № 2. С. 147-160. DOI: https://doi.org/10.19181/inter.2026.18.2.5 EDN: CJIFVV
Аннотация
Большие языковые модели (LLM) все чаще применяются для генерации синтетических респондентов — текстовых симуляций ответов информантов, которым задан определенный социально-демографический профиль. Для количественных синтетических данных уже разработаны подходы к оценке, основанные на сопоставлении статистических распределений с результатами массовых опросов. Для качественных данных устоявшиеся критерии отсутствуют. В литературе это описывается как временный пробел, который будет восполнен по мере развития инструментария, и как ограничение, связанное с более глубоким несоответствием между основаниями качественной методологии и природой синтетических данных. Статья содержит аналитический обзор подходов к оценке синтетических респондентов в трех исследовательских традициях: вычислительных социальных науках, обработке естественного языка и качественной методологии. Обзор публикаций 2022–2026 годов показал, что наиболее формализованные подходы (статистические сравнения распределений и автоматические текстовые метрики) измеряют свойства, второстепенные для качественной работы. Подходы, сложившиеся внутри качественной традиции, затрагивают содержательно значимые свойства (контекстуальную специфичность, внутреннюю противоречивость, нарративное сопротивление), но зафиксированы на уровне наблюдений и не операционализированы. Сопоставление свойств качественных данных с существующими критериями выявляет неохваченные моменты, в том числе внутренние противоречия нарратива, речевые особенности и способность данных порождать нетривиальные интерпретации. На основе проведенного сопоставления очерчиваются те области, в которых применение синтетических респондентов в качественных исследованиях представляется оправданным, и те, в которых оно проблематично. Обсуждаются стандарты прозрачности для случаев их использования и обозначены перспективные направления исследований.
Ключевые слова:
синтетические респонденты, синтетическая выборка, генеративный искусственный интеллект, большие языковые модели, качественные исследования, стандарты прозрачности, границы применимости LLM
Литература
Галкин К.А., Петухова И.С., Парфенова О.А. OPEN AI как помощник при анализе интервью // Социологические исследования. 2025. № 4. С. 105–116. DOI: https://doi.org/10.7868/S3034601025040095
Джибилова Е.Г., Побываев Н.С. Анализ российского и зарубежного опыта применения ChatGPT и искусственного интеллекта в политике и социальной сфере // Социально-гуманитарные знания. 2024. № 1. С. 64–69. EDN: WULNST
Незговорова М.И. Границы понимания синтетических респондентов: новый контур производства знаний, методологические риски и стандарты проверки данных // Социально-политические науки. 2026. Т. 16. № 1. С. 179–186. DOI: https://doi.org/10.33693/2223-0092-2026-16-1-179-186 EDN: LRYLSI
Пузанова Ж.В., Кожоридзе Г.Г., Кожоридзе Д.Г. ИИ и социология: анализ технологических возможностей виртуальных респондентов // Социология: методология, методы, математическое моделирование (Социология:4М). 2025. № 60. С. 216–246. DOI: https://doi.org/10.19181/4m.2025.34.1.6 EDN: PRPHTP
Рождественская Е.Ю. Биографический метод в социологии. М.: Изд. дом ВШЭ, 2012.
Рождественская Е.Ю. ИНТЕР-энциклопедия: нарративное интервью // Интеракция. Интервью. Интерпретация. 2020. Т. 12. № 4. С. 114–127. DOI: https://doi.org/10.19181/inter.2020.12.4.8
Семенова В.В. Качественные методы: введение в гуманистическую социологию. М.: Добросвет, 1998.
Филипова А.Г., Абросимова Е.Е., Зубова О.Г. Метод синтетических фокус-групп в контексте цифровой трансформации социологического исследования // Социодинамика. 2025. № 5. С. 1–17. DOI: https://doi.org/10.25136/2409-7144.2025.5.74430 EDN: EUMCKL
Argyle L.P., Busby E.C., Fulda N., Gubler J.R., Rytting C., Wingate D. (2023) Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis. Vol. 31. No. 3. P. 337–351. DOI: https://doi.org/10.1017/pan.2023.2
Bail C.A. (2024) Can Generative AI Improve Social Science? Proceedings of the National Academy of Sciences. Vol. 121. No. 21. DOI: https://doi.org/10.1073/pnas.2314021121
Barros C.F., Azevedo B.B., Graciano Neto V.V., Kassab M., Kalinowski M., do Nascimento H.A.D., Bandeira M.C.G.S.P. (2025) Large Language Model for Qualitative Research — A Systematic Mapping Study. arXiv. DOI: https://doi.org/10.48550/arXiv.2411.14473
Bender E.M., Gebru T., McMillan-Major A., Shmitchell S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. P. 610–623. DOI: https://doi.org/10.1145/3442188.3445922
Bisbee J., Clinton J. D., Dorff C., Kenkel B., Larson J.M. (2024) Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis. Vol. 32. No. 4. P. 401–416. DOI: https://doi.org/10.1017/pan.2024.5
Braun V., Clarke V. (2019) Reflecting on Reflexive Thematic Analysis. Qualitative Research in Sport, Exercise and Health. Vol. 11. No. 4. P. 589–597. DOI: https://doi.org/10.1080/2159676X.2019.1628806
Davidson T., Karell D. (2025) Integrating Generative Artificial Intelligence into Social Science Research: Measurement, Prompting, and Simulation. Sociological Methods & Research. Vol. 54. No. 3. P. 775–793. DOI: https://doi.org/10.1177/00491241251339184
Fine G.A., Deegan J.G. (1996) Three Principles of Serendip: Insight, Chance, and Discovery in Qualitative Research. International Journal of Qualitative Studies in Education. Vol. 9. No. 4. P. 434–447. DOI: https://doi.org/10.1080/0951839960090405
Geertz C. (1973) The Interpretation of Cultures. New York: Basic Books.
Grossmann I., Feinberg M., Parker D.C., Christakis N.A., Tetlock P.E., Cunningham W.A. (2023) AI and the Transformation of Social Science Research. Science. Vol. 380. No. 6650. P. 1108–1109. DOI: https://doi.org/10.1126/science.adi1778
Kapania S., Agnew W., Eslami M., Heidari H., Fox S.E. (2025) Simulacrum of Stories: Examining Large Language Models as Qualitative Research Participants. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. New York: ACM. DOI: https://doi.org/10.1145/3706598.3713220
Kuric E., Demcak P., Krajcovic M. (2026) Synthetic Participants Generated by Large Language Models. A Systematic Literature Review. DOI: https://doi.org/10.21203/rs.3.rs-9057643/v1
Kvale S., Brinkmann S. (2009) InterViews: Learning the Craft of Qualitative Research Interviewing. 2nd ed. Thousand Oaks: Sage.
Lincoln Y.S., Guba E.G. (1985) Naturalistic Inquiry. Newbury Park: Sage.
Park P.S., Schoenegger P., Zhu C. (2024) Diminished Diversity-of-Thought in a Standard Large Language Model. Behavior Research Methods. Vol. 56. No. 6. P. 5754–5770. DOI: https://doi.org/10.3758/s13428-023-02307-x
Riessman C.K. (2008) Narrative Methods for the Human Sciences. Thousand Oaks: Sage.
Sarstedt M., Adler S.J., Rau L., Schmitt B. (2024) Using Large Language Models to Generate Silicon Samples in Consumer and Marketing Research: Challenges, Opportunities, and Guidelines. Psychology & Marketing. Vol. 41. P. 1254–1270. DOI: https://doi.org/10.1002/mar.21982
Schroeder H., Aubin Le Quéré M., Randazzo C., Mimno D., Schoenebeck S. (2025) Large Language Models in Qualitative Research: Uses, Tensions, and Intentions. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. DOI: https://doi.org/10.1145/3706598.3713120
Shrestha P., Krpan D., Koaik F., Schnider R., Sayess D., Binbaz M.S. (2024) Beyond WEIRD: Can Synthetic Survey Participants Substitute for Humans in Global Policy Research? Behavioral Science & Policy. Vol. 10. No. 2. P. 26–45. DOI: https://doi.org/10.1177/23794607241311793
Zheng L., Chiang W.-L., Sheng Y., Zhuang S., Wu Z., Zhuang Y., Lin Z., Li Z., Li D., Xing E.P., Zhang H., Gonzalez J.E., Stoica I. (2023) Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. Vol. 36. P. 46595–46623. DOI: https://doi.org/10.5555/3666122.3668142
Джибилова Е.Г., Побываев Н.С. Анализ российского и зарубежного опыта применения ChatGPT и искусственного интеллекта в политике и социальной сфере // Социально-гуманитарные знания. 2024. № 1. С. 64–69. EDN: WULNST
Незговорова М.И. Границы понимания синтетических респондентов: новый контур производства знаний, методологические риски и стандарты проверки данных // Социально-политические науки. 2026. Т. 16. № 1. С. 179–186. DOI: https://doi.org/10.33693/2223-0092-2026-16-1-179-186 EDN: LRYLSI
Пузанова Ж.В., Кожоридзе Г.Г., Кожоридзе Д.Г. ИИ и социология: анализ технологических возможностей виртуальных респондентов // Социология: методология, методы, математическое моделирование (Социология:4М). 2025. № 60. С. 216–246. DOI: https://doi.org/10.19181/4m.2025.34.1.6 EDN: PRPHTP
Рождественская Е.Ю. Биографический метод в социологии. М.: Изд. дом ВШЭ, 2012.
Рождественская Е.Ю. ИНТЕР-энциклопедия: нарративное интервью // Интеракция. Интервью. Интерпретация. 2020. Т. 12. № 4. С. 114–127. DOI: https://doi.org/10.19181/inter.2020.12.4.8
Семенова В.В. Качественные методы: введение в гуманистическую социологию. М.: Добросвет, 1998.
Филипова А.Г., Абросимова Е.Е., Зубова О.Г. Метод синтетических фокус-групп в контексте цифровой трансформации социологического исследования // Социодинамика. 2025. № 5. С. 1–17. DOI: https://doi.org/10.25136/2409-7144.2025.5.74430 EDN: EUMCKL
Argyle L.P., Busby E.C., Fulda N., Gubler J.R., Rytting C., Wingate D. (2023) Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis. Vol. 31. No. 3. P. 337–351. DOI: https://doi.org/10.1017/pan.2023.2
Bail C.A. (2024) Can Generative AI Improve Social Science? Proceedings of the National Academy of Sciences. Vol. 121. No. 21. DOI: https://doi.org/10.1073/pnas.2314021121
Barros C.F., Azevedo B.B., Graciano Neto V.V., Kassab M., Kalinowski M., do Nascimento H.A.D., Bandeira M.C.G.S.P. (2025) Large Language Model for Qualitative Research — A Systematic Mapping Study. arXiv. DOI: https://doi.org/10.48550/arXiv.2411.14473
Bender E.M., Gebru T., McMillan-Major A., Shmitchell S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. P. 610–623. DOI: https://doi.org/10.1145/3442188.3445922
Bisbee J., Clinton J. D., Dorff C., Kenkel B., Larson J.M. (2024) Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis. Vol. 32. No. 4. P. 401–416. DOI: https://doi.org/10.1017/pan.2024.5
Braun V., Clarke V. (2019) Reflecting on Reflexive Thematic Analysis. Qualitative Research in Sport, Exercise and Health. Vol. 11. No. 4. P. 589–597. DOI: https://doi.org/10.1080/2159676X.2019.1628806
Davidson T., Karell D. (2025) Integrating Generative Artificial Intelligence into Social Science Research: Measurement, Prompting, and Simulation. Sociological Methods & Research. Vol. 54. No. 3. P. 775–793. DOI: https://doi.org/10.1177/00491241251339184
Fine G.A., Deegan J.G. (1996) Three Principles of Serendip: Insight, Chance, and Discovery in Qualitative Research. International Journal of Qualitative Studies in Education. Vol. 9. No. 4. P. 434–447. DOI: https://doi.org/10.1080/0951839960090405
Geertz C. (1973) The Interpretation of Cultures. New York: Basic Books.
Grossmann I., Feinberg M., Parker D.C., Christakis N.A., Tetlock P.E., Cunningham W.A. (2023) AI and the Transformation of Social Science Research. Science. Vol. 380. No. 6650. P. 1108–1109. DOI: https://doi.org/10.1126/science.adi1778
Kapania S., Agnew W., Eslami M., Heidari H., Fox S.E. (2025) Simulacrum of Stories: Examining Large Language Models as Qualitative Research Participants. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. New York: ACM. DOI: https://doi.org/10.1145/3706598.3713220
Kuric E., Demcak P., Krajcovic M. (2026) Synthetic Participants Generated by Large Language Models. A Systematic Literature Review. DOI: https://doi.org/10.21203/rs.3.rs-9057643/v1
Kvale S., Brinkmann S. (2009) InterViews: Learning the Craft of Qualitative Research Interviewing. 2nd ed. Thousand Oaks: Sage.
Lincoln Y.S., Guba E.G. (1985) Naturalistic Inquiry. Newbury Park: Sage.
Park P.S., Schoenegger P., Zhu C. (2024) Diminished Diversity-of-Thought in a Standard Large Language Model. Behavior Research Methods. Vol. 56. No. 6. P. 5754–5770. DOI: https://doi.org/10.3758/s13428-023-02307-x
Riessman C.K. (2008) Narrative Methods for the Human Sciences. Thousand Oaks: Sage.
Sarstedt M., Adler S.J., Rau L., Schmitt B. (2024) Using Large Language Models to Generate Silicon Samples in Consumer and Marketing Research: Challenges, Opportunities, and Guidelines. Psychology & Marketing. Vol. 41. P. 1254–1270. DOI: https://doi.org/10.1002/mar.21982
Schroeder H., Aubin Le Quéré M., Randazzo C., Mimno D., Schoenebeck S. (2025) Large Language Models in Qualitative Research: Uses, Tensions, and Intentions. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. DOI: https://doi.org/10.1145/3706598.3713120
Shrestha P., Krpan D., Koaik F., Schnider R., Sayess D., Binbaz M.S. (2024) Beyond WEIRD: Can Synthetic Survey Participants Substitute for Humans in Global Policy Research? Behavioral Science & Policy. Vol. 10. No. 2. P. 26–45. DOI: https://doi.org/10.1177/23794607241311793
Zheng L., Chiang W.-L., Sheng Y., Zhuang S., Wu Z., Zhuang Y., Lin Z., Li Z., Li D., Xing E.P., Zhang H., Gonzalez J.E., Stoica I. (2023) Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. Vol. 36. P. 46595–46623. DOI: https://doi.org/10.5555/3666122.3668142
Статья
Поступила: 15.04.2026
Опубликована: 03.07.2026
Форматы цитирования
Другие форматы цитирования:
APA
Жуликов, К. О. (2026). Критерии оценки синтетических респондентов в качественных исследованиях: границы применимости. Интеракция. Интервью. Интерпретация, 18(2), 147-160. https://doi.org/10.19181/inter.2026.18.2.5
Раздел
Обзоры
JATS XML
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
