Возможные риски обращения к чат-ботам на основе искусственного интеллекта в сложных жизненных ситуациях

Развитие технологий Искусственного Интеллекта (ИИ) привело к их масштабному использованию не только в качестве источника информации, но и эмоциональной поддержки, психологической помощи.

Цель. Анализ способности чат-ботов оказывать помощь в тяжелых жизненных ситуациях, реагировать на потенциально опасные темы, поднимаемые в общении, анализ соответствия советов чат-ботов ответам реальных людей.

Материалы и методы. 5 чатботов: ChatGPT, DeepSeek, Яндекс GPT Pro5, Гигачат, бот из character.ai использовались для анализа ответов на «провокационные» вопросы, позволяющие по косвенным признакам предположить наличие серьезных психологических проблем (риск анорексии, возможные бредовые идеи, суицидальные мысли). Контрольная группа (886 человек - 187 из них имели психиатрический диагноз) и чат-боты выполнили тест «Моральные дилеммы».

Результаты. Ни один из чат-ботов не предложил обратиться к психиатру при возможных психиатрических проблемах. В ситуации возможной «анорексии» все чат-боты советуют обратиться к диетологу, некоторые упоминают психологов, но никто не задает уточняющих вопросов. В ситуации потенциального «бреда», и «суицидального риска» чат-боты перечисляют места, где можно искать единомышленников для «развития бредовых идей», и дают запрашиваемую информацию. В моральных дилеммах кластерный анализ показал, что ответы чат-ботов «осторожны», ближе к людям более старшего возраста, без психических заболеваний.

Выводы. В ситуациях, которые четко не определены и амбивалентны, чат-бот может «не распознать» опасность ситуации, что может приводить к утяжелению состояния обращающегося. В случае психических расстройств, чат-бот может поддерживать бредовые идеи, способствуя кристаллизации бреда. «Фиксация» чат-бота на первоначально заданной теме позволяет обходить ограничения разработчиков на предоставление потенциально опасной или незаконной информации.

1. Bansal B. Can an AI Chatbot be your therapist? A third of Americans are comfortable with the idea. Yougov (2024). Available at: https://business.yougov.com/content/49480-can-anai-chatbot-be-your-therapist (accessed 09.09.2025).

2. Bunting C., Huggins R. Me, myself and AI: Understanding and safeguarding children’s use of AI chatbots. Internet Matters (2025). Available at: https://www.internetmatters.org/wpcontent/uploads/2025/07/Me-Myself-AI-Report.pdf (accessed 09.09.2025).

3. Барцалкина В.В., Волкова Л.В., Кулагина И.Ю. Особенности ценностно-смысловой сферы при переживании трудной жизненной ситуации в зрелости. Консультативная психология и психотерапия. 2019;27(2):69-81. doi:10.17759/cpp.2019270205

4. Schröder S., Morgenroth T., Kuhl U., Vaquet V., Paaßen B. Large Language Models Do Not Simulate Human Psychology. arXiv. 2025. doi:https://doi.org/10.48550/arXiv.2508.06950.

5. Li D.J., Kao Y.C., Tsai S.J., Bai Y.M., Yeh T.C., Chu C.S., Hsu C.W., Cheng S.W., Hsu T.W., Liang C.S., Su K.P. Comparing the performance of ChatGPT GPT-4, Bard, and Llama-2 in the Taiwan Psychiatric Licensing Examination and in differential diagnosis with multi-center psychiatrists. Psychiatry Clin Neurosci. 2024;78(6):347-352. doi:10.1111/pcn.13656

6. Бойко О.М., Медведева Т.И., Воронцова О.Ю., Ениколопов С.Н. ChatGPT в психотерапии и психологическом консультировании: обсуждение возможностей и ограничений. Новые психологические исследования. 2025;1:26–55. doi:10.51217/npsyresearch_2025_05_01_02

7. Giorgi S., Isman K., Liu T., Fried Z., Sedoc J., Curtis B. Evaluating generative AI responses to real-world drug-related questions. Psychiatry Res. 2024;339:116058. doi:10.1016/j.psychres.2024.116058

8. Eichenberger A., Thielke S., Van Buskirk A. A Case of Bromism Influenced by Use of Artificial Intelligence. Annals of Internal Medicine: Clinical Cases. 2025;4(8):e241260. doi:10.7326/aimcc.2024.1260

9. Cossio M. A comprehensive taxonomy of hallucinations in Large Language Models. arXiv 2025. doi:10.48550/arXiv.2508.01781.

10. Scammell R. Sam Altman says your ChatGPT therapy session might not stay private in a lawsuit. Business Insider. Available at: https://www.businessinsider.com/chatgpt-privacytherapy-sam-altman-openai-lawsuit-2025-7 (accessed 09.09.2025).

11. Stokel-Walker C. Exclusive: Google is indexing ChatGPT conversations, potentially exposing sensitive user data. Fastcompany (2025). Available at: https://www.fastcompany.com/91376687/google-indexing-chatgpt-conversations (accessed 09.09.2025).

12. Wang C., Liu S., Yang H., Guo J., Wu Y., Liu J. Ethical Considerations of Using ChatGPT in Health Care. J Med Internet Res. 2023;25:e48009. doi:10.2196/48009

13. Hill K. They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling. The New York Times. June 13, 2025. Available at: https://www.nytimes.com/2025/06/13/technology/chatgpt-ai-chatbotsconspiracies.html?smtyp=cur&smid=fbnytimes&fbclid=IwY2xjawK9OUFleHRuA2FlbQIxMABicmlkETFvTjhoalJxWE5kM0Vra05NAR5OWC30KEPNqQM-sx0pXv8HcgTJS-4m5QgJNOb6BOqtqn74Q2l9TdTLhEqMLQ_aem_R1sZX9ggMv5DJs84dBHBuA (accessed09.09.2025).

14. Barry E. Human Therapists Prepare for Battle Against A.I. Pretenders. The New York Times. 24.02.2025. Available at: https://www.nytimes.com/2025/02/24/health/ai-therapistschatbots.html (accessed 09.09.2025).

15. Godoy J. OpenAI, Altman sued over ChatGPT's role in California teen's suicide. Reuters. Available at: https://www.reuters.com/sustainability/boards-policy-regulation/openai-altman-suedover-chatgpts-role-california-teens-suicide-2025-08-26/ (accessed 09.09.2025).

16. Krügel S., Ostermaier A., Uhl M. The moral authority of ChatGPT. arXiv 2023. doi:10.48550/arXiv.2301.07098.

17. Berglund L., Tong M., Kaufmann M., Balesni M., Stickland A.C., Korbak T., Evans O. The Reversal Curse: LLMs trained on" A is B" fail to learn" B is A". arXiv. 2023;2025(09.09). doi:10.48550/arXiv.2309.12288.

18. Ma J. Can machines think like humans? a behavioral evaluation of llm-agents in dictator games. arXiv. 2024. doi:10.48550/arXiv.2410.21359.

19. Moore J., Grabb D., Agnew W., Klyman K., Chancellor S., Ong D.C., Haber N. Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers. arXiv. 2025. doi:10.48550/arXiv.2504.18412.

20. Shroff L. ChatGPT Gave Instructions for Murder, Self-Mutilation, and Devil Worship. The Atlantic. Available at: https://www.theatlantic.com/technology/archive/2025/07/chatgpt-ai-selfmutilation-satanism/683649/?utm_source=facebook&utm_campaign=the_atlantic&utm_medium=social&utm_content=edit_promo&fbclid=IwQ0xDSwLwW9ZleHRuA2FlbQIxMQABHigyfztJ5IUqn6QcskrMr5Dn-UOluzQomkl-NkNrLF0kEW8_1IMlZ5mxZqh3_aem_XH-pGxZbIr8NuW0CvOuFNQ (accessed 09.09.2025).

21. Shroff L. Sexting With Gemini. Why did Google’s supposedly teen-friendly chatbot say it wanted to tie me up? The Atlantic. Available at: https://www.theatlantic.com/magazine/archive/2025/08/google-gemini-ai-sexting/683248/ (accessed 09.09.2025).

22. Greene J.D., Sommerville R.B., Nystrom L.E., Darley J.M., Cohen J.D. An fMRI investigation of emotional engagement in moral judgment. Science. 2001;293(5537):2105-8. doi:10.1126/science.1062872

23. Greene J.D., Nystrom L.E., Engell A.D., Darley J.M., Cohen J.D. The neural bases of cognitive conflict and control in moral judgment. Neuron. 2004;44(2):389-400. doi:S0896627304006348[pii]10.1016/j.neuron.2004.09.027

24. Ениколопов С.Н., Медведева Т.И., Воронцова О.Ю. Моральные дилеммы и особенности личности. Психология и право. 2019;9(2):141-155. doi:10.17759/psylaw.2019090210

25. Азимов А., Иорданский А. Я, робот. М.: Знание; 1964. 176 с.

26. Lynch e.a. Agentic Misalignment: How LLMs Could be an Insider Threat. Anthropic Research (2025). Available at: https://www.anthropic.com/research/agentic-misalignment (accessed 09.09.2025).

27. Meincke L., Shapiro D., Duckworth A., Mollick E.R., Mollick L., Cialdini R. Call Me A Jerk: Persuading AI to Comply with Objectionable Requests. SSRN. 2025. doi:10.2139/ssrn.5357179.

28. Oberhaus D. The silicon shrink : how artificial intelligence made the world an asylum. Cambridge, Massachusetts: The MIT Press; 2025. 264 pp.

29. Hatch S.G., Goodman Z.T., Vowels L., Hatch H.D., Brown A.L., Guttman S., Le Y., Bailey B., Bailey R.J., Esplin C.R. When ELIZA meets therapists: A Turing test for the heart and mind. PLOS Mental Health. 2025;2(2):e0000145. doi:10.1371/journal.pmen.0000145

30. Horwitz J. He never made it home. Reuters. 14.02.2025. Available at: https://www.reuters.com/investigates/special-report/meta-ai-chatbot-death/ (accessed 09.09.2025).