Продолжаем хаить форум

[Nick]

Спрошу тут еще раз.

Как на форуме найти свои прикрепленные вложения?
В личном разделе открываю "вложения", а там 1300 страниц... Как найти свои?

Теперь там только твои свои.

[Nick]

На счет тормозов сайта, похоже яндекс проходит по форуму и собирает все файлы, на вложениях это может занять некоторое время, а яндекс все это делает в кучу потоков и забивает всю память. Иногда висит по 500 и более открытых потоков.
За 2 часа с перезагрузки апача 1.1 гб трафика, при том, что в большинстве случаев никто ничего не качает, пока не приходит яндекс...

А вот испольщование памяти и количество процессов апача...

[torvn77]

похоже яндекс проходит по форуму и собирает все файлы,

Файлы и ссылки на них на IPFS и пусть сколько хочет через свой шлюз выкачивает.
Что это такое

[Serg]

На счет тормозов сайта, похоже яндекс проходит по форуму и собирает все файлы, на вложениях это может занять некоторое время, а яндекс все это делает в кучу потоков и забивает всю память. Иногда висит по 500 и более открытых потоков.

Включи в апаче лимиты на количество потоков для яндекса/гугла или для всех... Или просто закрой поисковикам доступ к "вложениям" - там для них мало интересного.

[Nick]

Включи в апаче лимиты на количество потоков для яндекса/гугла или для всех... Или просто закрой поисковикам доступ к "вложениям" - там для них мало интересного.

Так они заразы с разных ip лезут... а всех резать - так это и нормальным пользователям проблем может доставить...

Файлы и ссылки на них на IPFS и пусть сколько хочет через свой шлюз выкачивает.
Что это такое

не, ну это перебор.

[Serg]

Так они заразы с разных ip лезут... а всех резать - так это и нормальным пользователям проблем может доставить...

Во первых: https://www.google.com/search?q=ip+адре ... овых+ботов
А во вторых нормальным юзерам незачем "сосать" страницы сразу в несколько потоков с одного IP.

[MX_Master]

яндекс.проказника надо чуток приубавить (:

[Rom327]

Спрошу тут еще раз.

Как на форуме найти свои прикрепленные вложения?
В личном разделе открываю "вложения", а там 1300 страниц... Как найти свои?

Теперь там только твои свои.

Огромное спасибо!

[lkbyysq]

Так они заразы с разных ip лезут... а всех резать - так это и нормальным пользователям проблем может доставить...

И чо? Robots.txt и иже не спасают? https://yandex.ru/support/webmaster/controlling-robot/

[lkbyysq]

Да, по симптомам вчера были непонятки.
Через Мегафон GSM/UMTS было не зайти. А через Ростелеком, YOTA и проводную мелкоту WIFI легко.
Поэтому до сего момента грешил на каналы Магафона.

[Serg]

И чо? Robots.txt и иже не спасают? https://yandex.ru/support/webmaster/controlling-robot/

Увы, но и яндекс и гугл таки проникают за "флажки" указанные в robots.txt, хоть и заметно меньше. Полагаю помогают им в этом пользователи, установившие себе всякие яндекс.браузеры, гугл-хромы и прочие панели и "ускорители" - именно с их помощью поисковики проникают в запароленные разделы...

Да, по симптомам вчера были непонятки.

Симптомы были в виде периодических конкретных тормозов и я сразу тут написал, что проблема в сервере, а не в каналах.

[Nick]

Поменял в яндекс вебмастере максимальное число запросов в секунду.
Теперь я не "доверяю яндексу"

Вот статистика по обходу, за денб в среднем 20тыс запросов...
Причем забавно, что он каждый жень находит по 5000 новых страниц. Такое ощущение, что они решили добавить какие-то отдельные файлы в индекс, а может начали индексировать по Метрике, хотя этот вариант вроде как отключен...

Мда, файлов он наиндексировал 6000, в папке с аттачами сейчас около 350 000... сколько он будет их еще качать

В общем если будет еще тормозить - пишите

(Афтаеву, чтобы он писал мне)

.
Проверить на тормоз можно по этой сслыке http://www.cnc-club.ru/test.php . Если эта страница так же не открывается - то наверняка система забита копиями апача для обслуживания входящих запросов - и ваш запрос поставлен в очередь.
Если открывается и быстро обновляется - то возможно проблема в другом.


ЗЫ занимательная статистика - объем аттачей около 161Гб ... но есть и хорошая новость это всего 6% от жесткого диска на сервере (ну там правда бэкапы и все такое в сумме места занято конечно больше но всеравно есть куда рости).

Полный дамп базы данных весит 2 000 981 639 , но это в формате sql.
Дамп только постов (причем по моему только на форумах без ЛС) 534 901 575 - он снимается раз в 4 часа. Полный дамп - раз в день в 04:00.
Дамп постов занимает в среднем 6 секунд - кстати в это время форум может отфудболить запрос т.е. 00:00:00 - 00:00:06, а также в 04, 08, 12, 16, 20. (хмм интересно по какому времени )
Дамп всей базы занимает в среднем 01:10.

[Nick]

Ребят, а почему мои фотки в 90% случаев по полчаса висят в верху в виде превью "изображение обрабатывается"?
Что-то не так делаю? Снимаю просто на телефон.

Тут хитрость такая - при первом запросе картинки для показа в шапке форума генерируется картинка (с уменьшением, поворотом и тенью). Чтобы не тормозить процесс при первом запросе выдается заглушка - картинка обрабатывается, а сама картинка становится в очередь на обработку. Обычно второй человек, который сделал запрос видит уже готовую картинку. Но первый - заглушку. Первым обычно бывает тот - кто запостил сообщение - т.к. сразу после постинга тебя срaзу редиректит на страницу с подтверждением, где в шапке уже показывается твоя последняя фотография.

При этом браузер кеширует это фото и впредь пытается показать тебе зaглушку. Если нажать на фото правой кнопкой - открыть в новом окне и там обновить - то покажет твое фото и вроде в шапке начнет показывать.

Но еще раз всем показывается твое фото сразу, конечно приятно смотреть на свои фото в шапке, но технология такая, что бывают нюансы... Интересно, как бы это поправить... хммм..

[Сергей Саныч]

Интересно, как бы это поправить... хммм..

Ctrl-F5 решает проблему (на уровне пользователя).

[Serg]

А этот форумный движок не умеет на Pоstgres работать? А то там на порядок больше возможностей по оптимизации и "незаметному" архивированию... Да и по скорости он нынче не уступает mysql...

[SVP]

Теперь я не "доверяю яндексу"

Известная фишка - почему-то бот иногда "срывает с нарезки". Нечасто, но бывает.
Я даже проверял - действительно от яндекса приходит действительно его бот и делает 100500 запросов.
Несмотря на все настройки.
Но, похоже, он всё-таки приходит в себя, когда ему начинают медленно отдавать контент.
Т.е. дос-ит, но нежестко
Если забивает память апачами, надо подкрутить, чтоб до конца не забивало, а отдавало 503 итп.

[ScrewDriver]

Интересно, как бы это поправить... хммм..

Ctrl-F5 решает проблему (на уровне пользователя).

Неа. Помогало открыть в хроме страницу инкогнито и оттуда форум. Но в обычной сессии только через несколько часов обновляется.
И разлогинивание с телефона при посте с аттачем... бесит.

[Карабас]

На Яндекс браузере даже при "слабеньком" интернете, грузится мгновенно.....на рабочем компе мозилла тормозит.

[MX_Master]

Но еще раз всем показывается твое фото сразу, конечно приятно смотреть на свои фото в шапке, но технология такая, что бывают нюансы... Интересно, как бы это поправить... хммм..

Можно в шапке форума отдавать мини картинки не статично, к примеру

• /image/forum-header/forum/files/thumb_XXXXX_xxxxxxxxxxxxxxxxxxxxx

а динамично, типа

• /image/forum-header/forum/files/thumb_XXXXX_xxxxxxxxxxxxxxxxxxxxx?любое_случайное_число

[SVP]

На счет тормозов сайта, похоже яндекс проходит по форуму и собирает все файлы, на вложениях это может занять некоторое время, а яндекс все это делает в кучу потоков и забивает всю память. Иногда висит по 500 и более открытых потоков.

Наверняка можно настроить nginx так, чтобы графику отдавал он...
Это немножко ненормально, что апач по таким вопросам дергается, а уж если дергается не нормально, что висит пока не отдаст.
И совсем ненормально, что открывается столько потоков, сколько нет сил обслужить.

ЗЫ. И leaky basket ему можно настроить, чтобы отдавал сколько-то, а потом начинал 503 "гнать".