Как быстро плавать кролем: советы о том, как увеличить скорость, улучшить технику и научиться правильно держать баланс

советы о том, как увеличить скорость, улучшить технику и научиться правильно держать баланс

Мы сделали подборку советов от различных специалистов о том, за счет чего можно улучшить технику и скорость в плавании кролем.

Что из этого получилось – читайте ниже.

Как увеличить скорость плавания

Для того, чтобы повысить свою скорость в плавании кролем на любую дистанцию (от 100 метров и до нескольких километров), требуется пройти три этапа:

1. Во-первых, нужно поставить себе хорошую технику плавания. Это самый первый и важный этап, без которого все дальнейшие усилия будут лишены смысла. О правильной технике кроля мы подробно рассказываем в этой статье.
2. Во-вторых, нужно иметь хорошую физическую форму, которая в данном случае включает в себя аэробную выносливость и сильные мышцы, отвечающие за плавание кролем.

   Аэробная выносливость достигается за счет регулярных тренировок в бассейне – рекомендуется делать три (ну или как минимум два) занятия в неделю, в которых не менее 20 минут работать на пульсе в диапазоне 50-80 процентов от величины “МЧСС минус Ваш возраст”.

   При этом помните, что сердце нужно беречь и повышенные нагрузки могут повлечь в нем необратимые изменения – если этот вопрос интересует более подробно, просмотрите данное видео:

   Мышечная выносливость также нарабатывается в ходе тренировок как в воде, так и в ходе занятий на суше.

3. В-третьих, после того, как вы выполнили первые два пункта (правильная техника и хорошая физическая форма), дальнейшее развитие вас как пловца рано или поздно остановится и тогда возникнет закономерный вопрос – что делать дальше, чтобы плавать быстрее?
   Ответ на него – работа над ошибками и совершенствование техники.

Выявление ошибок: почему нет скорости?

Ваш следующий шаг – выявить ошибки и недочеты в свой технике.

Здесь в первую очередь следует отметить, что выявить ошибки самому у себя крайне сложно – вы ведь не видите себя со стороны, а когда плывешь – то кажется, что все делаешь более менее верно.

У этой проблемы есть следующие варианты решения:

Далее рассмотрим основные моменты, с которыми чаще всего связаны недостатки в технике.

Как плыть быстрее за счет положения тела

На этапе начального обучения все внимание уделяется работе рук, ног и дыханию – это и понятно, ведь перечисленное является базой для кроля.

Тем не менее, когда база освоена, стоит уделить большое внимание тому, как располагается наше тело в воде.

С точки зрения плавания, основные правила гидродинамики состоят в следующем:

• чем более обтекаемым является тело, тем меньше оно тормозится об воду;
• чем более длинным является тело, тем лучше оно скользит по воде.

Если ваше тело недостаточно вытянуто, недостаточно горизонтально расположено, то уже за счет этого ваша скорость значительно снижается.

Потому задачи тренировок – добиться максимального вытягивания тела и его правильного горизонтального положения в воде.

Как научиться правильно держать баланс тела

Нужно добиваться как можно более горизонтального положения не за счет того, что сзади подталкивают ноги, а за счет того, что само тело так располагается в воде.

Для этого нужно помнить, что наша грудь – это воздушный мешок, определяющий баланс тела, а низ – всегда будет тонуть, ведь в ногах не содержится воздуха.

Представьте, что ваше тело является несгибаемым и при этом ваша грудь лежит на круглом бревне. Вам нужно в таком случае

Положение головы

Голова должна находиться параллельно дну бассейна, позвоночник должен быть прямой линией от спинного отдела до шейного.

Для наработки этого положения можно все время смотреть под собой – вы не сможете этого делать, если будете поднимать голову.

Когда мы опираемся на грудь, то мы в том числе опираемся и на лицо, при этом лицо должно быть расслабленным.

Очень хорошо об этом рассказано в этом коротком видео:

Вытягивание и скольжение

Попробуйте отталкиваться от бортика бассейна ногами с вытянутыми стрелочкой руками и стараться скользить максимально долго, чувствовать баланс тела.

Это упражнение можно повторить 5-10 раз в начале тренировки и в ее конце.

Совершенствование техники ног

Ритмичная работа ног и их баланс

Кроль – это тот стиль плавания, в котором ноги должны работать безостановочно и ритмично – представьте, что это ваш постоянно включенный мотор.

Хотя мы должны стараться держать максимально возможное горизонтальное положение и без ног, тем не менее, реальность состоит в том, что в конечном итоге все-таки именно ноги держат нас горизонтально, поддерживают баланс тела.

Потому обязательно рекомендуется нарабатывать их ритмичную работу вплоть до подсознательного уровня – делается это плаванием с доской, когда мы двигаемся только за счет ног, вдох в идеале нужно делать на каждый шестой удар.

Плавать с доской рекомендуется хотя бы по 200 метров за один сет.

Полезно совмещать плавание в ластах и без ласт.

Посмотрите вторую минуту этого видео, там хорошо комментируется техника работы ног:

Во время вдоха обращайте внимание: начинаете ли вы давить руками на плавательную доску, такого быть не должно!

Также обращайте внимание на то, чтобы работа всегда шла от бедра, а стопы были вытянуты.

Координация ног и рук

В идеале, когда рука вкладывается в воду, противоположная ей нога делает удар. Благодаря этому нога помогает вращению корпуса на бок, поддерживает баланс тела, способствует лучшему скольжению.

Для двухударного кроля это вообще является основой техники (читайте об этом здесь), но и для обычного шестиударного кроля это также рекомендуется.

Как улучшить технику работы рук

Угол сгиба на примере видео

Сначала нужно зацепить воду и сделать гребок кистью, перпендикулярной воде.

Это отлично показано здесь в начале видео, там же показываются и другие ошибки:

Как видите, если рука недостаточно согнута – получается маленький угол и плохой гребок.

Вкладывание в воду: не в центр

Рука должна вкладываться в воду параллельно линии движения – тогда и гребок будет эффективнее, и скольжение – лучше.

Представьте, что наше тело по оси разделено непреодолимой стеной. Тогда правая рука может работать только в правой зоне, а левая, соответственно – только в левой, они работают параллельно друг другу и не могут заходить в центр.

Вращение корпуса в помощь рукам

Следите за тем, чтобы ваш корпус делал вращения – перекатывайтесь с одного бока на другой

Это позволяет делать более длинный и более сильный гребок.

Повороты корпуса в замедленном видео показаны здесь:

Качество важнее количества

Вы будете плыть быстрее, если ваши гребки будут более длинными – после вкладывания в воду рука и вслед за ней все тело должны скользить.

Потому нет смысла молотить руками как можно быстрее (если только вы не плывете 50 метров на время) – лучше делать по-прежнему быстрые движения, но при этом обязательно думать о скольжении и зацепе воды.

Классическое упражнение, которое рекомендуют для наработки длинного гребка – подсчет гребков, затрачиваемых на один бассейн.

Выполняется оно следующим образом:

• проплывите бассейн и посчитайте, сколько гребков на него ушло;
• следующий бассейн попробуйте проплыть, потратив меньшее количество гребков, и так далее.

16 советов о том, как плавать ещё быстрее, тренироваться ещё лучше и ещё быстрее достичь намеченных целей!

Один из самых часто задаваемых мне читателями вопросов – это всевозможные вариации и формы «Как мне начать плавать быстрее?»

Пловцы такой народ, который всегда находится в поиске способа заполучить хоть самое незначительное преимущество над своими соперниками.

Вспомните себя. Мы иступлено и яростно гребём и гребём, уставившись на чёрную линию разметки на дне бассейна, творим магические ритуалы, кушаем тонны творожка и гречи, гнём штанги и приседаем до упада, бреемся с головы до ног и делаем еще кучу всякой всячины в надежде стать лучше и получить хоть капельку преимущества над ненавистными оппонентами. Ниже приведен список из 16 различных нехитрых советов, техник и подсказок, которые позволят вам плавать лучше и быстрее в этом сезоне. В общем, я не вижу причин не воспользоваться парой из них и стать королём бассейна.

Итак, поехали:

1. Заведи себе соперника.

Задружись с кем-нибудь из своей команды и попытайся сблизиться с этим замечательным человеком. Пообещайте быть друг для друга настоящими Бони и Клайдом в течение всего сезона. Дело, конечно, твоё, но я бы не советовал выбирать в друзья кого-то, с кем тебе придётся вставать на старт в одном заплыве (дружба дружбой, а пирожочки врозь! Так партнерство может перерасти и в гражданскую войну!). Поддерживайте друг друга во время длинных изнурительных тренировок – человек, который даст тебе пинка, когда у тебя возникает желание сачкануть или побыстрее свинтить в душ – это настоящий ангел хранитель (тем не менее, не стоит расслабляться. О дисциплине забывать никогда нельзя.) К тому же, помогая кому-либо в достижении его цели, ты постоянно напоминаешь сам себе о том, что у тебя есть цель, к которой ты стремишься, плюс у тебя всегда под боком товарищ, который (помимо тренера и родителей) всегда даст втык и вернёт тебя обратно на истинный путь.

2. Не упусти момент.

У тебя есть цель. Большая, амбициозная и невероятно притягательная цель. А что ты делаешь для того, чтобы её достичь? Не нужно выжидать удобного случая, принимайся за дело сегодня, прямо сейчас начинай работать для того, чтобы стать как широкоплечие дядьки Майк, Райан и Натан (или даже лучше). Вспомни, сколько раз ты откладывал всё на потом, отказываясь полностью посвятить себя достижению цели, лишь потому, что тебе казалось, что сейчас не самый подходящий момент или потому, что условия были не идеальные, или потому, что причитать и охать – это самый легкий путь? Мир никому и ничего не должен!

3. Будь машиной, заправляй своё движок правильным топливом.

Возьми за привычку, брать с собой на тренировку перекус и шейкер с изотоником или протеином – это позволит начать процесс восстановления твоих мышц уже через несколько минут после того, как ты выйдешь из воды. Не только мышцы скажут тебе спасибо за это, ты в целом начнёшь себя чувствовать лучше. Твоя цель — поглотить хоть некоторое количество белка и углеводов в течение 30 минут после завершения тренировки.

4. Разминайся перед тренировкой.

Человек – существо ленивое. В этом сезоне, будь честен с собой и не пропускай предтренировочную разминку – это позволит минимизировать количество тренировок, пропущенных из-за банальных, предсказуемых травм (таких, как например, плечо пловца). Сформируй у себя соответствующую привычку, такую, чтобы через несколько недель даже не задумываться над Шекспировским вопросом «Делать, или не делать?», а просто выполнять всё на автомате.

5. Трать по 5 минут в день, работая над гибкостью.

Порастягивай грудные, широчайшие спины, плечи, приводящие, лодыжки и бёдра – они этого заслуживают.

Поверь мне, тратя по 5 минут каждый день на растяжку, ты добьешься значительно больших результатов, чем, специально выделяя под это дело одну или две тренировки в неделю. Для максимального эффекта, я рекомендую использовать сочетание массажного ролика и статических упражнений. Можешь растягиваться вечером, перед тем как отправиться спать. Можешь делать это на бортике, сразу после тренировки. Подвижность и гибкость должны стать двумя ключевыми компонентами твоего плавания.

6. На разминке дельфин по 15 метров, не меньше.

Давайте посмотрим на Томаса Шилдса, плавательный арсенал которого располагает одним из самых убойных дельфинов на планете. Теперь подумай, почему он так круто плавает баттом? Молодец! Потому, что он каждую, без исключения, разминку делифинит не менее 15 метров. Начинай с малого, по 2 поддельфинивая после поворота, потом по 3, затем 4 и так далее. Ровняйся на Мистера Шилдса, сделай правильный, долгий дельфин частью твоей ежедневной тренировки.

7. Привыкай дышать на обе стороны.

Мышечный дисбаланс – это плохо. Это явление нарушает осевой баланс и замедляет тебя, к тому же когда во время заплыва ты не видишь своего соперника, становится как-то нервно. Во время выступлений вовсе не обязательно дышать на обе стороны, но на тренировках это обязательно, хотя бы потому, что это развивает широчайшие, плечи и мышцы спины (а также влияет на ударную работу ногами).

8. Ты = то, что ты ешь.

Возвращая свою память в дни минувшие, я с улыбкой вспоминаю панические сборы судков и бутылочек с провиантом в 5:15 утра. Я ничем не лучше и не хуже остальных, бывало и такое, что не сумев разлучиться с подушкой до самого последнего момента я уходил из дома на целый день, не имея в рюкзаке и крошки еды и в этом случае для того, чтобы хоть как-то продержаться до вечера, приходилось рассчитывать на кафе и магазины (чипсы, шоколадки и пирожки). В другие дни, взявшись за ум, мне удавалось спокойно расфасовать по контейнерам достаточное количество здоровой и полезной еды, которой я успевал похомячить после утренней тренировки, перекусить в обед и заморить червячка после вечерней работы. Планирование и приготовление обеда с вечера, даёт тебе неоспоримое преимущество; ты не будешь беспомощен перед лицом сводящего с ума голода, ослепляющего тебя и заставляющего есть всё подряд (что вполне естественное поведение для пловца). Только терпение, холодный расчет, правильный выбор перекуса и здоровая еда приведут тебя к успеху.

9. Всегда ищи возможность получить сторонние отзывы о проблемных элементах своей техники плавания.

У каждого из нас есть за душой те или иные грешки касательно техники. Ты изо всех сил стараешься делать всё правильно, но без стороннего мнения очень трудно понять, действительно ли ты исправляешь ошибку или же, наоборот, делаешь себе только хуже. Вместо того, чтобы ждать, когда злой тренер подойдет и натыкает тебя носом в замеченные им проблемы, опереди события и подойди с вопросом первым. Цени проделанную тобой работу и перед тем, как вкладывать часы и сотни гребков в тот или иной технический элемент, убедись что выполняешь его правильно.

10. Спи на час больше.

Факт того, что правильное восстановление тесно связанно с твоими результатами в бассейне, не вызывает ни малейших сомнений. Так почему же не воспользоваться самым простым в мире способом улучшить твои результаты? Пока ты спишь, ты не только видишь сны о макаронных реках и тефтелевых берегах, твоё тело в спешном порядке ремонтирует само себя, готовя мышцы к новым нагрузкам. Пока ты спишь, твой организм вырабатывает гормоны роста (в особенности в фазе глубокого сна), но если твой отход в царства Морфея задерживается по той или иной причине, ты не только укорачиваешь период поступления в кровь столь нужного твоим мускулам гормона, но и крадёшь сам у себя драгоценные минуты восстановления. Поставь себе на смартфон напоминалку, строго следуй режиму и заведи ритуал отхода ко сну, чтобы твоя машина не пропустила пит стоп.

11. С уважением относись к восстановительным мероприятиям.

Для любого спортсмена настоящим хождением по мукам является организация правильной разгрузки и восстановления. Все понимают, что для того, чтобы идти вперёд и добиваться результата, нужно выжимать из себя все соки и работать на все 100% каждый божий день. А идея о том, чтобы взять таймаут, отдохнуть и восстановиться кажется просто дикой и чужой, вызывает угрызения совести (Грызя ногти, ты думаешь: «Блин, я сейчас бы мог тренить и тренить, а я валяюсь как овощ»).

Но запомни, лишённое пауз на восстановление, твоё тело не сможет располагать достаточным количеством времени, необходимого для роста и развития, впустую сжигая всю пользу, полученную в ходе предыдущих тренировок. Не отдыхая, ты постоянно будешь себя чувствовать уставшим, расстроенным и копошащимся на одном и том же месте. Грамотно распланируй восстановительные тренировки в бассейне (и вне его), продумай другие способы, которые помогут тебе восстановиться (массаж, сауна и так далее), но всегда помни – они нужны для того, чтобы ты вернулся в битву ещё более сильным и мощным!

12. Никакой жалости к своим недостаткам.

У каждого из нас они есть. Слабые места в технике, на которые мы под любым предлогом предпочитаем закрывать глаза. Для некоторых пловцов это ударная работа ногами, для других упражнения на руки, для третьих брасс. Иные же ненавидят плавать баттом (и таких нехочух, поверьте мне целая куча). Дай бой своим недостаткам. Удели работе над своими слабыми местами всего 10 минут каждую тренировку и искорени эти сорняки подчистую.

Продолжай работать над недочетами шаг за шагом и постепенно преврати их в свои преимущества.

У данного подхода есть парочка классных побочных эффектов:

1. Ты будешь видеть собственный прогресс. Ты, несомненно, игнорировал эти элементы своей тренировки на протяжении долгого времени, а засохшие цветы имеют свойство быстро распускаться, как только ты начинаешь их регулярно поливать.

2. Победа над драконом, которого ты боялся всё это время, даст тебе невероятное чувство уверенности в самом себе и наполнит тебя радостью.

13. Всячески способствуй созданию здоровой атмосферы на тренировке.

Плавая часами и тестируя свой организм на предельную прочность по 2 раза на день, задача не из легких – это психологически тяжело. Как только увидишь, что твой товарищ по дорожке начинает филонить, ныть и причитать – действуй! Напомни, что все сюда пришли тренироваться и что пловцам жаловаться не престало, а ныть по поводу того, какой у нас тяжелый режим, что чувства воды совсем нет и того хуже. Стань капитаном Америка для своих товарищей по команде, никогда не упускай возможности подбодрить ребят во время сложного задания. Это не только поможет создать положительную атмосферу, но и безусловно заставит тебя самого грести во все лопатки.

14. Глубже вдох — быстрее восстановление.

Глубокое дыхание успокаивающе воздействует на организм. Говоря буквально. Оно снижает кровяное давление, активность центральной нервной системы и что самое главное — помогает побороть стресс. Чем быстрее твой организм выйдет из состояния эмоционального возбуждения, тем скорее все его системы начнут восстанавливаться. Попробуй применить методику глубокого брюшного дыхания в конце тренировки и заставь свой организм хорошенько успокоиться, подготовив его к восстановлению.

15. Выбери 3 привычки, которые больше всего оказывают влияние на твоё плавание.

Само плавание – это набор привычек. Большую их часть ты даже не распознаёшь и никогда не думаешь о них (именно поэтому привычки и называются привычками). Если бы тебе пришлось пораскинуть мозгами и выбрать 3 привычки, которые наиболее положительно влияют на твое плаваниё, что бы ты выбрал? Выбери их и сделай первые шаги к их развитию. Затем повтори всё заново на следующий день. И эти маленькие преимущества, в конце концов, превратятся в твои по-настоящему сильные стороны.

16. Визуализируй.

То, что ты представляешь, в конечном итоге становится реальным. Это не шутка. Такая штука как визуализация своих желаний работает не только во время подготовки к соревнованиям, она также поможет тебе плыть быстрее на тренировках.

Закрой глаза и представляй свой идеальный заплыв: как ты делаешь старт, поворот, финиш, каждый твой гребок — мощный. Представляй, как ты финишируешь с своим лучшим результатом и на табло высвечивается твоё время (конкретные секунды, которые тебе нужны, например: 00,25,29 секунд). Представляй то, как ты стоишь на пьедестале и тебе вручают золотую медаль и ты радуешься с своими близкими!

Делай визуализацию утром сразу после пробуждения, делай визуализацию перед тренировкой, делай визуализацию перед сном, лёжа в кровати и закрыв глаза.

Статья подготовлена и переведена Swimlike.com с использованием материалов с ресурса: SwimSwam.com / Olivier Poirier-Leroy

Покупайте качественные товары для плавания в магазинах Swimlike по России и в интернет-магазине www.Swimlike.com с быстрой доставкой (1-10) дней по России и СНГ!

Записывайтесь в школу правильного плавания Swimlike для взрослых в Москве и Санкт-Петербурге на сайте: www.school.swimlike.com

5 шагов к тому, чтобы плавать быстрее

Вы много тренируетесь и уже можете плыть долго, но чувствуете, что скорости не прибавляется? А на соревнованиях вы показываете один и тот же результат? В этой статье мы расскажем, что делать, чтобы превзойти себя в плавании.

Плавая одним стилем на длинную дистанцию – скажем, 10 x 100 – в умеренном темпе, вы лишь научитесь удерживать умеренный темп. Во время соревнований ваш сердечный ритм будет нарастать быстро, и к этому нужно подготовиться. Во время заплыва на время вы обычно плывете быстро, но не слишком, в начале, затем в умеренном темпе, и как можно быстрее в конце.

Плавайте во время тренировки разными стилями и в разном темпе, чтобы приучить свои мышцы и сердечную систему к резкой смене нагрузки.

Суть в том, чтобы плыть быстрее на короткие дистанции с большим перерывом на отдых. Для многих пловцов это настоящий вызов: чтобы преодолеть дистанцию быстро, они задействуют все мышцы сразу (вне зависимости от того, помогают ли они плыть быстрее) и тут же расходуют всю энергию. Очень важно научиться не напрягаться, когда вам нужно плыть на более высокой скорости. Лучше делать это на коротких дистанциях.

Вот пара советов для отработки данного навыка.

• Плывите по 25 метров, отдыхая столько, сколько нужно, после каждого отрезка. Нам обычно сложно сосредоточиться на чем-то при высокой физической нагрузке. Когда мозг думает лишь о том, как бы получить побольше кислорода, трудно уделять внимание чему-то еще. Однако дистанция в 25 метров – вполне посильная, и в сочетании с хорошим отдыхом она позволит вам сосредоточиться на технике, а не на дыхании.
• Следите за своими руками. Если они напряжены, скорее всего, напряжено и остальное тело. Попробуйте постоянно думать о «мягких руках» — это поможет расслабить конечности и подключить к работе мышцы кора.

Как часто вы выходите из зоны комфорта? Как часто оказываетесь в ситуациях, которые вас пугают? Для тех, кто плавает самостоятельно, это часто становится проблемой: их некому подстегнуть, так как рядом нет тренера. Как это исправить?

• Делать одно и то же скучно. Ваше тело становится мастером одного и того же действия, однако в этом мало пользы. Проблема в том, что с возрастом, делая одну и ту же задачу, мы становимся менее эффективными. Давайте немного встряхнемся! Попробуйте проплыть как можно быстрее на любую дистанцию, и как только вы почувствуете, что теряете контроль над техникой, плывите медленнее. Чем больше вы повторяете данный прием, тем дальше с каждым разом сможете проплывать с хорошей техникой.
• Делайте больше, выходите из зоны комфорта. Если вы чувствуете, что могли бы проплыть еще 25 метров или больше, но вам не хочется, делайте это – плывите!
• Дистанция – не главное. Проплыть 400 метров в умеренном темпе куда проще, чем проплыть 200 метров на максимальной скорости. Хотите плавать быстрее, ваш вариант – 200 метров.

Просто двигаясь быстрее в воде, вы не обязательно станете плыть быстрее. Высокие затраты энергии не всегда ведут к цели – не путайте объем работы с достижениями. Попробуйте делать следующее.

• Считайте гребки. Ничего страшного, если вы пожертвуете эффективностью ради более высокой скорости, но где тут золотая середина? Это вопрос индивидуальный, и ответ зависит от выбранного стиля и уровня вашей подготовки. Считайте каждый раз и выявите свою формулу наиболее быстрого и эффективного плавания. Чем меньше гребков и быстрее – тем лучше.
• Используйте лопатки для рук и ласты. Когда вы плаваете быстро, вашему телу нужно произвести множество микрорегулировок, чтобы двигаться правильно. Используйте оборудование, чтобы помочь ему. Идея в том, чтобы запомнить правильные движения, которые вы совершаете с ластами или лопатками, и затем воспроизвести их без данных снарядов. Тут вам нужно лишь положиться на свою мышечную память.
• Отталкивайтесь от воды. Совершай гребок руками, многие сдаются на полпути. Достигнув уровня пупка, оттолкнитесь от воды ладонью с наибольшей силой.

Чтобы проверить, достигли ли вы успеха, проплывите 6 x 100 в обычном темпе. Затем проплывите еще 6 x 100 в более быстром темпе. Проверяйте свою скорость и пульс каждые 100 метров. Если при увеличении скорости ваш пульс остается прежним, значит, вы достигли успеха! Если же пульс возрастает вместе со скоростью, не переживайте, это тоже нормально. Если же скорость уменьшается, а пульс, наоборот, возрастает, значит, что-то идет не так и вам надо скорректировать тренировку.

Как научиться плавать кролем — Лайфхакер

Если вы уже освоили брасс и уверенно чувствуете себя в воде, самое время перейти к более быстрому стилю — кролю.

Основные моменты

Кроль — вид плавания на животе, при котором руки попеременно совершают гребки вдоль тела, а ноги имитируют движение ножниц.

Во время плавания кролем в наибольшей степени задействованы мышцы груди и рук. Мышцы пресса должны быть напряжены, поэтому плавание поможет тем, кто мечтает убрать лишний жир с живота.

Чтобы движения в воде были максимально эффективными, лицо должно быть почти всё время погружено в воду, поэтому вам не обойтись без очков. А можно воспользоваться маской с трубкой, чтобы не поднимать голову вовсе и сосредоточиться на правильном положении тела.

Главное правило: движения в воде должны быть плавными. Усилие не должно быть чрезмерным, а дыхание должно оставаться глубоким и ровным.

С помощью следующих видео вы можете разобраться с основными нюансами движений во время плавания кролем.

Видео № 1: положение тела

Для правильного положения тела лицо почти всё время находится в воде. Тело должно располагаться горизонтально — это обеспечивает максимальную скорость. Не пытайтесь смотреть вперёд, взгляд должен быть направлен вниз, на дно, а во время поворота головы — к краю бассейна, не в потолок.

Видео № 2: ноги

На каждый гребок руками выполняется 2–3 удара ногами. Чем сильнее ваши ноги, тем быстрее вы плывёте. Но в то же время ноги не скованы напряжением — они должны легко двигаться во всех суставах. Наибольшую силу следует вкладывать в движение вниз, в то время как при подъёме вверх нога должна быть расслаблена.

Ноги двигаются от бедра, не от колена. Но с увеличением скорости ноги сгибаются в коленях чуть сильнее. Расстояние между носками по вертикальной оси не превышает 40 см, а по горизонтальной большие пальцы должны почти касаться друг друга.

Видео № 3: руки

Чем больше ваши руки захватят воды и чем сильнее затем от неё оттолкнутся, тем выше будет скорость. Для этого ладонь должна быть повёрнута так, чтобы в первую очередь в воду погружался большой палец. Для максимально эффективного гребка необходимо также следить, чтобы локоть был высоко поднят. Предплечье в воде движется вдоль тела, а другая рука в это время находится у поверхности в вытянутом ненапряжённом положении. Выход руки из воды осуществляется также в положении высокого локтя.

Не напрягайте плечи в момент, когда рука находится в наивысшем положении. Не лупите по воде изо всех сил, движение должно быть плавным, а погружение ладони — без хлопка и лишних брызг.

В освоении правильной техники гребка вам могут помочь специальные лопатки для плавания. Но не плавайте с лопатками более четверти времени всей тренировки, чтобы избежать появления ошибок в технике гребка.

Видео № 4: дыхание

Правильное дыхание позволяет питать мышцы кислородом, который необходим для сильных и эффективных движений.

Чтобы сделать вдох во время одного из гребков, нужно повернуть лицо в сторону той руки, которая движется над водой. При этом поворачивается всё тело вслед за рукой. Взгляд следует направлять не слишком высоко, чтобы избежать лишнего напряжения шеи.

Вдох нужно делать ртом, а выдох — плавно в воду одновременно через рот и нос. На один вдох-выдох приходится от одного до трёх циклов движений руками.

Надеемся, теперь вы знаете, как научиться плавать кролем. 🙂

Как быстро научиться плавать кролем. 5 золотых упражнений

Как быстро научиться плавать кролем. 5 золотых упражнений

В статье вы узнаете как быстро научится плавать кролем за 5 шагов. Это лёгкие последовательные упражнения, которые дают быстрый результат. С помощью этих упражнений можно научится элементарной технике плавания и правильному положению на воде.

• Звёздочка.
  Необходимо лечь на воду грудью вниз, сделать вдох и опустить голову под воду. Руки и ноги расправить в стороны. Стараться лежать и чувствовать, в каком месте вы тонете. Даже если вы потонули, сделайте упражнение еще раз и ловите этот момент. Раза с 3-5 у вас получится держать баланс. Ищите золотую середину между теми частями телами, которые у вас тонут. За счет этой золотой середины вы научитесь спокойно и ровно лежать на воде. Это упражнение необходимо делать на небольшой глубине, чтобы элементарно вы не боялись глубины.
• Кроль ногами с доской.
  В этом упражнение вам понадобится обычная дощечка для плавания. Дощечка служит в том числе и опорой для вас. Необходимо вытянуться и лечь на воду. Голову опустить вниз и взяться за дощечку. Ноги должны работать спокойно, не торопясь. Вы должны почувствовать, что с помощью ног вы начинаете двигаться. Во время упражнения ноги должны быть расслаблены, работают от таза. Старайтесь делать маленький фонтанчик. Даже если вы немного двигаетесь таким образом с помощью ног, то это уже очень хорошо. Если вы плывете уже более быстро – это уже супер результат.
• Кроль с доской.
  После того, как в предыдущем упражнении с помощью доски отработали правильную технику ногами, мы добавляем руки. В этом упражнении необходимо лечь на воду, вытянуться и поплыли, делая 5 ударов ногами, далее делаем вдох и делаем большой круг одной рукой, держа при этом вторую руку на дощечке. В этом упражнении главное никуда не спешить, спокойно, через паузу повторят эти легкие движения.
  
  
• Кроль с доской + вдох сбоку.
  После того, как вы выполнили все предыдущие упражнения можно переходить к более сложному упражнению. В этом упражнении дыхание происходит не как обычно, а в сторону. Для выполнения этого упражнения необходимо лечь на воду, работать ногами кроль – 5 ударов. Далее делать гребок одной рукой остановились у бедра, поворачиваемся на бок, делаем вдох, опускаем голову и возвращаем руку на исходное положение. Цикл кончился. Повторяем аналогичные движения другой рукой. Самое главное – следите за тем, чтобы вы не напрягались во время плавания и соблюдайте четкий алгоритм действий. Как только вы почувствуете, что у вас получается упражнение, постарайтесь потихоньку отпускать дощечку и сильно на нее не давить.
• Кроль полный без доски.
  Это упражнение похоже на предыдущее. Технология такая же – лечь на воду, максимально вытянуться, не боятся и не торопиться. Уже без дощечки. Необходимо сделать гребок одной рукой, повернулись, вдох, опустили голову, закрыли руку. И так нужно повторить целый бассейн. Самое главное не напрягаться и делать все с легкостью.

Выполняя эти упражнения, вы обязательно научитесь плавать и будете плавать как ракета!

Ребята, выполняя упражнения – не торопитесь! Если вы будете делать все спокойно, размеренно, медленно, то вы гораздо быстрее научитесь плавать!

Вы можете увидеть наглядно правильную технику плавания кролем и не делать основных ошибок, а также много других полезных видео на нашем канале YouTube.

А также записывайтесь в нашу школу плавания SwimRocket.

Так же у нас есть онлайн курс по плаванию “Азбука открытой воды”. Внимательно посмотрев курс, вы сможете легко и успешно финишировать на заплыве или триатлоне.

Лучшие упражнения на скорость

Геннадий Турецкий, тренер легендарного российского пловца Александра Попова, однажды сказал: «Скорость – наиболее ценная вещь в плавании, это именно то, чего мы все стараемся достичь». Не существует золотых медалей и мировых рекордов ни для тех, кто может плыть медленнее всех, ни для тех, кто обладает лучшей техникой, ни для тех, кто носит самый дорогой гидрокостюм. Победа, золотая медаль, мировой рекорд – это все вопрос вашей скорости.

Семь золотых правил высокой скорости

1) Быстро тренируйся, чтобы плыть быстро – включайте тренировки на развитие скорости в вашу программу каждую неделю.

2) Чем быстрей вы хотите плыть, тем более расслабленным нужно оставаться. Единственная разница между плаванием быстро и медленно – скорость. А скорость не имеет ничего общего со сжатыми зубами и напряженными мышцами.

3) Быстро – это действительно быстро. 90% от максимума – это не быстро. 95% — это тоже не быстро. Только 100% — это по-настоящему быстро. Вы не становитесь быстрей, если проводите тренировки на скорость с близкими к максимуму усилиями. Вы становитесь быстрее, только если плывете на лучшей скорости, которую когда-либо достигали.

4) Думайте быстро, чтоб плыть быстро. Приготовьтесь ментально к высокой скорости, настройтесь на нее перед тренировкой. Прокручивайте у себя в голове слова, которые ассоциируются с огромной скоростью.

5) Скорость от бортика до бортика. Самые быстрые пловцы мира обычно достигают своей максимальной скорости раньше, чем противники. Иными словами, ускорение очень важно для них. Также они завершают гонку также на высокой скорости, что не менее важно. Если вы тренируете скорость, работайте над ней от борта до борта: максимальный старт – максимальный финиш.

6) Количество не всегда переходит в качество. Цель скоростных тренировок – развивать скорость. Увеличение количества преодоленных отрезков и общего объема скоростной работы в ущерб качеству этой самой работы разовьет лишь способность плыть медленней. Каждый отрезок должен преодолеваться на максимальной скорости.

7) Сохраняйте правильную технику на скорости. Высокая скорость не является оправданием, если вы забываете технике.

Далее мы приведем пять самых эффективных сетов на развитие скорости.

Killer Kick Set

Самые быстрые пловцы – очень сильные кикеры. Сверхзадача этого сета помочь пловцу максимально сократить разницу между временем, за которое он преодолевает 50 метров на ногах и 50 метров своим стилем.

Часть 1 – поиск лимита скорости 

— Пловец должен проплыть 50 метров тем стилем, которым лучше плавает. К получившемуся времени прибавьте 15 секунд.
— Теперь пловец на ногах должен преодолеть 50 метров быстрее, чем лучшее время +15 секунд.
— Отнимите одну секунду (должно получиться лучшее время+14 секунд)
— Цель – проплыть быстрее чем лучшее время +14 секунд
— Отнимите еще одну секунду (должно получиться лучшее время +13 секунд)
— Цель уже выплыть из нового времени
— Отнимайте таким образом по секунде до тех пор, пока пловец не коснется бортика точно в назначенное время. Это и будет его лимит скорости плавания на ногах.

Часть 2 – тренировка на лимите скорости

8 отрезков по 50 на ногах, соблюдая свой индивидуальный лимит скорости. На каждый отрезок дается 2 минуты, включая отдых и время плавания. Чтобы разнообразить упражнение, добавьте доску для плавания.

Over/Under Set

Суть сета заключается в следующем: вы должны стремиться преодолеть ваше старое лучшее время на дистанции с помощью более коротких дистанций. Допустим, чтобы улучшить ваш старый результат, вам нужно проплыть 100 метров за 60 секунд и вы стремитесь к этому результату. Тогда Over/Under Set будет выглядеть таким образом:

— разминка
— 2 отрезка по 25 метров, 15 секунд на отрезок
— 2 отрезка по 30 метров, 18 секунд на отрезок
— 100 метров проплывите в спокойном темпе, немного растяжки
— 2 по 40, 24 секунды на отрезок
— 2 по 50, 30 секунд на отрезок
— 200 метров проплывите в спокойном темпе, растяжка
— 2 по 55, 33 секунды на отрезок
— 2 по 60, 36 секунд на отрезок
— 300 метров спокойного плавания и растяжка
— 1 отрезок 70 метров за 42 секунды
— 1 отрезок 80 метров за 48 секунд

Таким образом, вы постепенно подбираетесь к тому, чтобы проплыть 100 метров за минуту. Ключевой момент заключается в том, что пловец должен получать столько отдыха между отрезками, сколько необходимо, уложиться в заявленное время.

8-10-12-14-16

Вы можете использовать также другие числа, в зависимости от уровня подготовки. Главное – принцип. Перед началом этой сессии нужно хорошо размяться и потянуть мышцы. А принцип упражнения в следующем:

— вы делаете 8 гребков на максимально для вас скорости, в полную мощь, затем плывете до конца бассейна в спокойном темпе
— снова гребки на максимальной скорости, уже 10 штук, а потом снова расслабляетесь и доплываете бассейн
— 12 гребков на максимуме – спокойной доплываем
— 14 гребков на максимуме – до конца бассейна отдыхаем
— 16 гребков в полную силу, доплываем бассейн, потом еще 100-200 метров спокойного плавания
— повторяем сессию 2-4 раза

Возможно множество вариаций этого упражнения. К примеру, можно добавить старт с тумбы, выполнять упражнение с лопатками (тут следует быть очень осторожным, использовать лопатки небольшого размера), используйте разные точки в бассейне для старта. Это упражнение позволяет вам оттачивать мастерство старта и взрывную силу рывка.

Dive Cones 

Это соревновательное упражнение, которое способствует эмоциональной разгрузке после долгих тяжелых тренировок.

Разбейте пловцов по парам, так, чтобы в каждой двойке были спортсмены с равными возможностями. Первый пловец работает 10 секунд на максимуме, стремясь преодолеть максимальное расстояние за это время, второй идет за ним по бортику и ставит отметку на той точке, где его партнер закончил движение. Затем, он уже сам стремится превзойти достижение первого спортсмена.

Предлагаем следующие сеты:

— 5 отрезков по 10 секунд, каждый следующий отрезок нужно превзойти свой результат или результат партнера
— 4 по 15 – также пытаемся улучшить результат
— 3 по 20 – опять же стремимся к лучшему
— 2 по 25 – все так же плывем быстрее
— 1 по 30

Почему это работает?

— Упражнение пробуждает соревновательный дух в спортсменах, что заставляет их выкладываться действительно на 100%
— Упражнение дает пловцу понятную, осязаемую цель – превзойти достижение напарника
— Развивает командный дух 
— Снимает напряжение от долгих спортивных сборов

Вариации этого упражнения: спортсмен должен считать количество гребков во время упражнения, также можно устроить соревнование среди всех членов команды, победителем будет тот, кто отодвинет планку на большую дистанцию.

Super Sixties

Это простые отрезки по 60 метров. Почему 60? Лучшие тренеры считают эту дистанцию идеальной для тренировки скоростных качеств. Она достаточно длинная, чтобы спортсмен мог развить способность поддерживать максимальную скорость, при этом достаточно короткая, чтобы способствовать развитию скоростных качеств, а не выносливости.

Пример:

Сет 6 по 60 на максимальной целевой скорости. Между каждым отрезком – расслабляющее плавание, чтобы восстановить дыхание и пульс. Нужно давать столько отдыха спортсмену, сколько необходимо, чтобы он мог плыть следующий отрезок не хуже предыдущего.

Доступны различные варианты отрезков по 60: вы можете стартовать с тумбы, делать поворот, потом доплывать оставшиеся 10 метров, либо стартовать на отметке в 10 метров, потом после поворота доплывать 20 метров. Вы можете начинать с любой отметки в бассейне, в зависимости от задач.

Если ваша задача – развить скорость, то эти пять упражнений – отличный вариант для ваших тренировок.

Возможно, вам понравятся эти статьи:

Плавание для похудения

Стили плавания

Ошибки в плавании на спине (ч.1)

Wayne Goldsmith

www.swimcoachingbrain.com

Как научиться плавать кролем — Азбука плавания

Плавание — универсальный вид спорта. Он подходит людям любого возраста, веса и уровня подготовки. Даже если в детстве вы не овладели этим искусством, никогда не поздно прийти в бассейн и освоить один из профессиональных стилей. Кроль достаточно легок в освоении и позволяет плавать быстрее, чем брасс. Далее мы расскажем, как научиться плавать кролем в бассейне и каковы особенности этого стиля.

Техника плавания кролем

Кроль известен с древности, но широкое распространение в Европе получил лишь с XIX века. За техническую простоту и высокую скорость его полюбили профессиональные спортсмены. Именно кроль обычно выбирают на соревнованиях, когда правила не требуют другого. Поэтому его второе название — «вольный стиль».

Техника его такова: пловец поочередно совершает гребки руками вдоль тела, а ногами выполняет движения вверх-вниз подобно ножницам. Лицо опущено вниз, а для дыхания голова поворачивается в сторону. Для удобства требуются очки. При таком плавании наиболее активно работают мышцы рук и груди. Пресс тоже напряжен, так что плавание кролем помогает убрать лишний жир с этой зоны.

• Правильное дыхание. Этот навык формируют еще до начала отработки движений. Чтобы плыть быстро и без лишних усилий, нужно обеспечить мышцы кислородом. Для вдоха лицо поворачивают одновременно с гребком руки в ту же сторону. Выдыхает пловец в воду сначала ртом, потом носом, а вдыхает только ртом. Голову нужно поворачивать в разные стороны по очереди.
• Движения руками. Руки должны захватить как можно больше воды и как можно сильнее от нее отталкиваться, тогда скорость возрастает. Для этого кисть поворачивают так, чтобы она опускалась в воду большим пальцем. Локоть с самого выхода на поверхность нужно высоко поднимать. Наверху руку не напрягают слишком сильно, погружать ее нужно без хлопка и с минимумом брызг.
• Движения ногами. Ноги движутся со скоростью 2-3 удара на один гребок руки. При движении вниз они напрягаются, а вверх — расслабляются. Движение происходит от бедра, ноги свободны в суставах. Важно вытягивать носок от себя. Ноги не должны погружаться слишком низко. Такое случается, если они движутся медленно или слишком велика амплитуда. Она должна составлять около 40 см.

Типичные ошибки

• Голова поднимается слишком высоко. Плавая кролем, голову опускают вниз, взгляд должен быть устремлен в пол. Наверху остается только макушка.
• Чрезмерный поворот головы при дыхании. Такие движения утомляют шею, и все тело излишне разворачивается. Глаза должны смотреть не наверх, на бортик бассейна.
• Недостаточный поворот головы. Это затрудняет полноценный вдох и организм быстро утомляется.
• Задержка выдоха. Остается мало времени, чтобы затем сделать достаточно глубокий вдох.
• Носки не вытянуты. От этого снижается скорость и излишне утомляются ноги.

Теперь вы примерно представляете, как научиться плавать кролем. Но делать это лучше в присутствии тренера, который поможет отточить технику и предостережет от ошибок. Опытного тренера с профильным образованием вы найдете в школе «Азбука плавания». Мы предлагаем групповые и индивидуальные занятия с результатом после первых тренировок. Освоив плавание кролем, вы сможете сдать нормативы и получить спортивный разряд.

Как заставить Google сканировать ваш сайт быстрее • Yoast

Йост де Валк — основатель и директор по продуктам Yoast. Он интернет-предприниматель, который незадолго до основания Yoast инвестировал и консультировал несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.

Вопрос, который часто возникает на сайтах, преследующих «горячие темы»: как заставить Google сканировать наш сайт быстрее? Причина может быть в том, что у вас большой сайт и вы хотите быстрее видеть изменения, или потому, что вы оптимизируете новостной сайт.Есть несколько вещей, которые вы можете сделать, чтобы улучшить скорость сканирования. Мы расскажем о них в этом посте.

Есть несколько возможных причин, по которым Google медленно проверяет ваш сайт. Первое может показаться очевидным: если Google не находит достаточно (качественных) ссылок, указывающих на ваш сайт, он не считает ваш сайт очень важным. Другие причины являются техническими: Google слишком много сканирования на вашем сайте, ваш сайт слишком медленный или на нем слишком много ошибок.

У вашего сайта недостаточно полномочий

Если на вашем сайте недостаточно качественных входящих ссылок, Google не будет сканировать ваш сайт очень быстро.Вы можете себе представить, что ему не обязательно проводить много времени на сайте, который он не считает важным. Так будет и с новым сайтом.

Итак, когда вам нужно больше сканировать ваш сайт, начните создавать ссылки. Мы писали на эту тему раньше, я предлагаю прочитать эти три сообщения. Они охватывают все, что вам нужно знать, чтобы начать работу, поэтому я не буду вдаваться в подробности здесь:

1. Создание ссылок с точки зрения целостного SEO
2. 5 построений ссылок, о которых вы не знали
3. 6 шагов к успешной стратегии построения ссылок

наш архив построения ссылок.

Технические причины медленного сканирования

Технические причины, по которым Google медленно сканировал ваш сайт, можно разделить на три группы: ваш сайт слишком медленный, у вас слишком много ошибок или у вас слишком много URL-адресов.

Ваш сервер медленный

Основная причина, по которой мы видим, что Google сканирует сайты медленно, заключается в том, что сам сайт действительно работает медленно. Если ваш веб-сайт медленно отвечает на запросы или загружает много громоздких ресурсов, Google может намеренно снизить частоту и глубину сканирования (или ограничить ваш бюджет сканирования), чтобы попытаться предотвратить поломку.

Если это так, у вас, вероятно, есть более серьезные проблемы со скоростью сайта, и вам следует прочитать, как измерить скорость вашего сайта и как ее ускорить!

Слишком много ошибок на вашем сайте

Если на вашем сайте для Google много ошибок, Google тоже начнет сканировать медленно. Чтобы ускорить процесс сканирования, исправьте эти ошибки. Просто 301 перенаправьте эти страницы с ошибками на правильные URL-адреса на вашем сайте. Если вы не знаете, где найти эти ошибки: войдите в Google Search Console.Если у вас есть доступ к журналам доступа к вашему сайту, вы также можете просмотреть их, желательно с помощью такого инструмента, как анализатор файлов журнала Screaming Frog’s. Чтобы предотвратить медленное сканирование вашего сайта, важно регулярно проверять ошибки своего сайта и исправлять их. У нас есть более обширная статья об исправлении ошибок 404, которая поможет в этом.

Когда ваш сайт не работает слишком часто, Google также будет очень сильно тормозить. Если это происходит из-за вашего хостинга, смените хостинг. Обязательно проверяйте работоспособность вашего сайта с помощью такого инструмента, как Pingdom.

Слишком много URL-адресов

Если на вашем сайте слишком много URL-адресов, Google может сканировать много, но этого всегда будет недостаточно. Это может произойти, например, из-за многогранной поисковой навигации или из-за другой системы на вашем сайте, которая просто генерирует слишком много URL-адресов. Чтобы выяснить, так ли это у вас, всегда разумно регулярно сканировать собственный сайт. Вы можете сделать это вручную с помощью SEO-паука Screaming Frog или с помощью такого инструмента, как Ryte.

Советы по увеличению скорости сканирования

Несколько простых советов по увеличению скорости сканирования вашего сайта:

• Используя описанные выше методы, найдите и исправьте все ошибки.
• Убедитесь, что ваш сайт работает на быстрее.
• Добавьте карту сайта в формате XML на свой сайт и отправьте ее поисковым системам.
• Если все это не поможет улучшить скорость сканирования, начните создание ссылок!

Специально для новостных сайтов, если вы хотите, чтобы индексирование производилось быстрее, вам также следует взглянуть на наш плагин News SEO. Когда вы находитесь в Новостях Google (или хотите быть в них), это может помочь убедиться, что вы соответствуете всем техническим требованиям.

Подробнее: Скорость сайта: инструменты и предложения »

Потребность в (меньшей) скорости

Нам нужно поговорить с вами о скорости.

Понятно, 2020 год, все мгновенно. Хотите посмотреть телешоу, просто включаете Netflix, и БАМ там. Вы заказываете новую стиральную машину на Amazon, а через 10 минут дрон сбрасывает ее на вашу машину. Мир становится на быстрее .

Но быстрее не всегда лучше. На самом деле, иногда быстрее может быть значительно хуже .

Отказ в обслуживании сканера (CDoS)

Настольные сканеры, как известно, плохо умеют случайно откатывать веб-сайты.Любой, кто регулярно просматривает сайты, вероятно, делал это несколько раз в своей карьере.

Я сам делал это много раз и знаю, что это неприятное чувство. В зависимости от веб-сайта это также может быть вредным с точки зрения бизнеса.

Основная причина, по которой это происходит, заключается в том, что пользователь пытается сканировать сайт слишком быстро, используя слишком много потоков.

По сути, запуск «слишком большого количества» потоков на веб-сайте является основной причиной отказа в обслуживании сканера (CDoS) — когда сервер не может справиться с нагрузкой и он падает (не буквально).

Что такое «нити»?

Возможно, вы не знаете, что такое поток и что он делает. В программном обеспечении поток — это просто компонент процесса, который получает инструкции от планировщика.

В случае поискового робота потоки используются для таких задач, как «загрузка HTML с веб-страницы».

С точки зрения того, как они влияют на нагрузку на сервер, вы можете рассматривать потоки как эквивалент пользователей на вашем веб-сайте. Допустим, вы настроили свой сканер на использование 10 потоков, это будет эквивалентно одновременному использованию 10 пользователей на вашем сайте (просмотр невероятно быстро!).

Без ограничения скорости эти 10 потоков будут перемещаться по вашему сайту с максимальной скоростью, возможно, со скоростью 50 URL-адресов в секунду.

Для многих веб-сайтов это слишком быстро и может привести к перегрузке сервера.

Почему серверы перегружаются?

Короткий ответ заключается в том, что они просто не могут обработать такое количество запросов, которые им посылаются. Это похоже на то время, когда один из ваших сотрудников подумал, что было бы «круто» опубликовать записку, которую вы разослали сотрудникам, чтобы они перестали приносить свои вибраторы на работу, и она попала на первую страницу Reddit, и сотни людей посетили вашу сайт сразу, поэтому он рухнул.

Пользователи и потоки сканера не совсем сопоставимы — поскольку серверы будут обрабатывать пользователей по-разному с точки зрения кэширования, файлов cookie и балансировки нагрузки, — но предпосылка остается той же: при массовом притоке использования пропускной способности просто не хватает, чтобы справиться с объемом .

Это очень похоже на то, что происходит с CDoS. Каждый поток опрашивает сервер несколько раз в секунду: «дайте мне эту страницу», «дайте мне эту страницу», и сервер послушно пытается ответить на каждый запрос, отправив данные обратно.Если запросы будут слишком частыми, в конечном итоге сервер станет слишком много их обрабатывать.

В программном обеспечении вашего поискового робота вы можете увидеть это как тайм-аут страниц (т. Е. Поисковый робот должен был ждать слишком долго и отказался) или ошибки сервера (5XX).

На некоторых серверах есть системы, которые пытаются смягчить подобные проблемы, например, возвращать HTTP-статус 403 (запрещено) или 429 (слишком много запросов), что является серверным эквивалентом выражения «пожалуйста, пошли к черту».’

Почему CDoS плохой?

Надеюсь, что основные недостатки очевидны — компании, которые зависят от своего веб-сайта, могут потерять ценный трафик или продажи, если вы продолжите его снижать. Точно так же это не отразится на вас как на виновнике, поэтому они могут быть не единственными, кто теряет бизнес …

Но падение веб-сайта — это только крайняя граница шкалы: если сканирование замедляет работу вашего сервера, то это замедляет его и для посетителей вашего сайта.И все мы читали исследования о влиянии скорости страницы на коэффициент конверсии.

Помимо коммерческих причин, это также не имеет смысла с точки зрения аудита, , поскольку слишком быстрое сканирование может привести к неточным данным.

Это просто следствие сказанного выше. Если сервер будет перегружен, или если сервер начнет говорить вам уходить, данные, которые вы вернете в ходе аудита, будут неточными или неполными — из-за всех тайм-аутов и ошибок сервера.

Сканирование слишком быстро является грубым, потенциально опасным и может испортить ваши данные сканирования.Здесь, в Sitebulb, мы не рекомендуем это делать.

Ответственное сканирование — с использованием ограничений скорости

Большинство поисковых роботов позволяют вам установить ограничение на количество URL-адресов, которые сканер будет сканировать в секунду, и вы также можете часто регулировать количество используемых потоков. Например, настройка скорости по умолчанию для Sitebulb — использовать 4 потока с максимальной скоростью 5 URL-адресов в секунду.

Это ограничивает вероятность случайного CDoS, эффективно ограничивая работу искателя, если сервер не может его обработать. Позволь мне объяснить…

Как TTFB влияет на скорость ползания

Время до первого байта (TTFB) — одна из тех метрик скорости сайта, о которых вы слышите постоянно. Опять же, вы можете не знать точно, что это такое и как оно влияет на скорость сканирования.

Представьте, что поисковый робот запрашивает загрузку URL:

1. Сканер запрашивает URL, отправляя HTTP-запрос.
2. Сервер получает запрос, отображает контент и генерирует ответ.
3. Сервер отправляет ответ искателю.
4. Сканер получает ответ.

TTFB — это время, прошедшее от начала №1 до начала №4 (буквально, когда получен первый байт содержимого).

Если мы посмотрим на № 2, поскольку контент должен быть отображен, это означает, что страницы с большим количеством контента имеют более длинный TTFB. Например, URL-адреса ресурсов страницы, такие как изображения, обычно имеют TTFB в 10 раз быстрее, чем страницы HTML.

Поскольку №3 касается передачи данных, TTFB также зависит от скорости соединения и доступной пропускной способности, как для отправляющего сервера, так и для пользователя, принимающего.

Короче говоря, если ваши страницы тяжелые или сервер долго отправляет данные, TTFB будет выше.

Теперь, если мы вернемся к нашей настройке скорости URL-адресов в секунду, должно быть более ясно, как TTFB вписывается в уравнение (поскольку TTFB эффективно измеряет «время загрузки»). Скажем, у нас есть настройки по умолчанию 5 URL-адресов в секунду в качестве максимальной скорости с 4 потоками, доступными для сканирования.

Если TTFB составляет примерно 500 мс на URL (= 0,5 секунды), это означает, что каждый поток теоретически может загружать 2 URL-адреса в секунду, поэтому все 4 потока могут обрабатывать 8 URL-адресов в секунду максимум.Поскольку сработает ограничение в 5 URL-адресов в секунду, на этом конкретном веб-сайте он на самом деле этого не сделает, но может.

Скажем, однако, что TTFB на самом деле был больше похож на 3 секунды. Это означает, что 4 потока могли сканировать только 4/3 = 1,33 URL-адреса в секунду!

TTFB в 3 секунды — это медленный . Согласно нашему определению выше, это означает, что либо страницы очень тяжелые, либо сервер не слишком загружен. В любом случае, добавление дополнительных потоков вряд ли будет хорошим решением.

В подобных обстоятельствах наш совет двоякий:

1. Полистайте сайт медленно. Придерживаясь чего-то вроде ограничения в 5 URL / с, вы автоматически дросселируете на основе TTFB, рассматривайте это как положительный момент.
2. Поощряйте владельца сайта повышать скорость работы сайта!

Ползать ответственно — но быстрее!

Независимо от того, сколько раз мы говорим «чем медленнее, тем лучше», мы знаем, что стандартный ответ всегда будет «да, но я хочу работать быстрее».

Не желая сравнивать сканирование веб-сайта с сексом несовершеннолетних; «если ты все равно собираешься это делать, по крайней мере, делай это ответственно!»

В Sitebulb мы даем пользователям возможность увеличить скорость до 25 URL-адресов в секунду и даже контролировать потоки без ограничения скорости.Достаточно сказать, что мы советуем при этом проявлять осторожность.

Предлагаем вам принять во внимание следующее:

1. Подумайте о , когда вы собираетесь сканировать сайт. Сканирование сайта электронной коммерции в обеденное время, вероятно, не лучшая идея. Взгляните на Google Analytics, чтобы узнать, когда сайт работает наиболее тихо.
2. Сервер также должен иметь возможность обрабатывать сквозной трафик. Вы знаете спецификацию машины? Это в среде виртуального хостинга?
3. Могут ли CMS и база данных обрабатывать поток запросов?
4. Является ли HTML чистым, не раздутым и не сломанным?
5. Отметьте прохождение в различных точках.Сильно ли увеличился TTFB? В таком случае вам может потребоваться приостановить аудит и замедлить его.

Наконец — что об этом говорят в Google?

Google — компания, буквально построенная на сканировании, и они, черт возьми, заботятся о том, чтобы все было сделано быстро. Справедливо предположить, что они кое-что об этом знают.

Их собственными словами (выделено мной):

«Наша цель — сканировать как можно больше страниц вашего сайта при каждом посещении , не превышая пропускную способность вашего сервера .»

Если вы остаетесь «медленным и безопасным» или пытаетесь раздвинуть границы того, что вам может сойти с рук, мы настоятельно рекомендуем вам уделить немного времени, чтобы убедиться, что вы ползаете ответственно.

20 лучших инструментов веб-сканирования для быстрого сканирования веб-сайтов

Веб-сканирование (также известное как извлечение веб-данных, извлечение веб-данных, очистка экрана) сегодня широко применяется во многих областях. Еще до того, как инструмент веб-сканера станет достоянием общественности, это волшебное слово для нормальных людей, не обладающих навыками программирования.Его высокий порог блокирует людей за пределами больших данных. A Инструмент веб-скрапинга — это автоматизированная технология сканирования, которая наводит мосты между таинственными большими данными для всех.

Каковы преимущества использования инструмента для очистки веб-страниц?

• Это освобождает ваши руки от повторяющейся работы по копированию и вставке.
• Он помещает извлеченные данные в хорошо структурированный формат, включая, помимо прочего, Excel, HTML и CSV.
• Вы сэкономите время и деньги, наняв профессионального аналитика данных.
• Это лекарство для маркетологов, продавцов, журналистов, пользователей YouTube, исследователей и многих других, у кого отсутствуют технические навыки.

Вот сделка

Я перечислил 20 ЛУЧШИХ поисковых роботов для вас в качестве справки. Добро пожаловать, чтобы воспользоваться им в полной мере!

1. Octoparse

Octoparse — это надежный сканер веб-сайтов для извлечения практически всех видов данных, которые вам нужны на веб-сайтах.Вы можете использовать Octoparse для копирования веб-сайта с его обширными функциями и возможностями. Он имеет 2 режима работы — Task Template Mode и Advanced Mode — для непрограммистов, которые могут быстро освоиться. Удобный интерфейс «укажи и щелкни» поможет вам пройти весь процесс извлечения. В результате вы можете легко извлекать содержимое веб-сайта и сохранять его в структурированных форматах, таких как EXCEL, TXT, HTML или ваши базы данных в короткие сроки.

Кроме того, он предоставляет Scheduled Cloud Extraction , который позволяет извлекать динамические данные в режиме реального времени и вести учет обновлений веб-сайта.Вы также можете извлекать сложные веб-сайты со сложной структурой, используя встроенную конфигурацию Regex и XPath для точного определения местоположения элементов. Вам больше не нужно беспокоиться о блокировке IP. Octoparse предлагает IP-прокси-серверы, которые автоматизируют IP-адреса, оставляя их незамеченными агрессивными веб-сайтами.

Итак, Octoparse должен быть в состоянии удовлетворить большинство потребностей пользователей в сканировании, как базовых, так и продвинутых, без каких-либо навыков программирования. .

> Прочтите истории клиентов Octoparse

2. Cyotek WebCopy

WebCopy является иллюстративным, как и его название. Это бесплатный сканер веб-сайтов, который позволяет копировать частичные или полные веб-сайты локально на жесткий диск для использования в автономном режиме.

Вы можете изменить его настройку, чтобы указать боту, как вы хотите сканировать. Кроме того, вы также можете настроить псевдонимов домена , строки пользовательского агента , документы по умолчанию и многое другое .

Однако WebCopy не включает виртуальную модель DOM или любую форму синтаксического анализа JavaScript.Если веб-сайт интенсивно использует JavaScript для работы, более вероятно, что WebCopy не сможет сделать точную копию. Скорее всего, он не будет правильно обрабатывать динамические макеты веб-сайтов из-за интенсивного использования JavaScript.

3. HTTrack

В качестве бесплатного программного обеспечения для сканирования веб-сайтов HTTrack предоставляет функции, хорошо подходящие для загрузки всего веб-сайта на ваш ПК . У него есть версии для Windows, Linux, Sun Solaris и других систем Unix, которые подходят для большинства пользователей.Интересно, что HTTrack может зеркалировать один сайт или несколько сайтов вместе (с общими ссылками). Вы можете выбрать количество одновременных открываемых соединений при загрузке веб-страниц в разделе «Установить параметры». Вы можете получить фотографии, файлы, HTML-код с его зеркального веб-сайта и возобновить прерванные загрузки.

Кроме того, в HTTrack доступна поддержка прокси для максимальной скорости .

HTTrack работает как программа командной строки или через оболочку как для частного (захват), так и для профессионального (онлайн-зеркало) использования.С учетом сказанного, HTTrack следует предпочесть и чаще использовать людям с продвинутыми навыками программирования.

4 . Getleft

Getleft — это бесплатный и простой в использовании инструмент для захвата веб-сайтов. Это позволяет загрузить весь веб-сайт или любую отдельную веб-страницу. После запуска Getleft вы можете ввести URL-адрес и выбрать файлы, которые хотите загрузить, прежде чем он начнет работать. Пока идет, он меняет все ссылки для локального просмотра.Кроме того, он предлагает многоязычную поддержку. Теперь Getleft поддерживает 14 языков! Однако он предоставляет только ограниченную поддержку FTP, он будет загружать файлы, но не рекурсивно.

В целом Getleft должен удовлетворять базовые потребности пользователей в сканировании без более сложных тактических навыков.

5 . Скребок

(Источник)

Scraper — это расширение Chrome с ограниченными функциями извлечения данных, но оно полезно для онлайн-исследований.Он также позволяет экспортировать данные в Google Spreadsheets . Этот инструмент предназначен для новичков и экспертов. Вы можете легко скопировать данные в буфер обмена или сохранить их в электронных таблицах с помощью OAuth. Scraper может автоматически генерировать XPath для определения URL-адресов для сканирования. Он не предлагает комплексных услуг сканирования, но большинству людей в любом случае не нужно заниматься беспорядочными конфигурациями.

6 . Концентратор OutWit

OutWit Hub — это надстройка Firefox с десятками функций извлечения данных для упрощения поиска в Интернете.Этот веб-сканер может просматривать страницы и сохранять извлеченную информацию в надлежащем формате.

OutWit Hub предлагает единый интерфейс для очистки крошечных или огромных объемов данных в соответствии с потребностями . OutWit Hub позволяет очищать любую веб-страницу из самого браузера. Он даже может создавать автоматические агенты для извлечения данных.

Это один из простейших инструментов для очистки веб-страниц, который можно использовать бесплатно и который предлагает вам удобство извлечения веб-данных без написания единой строчки кода.

7. ParseHub

Parsehub — отличный веб-сканер, который поддерживает сбор данных с веб-сайтов, использующих технологию AJAX, JavaScript, файлы cookie и т. Д. Его технология машинного обучения может читать, анализировать и затем преобразовывать веб-документы в соответствующие данные.

Настольное приложение Parsehub поддерживает такие системы, как Windows, Mac OS X и Linux. Вы даже можете использовать веб-приложение, встроенное в браузер.

В качестве бесплатного программного обеспечения вы можете создать не более пяти публичных проектов в Parsehub. Платные планы подписки позволяют создать не менее 20 частных проектов для парсинга веб-сайтов.

8 . Визуальный скребок

VisualScraper — еще один отличный бесплатный веб-скребок без кодирования с простым интерфейсом «укажи и щелкни». Вы можете получить данные в реальном времени с нескольких веб-страниц и экспортировать извлеченные данные как файлы CSV, XML, JSON или SQL .Помимо SaaS, VisualScraper предлагает услуги парсинга веб-страниц, такие как службы доставки данных и создание служб извлечения программного обеспечения.

Visual Scraper позволяет пользователям планировать запуск проектов в определенное время или повторять последовательность каждую минуту, дни, неделю, месяц, год. Пользователи могут использовать его для частого извлечения новостей, обновлений, форумов.

9. Втулка скребковая

Scrapinghub — это облачный инструмент для извлечения данных , который помогает тысячам разработчиков получать ценные данные.Его инструмент визуального парсинга с открытым исходным кодом позволяет пользователям парсить веб-сайты без каких-либо знаний программирования.

Scrapinghub использует Crawlera, интеллектуальный ротатор прокси, который поддерживает обход контрмер ботов для легкого сканирования огромных или защищенных ботами сайтов. Он позволяет пользователям сканировать с нескольких IP-адресов и местоположений без боли, связанной с управлением прокси-сервером, с помощью простого HTTP API.

Scrapinghub преобразует всю веб-страницу в организованный контент.Его команда экспертов всегда готова помочь, если построитель сканирования не сможет удовлетворить ваши требования.

10. Dexi.io

Как поисковый робот на основе браузера , Dexi.io позволяет вам извлекать данные из вашего браузера с любого веб-сайта и предоставлять вам три типа роботов для создания задачи извлечения — Extractor, Crawler и Pipes. Бесплатное программное обеспечение предоставляет анонимные веб-прокси-серверы для вашего парсинга, а извлеченные данные будут размещены на Dexi.io за две недели до архивации данных, либо вы можете напрямую экспортировать извлеченные данные в JSON или CSV-файлы . Он предлагает платные услуги для удовлетворения ваших потребностей в получении данных в реальном времени.

11. Webhose.io

Webhose.io позволяет пользователям получать данных в реальном времени. из сканирования онлайн-источников со всего мира в различных чистых форматах. Этот веб-сканер позволяет сканировать данные и дополнительно извлекать ключевые слова на многих разных языках, , используя несколько фильтров, охватывающих широкий спектр источников.

И вы можете сохранять очищенные данные в форматах XML, JSON и RSS. И пользователям разрешен доступ к данным истории из своего архива. Кроме того, webhose.io поддерживает не более 80 языков с результатами сканирования данных. А пользователи могут легко индексировать и искать структурированные данные, просканированные Webhose.io.

В целом Webhose.io может удовлетворить элементарные потребности пользователей в сканировании.

12 . Импорт.io

Пользователи могут формировать свои собственные наборы данных, просто импортируя данные с определенной веб-страницы и экспортируя данные в CSV.

Вы можете легко очистить тысячи веб-страниц за считанные минуты, не написав ни единой строчки кода, а создаст 1000+ API-интерфейсов в соответствии с вашими требованиями. Общедоступные API-интерфейсы предоставили мощные и гибкие возможности для программного управления Import.io и получения автоматического доступа к данным. Import.io упростил сканирование, интегрировав веб-данные в ваше собственное приложение или веб-сайт всего за несколько щелчков мышью.

Чтобы лучше удовлетворять потребности пользователей в сканировании, он также предлагает бесплатное приложение для Windows, Mac OS X и Linux для создания средств извлечения данных и поисковых роботов, загрузки данных и синхронизации с онлайн-учетной записью. Кроме того, пользователи могут планировать задачи сканирования еженедельно, ежедневно или ежечасно.

13 . 80 ножек

80legs — это мощный инструмент веб-сканирования, который можно настроить в соответствии с индивидуальными требованиями.Он поддерживает получение огромных объемов данных, а также возможность мгновенной загрузки извлеченных данных. 80legs обеспечивает высокопроизводительное сканирование веб-сайтов, которое работает быстро и извлекает необходимые данные за считанные секунды

14 . Spinn3r

Spinn3r позволяет получать полные данные из блогов, новостей и сайтов социальных сетей, а также каналов RSS и ATOM. Spinn3r распространяется с API пожарной службы, который управляет 95% работы по индексации.Он предлагает расширенную защиту от спама, которая удаляет спам и ненадлежащее использование языка, тем самым повышая безопасность данных.

Spinn3r индексирует контент аналогично Google и сохраняет извлеченные данные в файлах JSON. Веб-скребок постоянно сканирует Интернет и находит обновления из нескольких источников, чтобы вы могли получать публикации в режиме реального времени. Его консоль администратора позволяет контролировать сканирование, а полнотекстовый поиск позволяет выполнять сложные запросы по необработанным данным.

15. Контент-граббер

Content Grabber — это программа для сканирования веб-страниц, ориентированная на предприятия.Это позволяет создавать автономные агенты веб-сканирования. Он может извлекать контент практически с любого веб-сайта и сохранять его в виде структурированных данных в любом формате по вашему выбору, включая отчеты Excel, XML, CSV и большинство баз данных.

Он больше подходит для людей с продвинутыми навыками программирования , так как он предлагает множество мощных средств редактирования сценариев и интерфейсов отладки для нуждающихся. Пользователи могут использовать C # или VB.NET для отладки или написания сценариев для управления программированием процесса сканирования.Например, Content Grabber может интегрироваться с Visual Studio 2013 для наиболее мощного редактирования сценариев, отладки и модульного тестирования для расширенного и тактичного настраиваемого поискового робота, основанного на конкретных потребностях пользователей.

16. Скребок для гелия

Helium Scraper — это программа для визуального сканирования веб-данных, которая хорошо работает, когда связь между элементами невелика. Это не кодирование, не конфигурация. И пользователи могут получить доступ к онлайн-шаблонам, основанным на различных потребностях сканирования.

По сути, он может удовлетворить потребности пользователей в сканировании на элементарном уровне.

17. UiPath

UiPath — это роботизированная программа для автоматизации процессов для бесплатного парсинга веб-страниц. Он автоматизирует сканирование данных из Интернета и настольных компьютеров из большинства сторонних приложений. Вы можете установить программное обеспечение для автоматизации роботизированных процессов, если вы запустите его в Windows. Uipath может извлекать табличные данные и на основе шаблонов данных на нескольких веб-страницах.

Uipath предоставляет встроенные инструменты для дальнейшего сканирования. Этот метод очень эффективен при работе со сложными пользовательскими интерфейсами. Инструмент очистки экрана может обрабатывать как отдельные текстовые элементы, так и группы текста, а также блоки текста, например извлечение данных в формате таблицы.

Кроме того, для создания интеллектуальных веб-агентов программирование не требуется, но хакер .NET внутри вас будет иметь полный контроль над данными.

18 . Scrape.it

Scrape.it — ​​это программа для парсинга веб-страниц node.js . Это облачный инструмент для извлечения веб-данных . Он предназначен для тех, кто обладает продвинутыми навыками программирования, поскольку предлагает как общедоступные, так и частные пакеты для обнаружения, повторного использования, обновления и обмена кодом с миллионами разработчиков по всему миру. Его мощная интеграция поможет вам создать индивидуальный поисковый робот в соответствии с вашими потребностями.

19. WebHarvy

WebHarvy — это программа для парсинга веб-страниц в режиме «укажи и щелкни». Он предназначен для непрограммистов. WebHarvy может автоматически извлекать текст, изображения, URL-адреса и электронные письма с веб-сайтов и сохранять извлеченный контент в различных форматах. Он также предоставляет встроенный планировщик и поддержку прокси, что позволяет анонимно сканировать и предотвращает блокировку программного обеспечения для веб-скрапинга веб-серверами. У вас есть возможность получить доступ к целевым веб-сайтам через прокси-серверы или VPN.

Пользователи могут сохранять данные, извлеченные с веб-страниц, в различных форматах. Текущая версия WebHarvy Web Scraper позволяет экспортировать очищенные данные в виде файлов XML, CSV, JSON или TSV. Пользователи также могут экспортировать очищенные данные в базу данных SQL.

20. Коннотировать

Connotate — это автоматический поисковый робот, разработанный для извлечения веб-контента в масштабе предприятия, которому требуется решение масштаба предприятия . Business-пользователи могут легко создавать агентов извлечения всего за несколько минут — без какого-либо программирования.Пользователи могут легко создавать экстракционные агенты простым щелчком мыши.

日本語 記事: Веб ク ロ ー ラ ー ツ ー ル 20 選 | Web デ ー タ の 収集 を 自動化 で き る
Web ス ク レ イ ピ ン グ に つ い て の 記事 は 公式 サ イ ト で も 読 む こ と が で き ま す
Artículo ан español:. Las 20 Mejores Herramientas де Web Зачистка пункт Extracción de Datos
También puede leer artículos de web scraping en el Официальный веб-сайт

25 приемов для развития вашего бизнеса с помощью извлечения данных из Интернета

30 лучших инструментов больших данных для анализа данных

30 лучших инструментов визуализации данных

Шаблоны для парсинга веб-страниц на вынос

Видео: Создайте свой первый скребок с Octoparse 8

5 шагов для создания более быстрого веб-сканера

Работайте умнее, а не усерднее.

Этот раздел посвящен трем методам соскабливания, которые существенно повлияют на вашу скорость .

Разделяй и властвуй

Если вы используете одного большого паука, разделите его на множество более мелких. Вы делаете это, чтобы использовать Scrapyd (подробнее см. В шаге 4). Scrapyd позволяет запускать несколько пауков одновременно (с помощью Scrapy вы можете запускать только одного паука за раз). Каждый более мелкий паук будет ползать часть того, что прополз большой паук.Эти мини-пауки не должны пересекаться по содержимому, которое они сканируют, так как это будет напрасной тратой времени. Если вы разделите одного паука на десять более мелких, процесс очистки будет примерно в десять раз быстрее (при условии, что нет других узких мест — см. Шаг 5).

Минимизируйте количество отправленных запросов

Отправка запросов и ожидание ответов — самая медленная часть использования парсера. Если вы можете уменьшить количество отправляемых запросов, ваш парсер будет работать намного быстрее. Например, если вы собираете цены и названия с сайта электронной коммерции, вам не нужно посещать страницу каждого товара.Вы можете получить все необходимые данные на странице результатов. Если у вас 30 элементов на странице, то использование этого метода ускорит ваш парсер в 30 раз (теперь он должен отправить только один запрос вместо 30). Всегда ищите способы уменьшить количество запросов. Ниже приведен список того, что вы можете попробовать. Если вы можете придумать другие, пожалуйста, оставьте комментарий.

Распространенные способы уменьшения количества запросов:

• Увеличьте количество результатов на странице результатов (например, с десяти до 100).
• Примените фильтры перед очисткой (например, ценовые фильтры).
• Используйте обычного паука, а не CrawlSpider.

Выгружать элементы в базу данных партиями

Другая причина медленного скребка заключается в том, что люди обычно очищают свои данные, а затем сразу добавляют эти данные в свою базу данных. Это медленно по двум причинам. Во-первых, обработка партиями всегда будет быстрее, чем добавление элемента за элементом. Во-вторых, с помощью пакетной обработки вы можете использовать множество инструментов, которые Python предлагает для пакетной загрузки в базы данных.Например, библиотеку pandas можно использовать для помещения ваших данных в фрейм данных, а затем для загрузки этих данных в базу данных SQL. То есть намного быстрее на ! Если вам интересно узнать больше, я настоятельно рекомендую вам прочитать эту статью о пакетной загрузке в базы данных SQL.

Как просканировать четверть миллиарда веб-страниц за 40 часов

Точнее, я просканировал 250 113 669 страниц всего за 580 долларов за 39 часов 25 минут, используя 20 машинных инстансов Amazon EC2.

Я выполнил этот проект, потому что (среди нескольких других причин) я хотел понять, какие ресурсы требуются для сканирования небольшой, но нетривиальной части Интернета. В этом посте я опишу некоторые подробности того, что я сделал. Конечно, в этом нет ничего особенно нового: я написал обычный (распределенный) поисковый робот, в основном, чтобы научиться чему-то о сканировании и распределенных вычислениях. Тем не менее, я извлек некоторые уроки, которые могут быть интересны некоторым другим, поэтому в этом посте я описываю, что я сделал.В посте также есть некоторые личные рабочие заметки, которые я могу использовать в будущем.

Что значит сканировать нетривиальную часть Интернета? На самом деле понятие «нетривиальная часть сети» не совсем точно определено. Многие веб-сайты генерируют страницы динамически в ответ на ввод данных пользователем — например, страницы результатов поиска Google динамически создаются в ответ на поисковый запрос пользователя. Из-за этого нет смысла говорить, что в сети столько-то миллиардов или триллионов страниц.Это, в свою очередь, затрудняет точное определение того, что имеется в виду под «нетривиальной частью сети». Однако в качестве разумного показателя размера сети мы можем использовать количество веб-страниц, проиндексированных крупными поисковыми системами. Согласно этой презентации Googler Джеффа Дина, по состоянию на ноябрь 2010 года Google проиндексировал «десятки миллиардов страниц». (Обратите внимание, что количество URL-адресов исчисляется триллионами, по-видимому, из-за дублирования содержимого страницы и нескольких URL-адресов, указывающих на одно и то же содержимое.) Ныне не существующая поисковая система Cuil заявила, что проиндексировала 120 миллиардов страниц.Для сравнения: четверть миллиарда — это, конечно, очень мало. Тем не менее, мне это показалось обнадеживающим началом.

Код: Изначально я намеревался сделать код краулера доступным по лицензии с открытым исходным кодом на GitHub. Однако по мере того, как я лучше понимал затраты, которые сканеры накладывают на веб-сайты, у меня появились оговорки. Мой сканер вежлив и не создает относительно небольшой нагрузки на какой-либо отдельный веб-сайт, но может (как и многие другие сканеры) быть легко модифицирован легкомысленными или злонамеренными людьми, чтобы создать тяжелое бремя для сайтов.Из-за этого я решил отложить (возможно, на неопределенный срок) выпуск кода.

Здесь есть более общая проблема: кто может сканировать Интернет? Относительно немногие сайты исключают поисковые роботы таких компаний, как Google и Microsoft. Но существует лота и сканеров, многие из которых не уделяют особого внимания потребностям отдельных владельцев сайтов. Вполне разумно, что многие владельцы сайтов проявляют агрессивный подход к прекращению активности менее известных поисковых роботов.Возможный побочный эффект заключается в том, что если это станет слишком распространенным в какой-то момент в будущем, это может помешать разработке новых полезных служб, которые должны сканировать Интернет. Возможным долгосрочным решением могут быть такие службы, как Common Crawl, которые предоставляют доступ к общему корпусу данных сканирования.

Мне было бы интересно услышать мнения других людей по этому поводу.

( Позднее обновление: Я регулярно получаю электронное письмо с просьбой прислать людям свой код. Позвольте мне заранее сказать: я отклоняю эти запросы.)

Архитектура: Вот базовая архитектура:

Главный компьютер (мой ноутбук) начинает со загрузки списка Алекса из миллиона самых популярных доменов. Они использовались как белый список доменов для поискового робота, так и для создания начального списка исходных URL-адресов.

Белый список доменов был разделен на 20 экземпляров компьютеров EC2 в поисковом роботе. Это было сделано путем нумерации экземпляров и последующего выделения домена домена для номера экземпляра hash (domain)% 20, где hash — это стандартная хеш-функция Python.

Развертывание и управление кластером осуществлялось с помощью Fabric, хорошо документированной и красиво оформленной библиотеки Python, которая упрощает использование ssh в кластерах машин. Я управлял подключением к Amazon EC2, используя набор написанных мной скриптов Python, которые обертывают библиотеку boto.

Я использовал 20 очень больших инстансов Amazon EC2, работающих под управлением Ubuntu 11.04 (Natty Narwhal) под образом ami-68ad5201 Amazon, предоставленного Canonical. Я использовал очень большой экземпляр после тестирования на нескольких типах экземпляров; сверхбольшие экземпляры обеспечивали (незначительно) больше загружаемых страниц на каждый потраченный доллар.Я использовал регион Восток США (Северная Вирджиния), потому что он самый дешевый из регионов Amazon (наряду с Западом США, регионом Орегон).

Архитектура с одним экземпляром: Каждый экземпляр дополнительно разделил свой белый список доменов на 141 отдельный блок доменов и запустил 141 поток Python, при этом каждый поток отвечал за сканирование доменов в одном блоке. Вот как это работало (подробности ниже):

Причина использования потоков заключается в том, что стандартная библиотека Python использует блокирующий ввод-вывод для обработки сетевых подключений http.Это означает, что однопоточный сканер будет проводить большую часть своего времени в режиме ожидания, обычно ожидая сетевого подключения к удаленной машине, на которой выполняется сканирование. Гораздо лучше использовать многопоточный сканер, который может более полно использовать ресурсы, доступные в инстансе EC2. Я выбрал количество потоков поискового робота (141) эмпирически: я продолжал увеличивать количество потоков, пока скорость поискового робота не начала достигать предела. При таком количестве потоков искатель использовал значительную часть ресурсов ЦП, доступных на экземпляре EC2.Мое неофициальное тестирование показало, что ограничивающим фактором был ЦП, но я был не так далеко от сети, и скорость диска стала узким местом; в этом смысле очень большой экземпляр EC2 был хорошим компромиссом. Использование памяти никогда не было проблемой. Возможно, по этой причине тип инстанса EC2 с высокой загрузкой ЦП и сверхбольшим был бы лучшим выбором; Я экспериментировал с этим типом экземпляра только с ранними версиями краулера, которые были более ограничены памятью.

Как домены были распределены между потоками: Потоки были пронумерованы, а домены были распределены на основе хэш-функции Python для хэша номера потока (домена)% 141 (аналогично распределению между машинами в кластере).После того, как домены из белого списка / исходные URL-адреса были распределены между потоками, сканирование было выполнено простым способом в ширину, т. Е. Для каждого исходного URL-адреса мы загружаем соответствующую веб-страницу, извлекаем связанные URL-адреса и проверяем каждый URL-адрес, чтобы увидеть: ( a) является ли извлеченный URL-адрес новым URL-адресом, который еще не был просмотрен и добавлен в границу URL-адреса; и (b) находится ли извлеченный URL в том же начальном домене, что и страница, которая только что была просканирована. Если оба этих условия выполняются, URL-адрес добавляется к границе URL-адресов для текущего потока, в противном случае URL-адрес отбрасывается.С этой архитектурой мы, по сути, выполняем очень большое количество независимых обходов доменов из белого списка, полученных от Alexa.

Обратите внимание, что эта архитектура также гарантирует, что если, например, мы сканируем страницу из TechCrunch и извлекаем с этой страницы ссылку на Huffington Post, то последняя ссылка будет отброшена, даже если Huffington Post находится в нашем домене. белый список. Единственные ссылки, добавленные к границе URL, будут ссылками на сам TechCrunch.Причина, по которой мы избегаем добавления работы с (внесенными в белый список) внешними ссылками, заключается в том, что: (а) это может потребовать взаимодействия между различными экземплярами EC2, что существенно усложнит поисковому роботу; и, что более важно, (б) на практике у большинства сайтов есть много внутренних ссылок, и поэтому маловероятно, что эта политика означает, что поисковому роботу многое не хватает.

Одним из преимуществ выделения всех URL-адресов из одного домена одному потоку поискового робота является то, что это значительно упрощает вежливое сканирование, поскольку в любой момент времени может быть открыто не более одного подключения к сайту.В частности, это гарантирует, что мы не будем забивать любой заданный домен множеством одновременных подключений из разных потоков (или разных машин).

Задачи для автора

• Для некоторых очень больших и быстро меняющихся веб-сайтов может потребоваться открыть несколько одновременных подключений, чтобы сканирование не отставало от изменений на сайте. Как мы можем решить, когда это уместно?

Как работают границы URL-адресов: Для каждого домена поддерживался отдельный файл границ URL-адресов .Это был просто текстовый файл, каждая строка которого содержала один URL-адрес для сканирования; изначально файл содержит только одну строку с исходным URL-адресом для домена. Выше я говорил о границе URL-адресов для ветки; эту границу можно рассматривать как комбинацию всех файлов границ URL-адресов для доменов, сканируемых этим потоком.

Каждый поток поддерживал соединение с сервером Redis. Для каждого домена, сканируемого потоком, использовалась пара «ключ-значение» redis, чтобы отслеживать текущую позицию в файле границ URL для этого домена.Я использовал redis (и привязки Python) для хранения этой информации таким образом, чтобы она была постоянной и быстрой для поиска. Настойчивость была важна, потому что это означало, что краулер мог быть остановлен и запущен по желанию, не теряя при этом, где он находился на границе URL.

Каждый поток также поддерживал словарь, ключи которого были (хешированными) доменами для этого потока. Соответствующие значения были в следующий раз, когда будет вежливо сканировать этот домен. Это значение было установлено равным 70 секундам после последнего сканирования домена, чтобы гарантировать, что домены не обрабатываются слишком часто.Поток поискового робота просто перебирал ключи в этом словаре, ища следующий домен, который можно было бы сканировать. Как только он нашел такой домен, он затем извлек следующий URL-адрес из границы URL-адреса для этого домена и приступил к загрузке этой страницы. Если граница URL-адреса была исчерпана (в некоторых доменах заканчиваются страницы для сканирования), то ключ домена был удален из словаря. Одним из ограничений этой конструкции было то, что при перезапуске поискового робота каждый поток должен был снова идентифицировать, какие домены уже были исчерпаны и должны быть удалены из словаря.Это немного замедлило перезапуск, и это то, что я бы изменил, если бы продолжал работать со сканером.

Использование фильтра Блума: Я использовал фильтр Блума, чтобы отслеживать, какие URL-адреса уже были просмотрены и добавлены к границе URL-адресов. Это позволило очень быстро проверить, следует ли добавлять новый URL-адрес кандидата в границу URL-адреса, с очень низкой вероятностью ошибочного добавления уже добавленного URL-адреса. Это было сделано с помощью очень красивой pybloomfiltermmap Майка Аксиака на основе C.

Обновление: Джереми Маклейн указывает в комментариях, что у меня это обратное, и что с фильтром Блума существует малая вероятность, «что вы никогда не будете сканировать определенные URL-адреса, потому что ваш фильтр Блума сообщает вам, что они уже были просканированы. хотя на самом деле они этого не сделали ». Лучшим (хотя и немного более медленным) решением было бы просто сохранить все URL-адреса и проверить их напрямую.

Ожидаемые и непредвиденные ошибки: Поскольку поисковый робот принимает входные данные из внешних источников, ему необходимо иметь дело с множеством потенциальных ошибок.По дизайну существует два широких класса ошибок: ожидаемые ошибки и непредвиденные ошибки .

Ожидаемые ошибки — это такие вещи, как невозможность загрузки страницы, истечение времени ожидания, наличие не анализируемых входных данных или файл robots.txt, запрещающий сканирование страницы. Когда возникают ожидаемые ошибки, поисковый робот записывает ошибку в информационный журнал (для каждого потока) («информационный журнал» на диаграмме выше) и продолжает работу любым подходящим способом. Например, если файл robots.txt запрещает сканирование, тогда мы просто переходим к следующему URL-адресу в границе URL-адресов.

Непредвиденные ошибки — это ошибки, которые не были предвидены и на которые рассчитаны. Вместо того, чтобы краулер упал, он просто регистрирует ошибку (в «критическом журнале» на диаграмме выше) и переходит к следующему URL-адресу в границе URL-адресов. В то же время краулер отслеживает, сколько непредвиденных ошибок произошло подряд. Если много непредвиденных ошибок происходит в непосредственной близости друг от друга, это обычно указывает на отказ некоторой ключевой части инфраструктуры.Из-за этого, если происходит слишком много непредвиденных ошибок подряд, поисковый робот полностью отключается.

При разработке и тестировании краулера я внимательно следил за непредвиденными ошибками, зарегистрированными в критическом журнале. Это позволило мне понять многие проблемы, с которыми сталкивается краулер. Например, на раннем этапе разработки я обнаружил, что иногда html для страницы может быть настолько плохо сформирован, что у анализатора html не будет другого выбора, кроме как вызвать исключение. Когда я пришел к пониманию таких ошибок, я бы переписал код краулера, чтобы такие ошибки стали ожидаемыми ошибками, которые обрабатывались как можно более аккуратно.Таким образом, естественная тенденция во время разработки заключалась в том, что непредвиденные ошибки превращались в ожидаемые.

Обработка доменов и субдоменов: Как упоминалось выше, поисковый робот выполняет множество параллельных внутридоменных обходов. Это хорошо работает, но возникает проблема из-за широкого использования поддоменов. Например, если мы начнем с исходного URL-адреса http://barclays.com и сканируем только URL-адреса в домене barclays.com, то у нас быстро закончатся URL-адреса для сканирования. Причина в том, что большинство внутренних ссылок на barclays.com на самом деле относится к group.barclays.com, а не к barclays.com. Наш сканер также должен добавить URL-адреса из последнего домена в границу URL-адресов для barclays.com.

Мы решаем эту проблему, удаляя все поддомены и работая с удаленными доменами при принятии решения о добавлении URL-адреса в границу URL-адреса. Удаление поддоменов оказывается на удивление сложной проблемой из-за различий в способах формирования доменных имен. К счастью, проблема, похоже, хорошо решается с использованием библиотеки tldextract Джона Курковски.

О представлении границы URL: Выше я отмечал, что для каждого домена поддерживался отдельный файл границы URL. В ранней версии кода у каждого потока поискового робота была граница URL-адресов, поддерживаемая в виде одного простого текстового файла . Когда поток искателя считывает строки в файле, он будет сканировать эти URL-адреса и добавлять любые новые URL-адреса, найденные в конец файла.

Этот подход казался мне естественным, но организация файлов границ URL-адресов для каждого потока (а не для домена) вызвала удивительное количество проблем.По мере того, как поток поискового робота перемещается по файлу в поисках следующего URL-адреса для сканирования, он обнаруживает URL-адреса, принадлежащие доменам, сканирование которых еще не было принято, поскольку сканирование проводилось слишком недавно. Моя первоначальная стратегия заключалась в том, чтобы просто добавить такие URL-адреса в конец файла, чтобы их можно было снова найти позже. К сожалению, часто было лота и таких URL-адресов подряд — последовательные URL-адреса часто приходили из одного домена (поскольку они были извлечены с одной и той же страницы).Таким образом, эта стратегия привела к тому, что файл для границы URL-адреса очень быстро увеличился, в конечном итоге потребляя большую часть дискового пространства.

Обостряет эту проблему, такой подход к границе URL-адресов вызвал непредвиденную «проблему группирования доменов». Чтобы понять эту проблему, представьте, что поток искателя обнаружил (скажем) 20 последовательных URL-адресов из одного домена. Он может сканировать первый из них, извлекая (скажем) 20 дополнительных URL-адресов, чтобы добавить их в конец границы URL-адресов. Но следующие 19 URL-адресов будут пропущены, поскольку сканировать их было бы невежливо, и они также будут добавлены в конец границы URL-адресов.Теперь у нас есть 39 URL-адресов из того же домена в конце границы URL-адресов. Но когда поток поискового робота доберется до них, мы вполне можем повторить тот же процесс, что приведет к скоплению из 58 URL-адресов из того же домена в конце файла. И так далее, что приводит к очень длинным сериям URL-адресов из одного и того же домена. Это потребляет много места на диске, а также замедляет поискового робота, поскольку потоку искателя может потребоваться изучить большое количество URL-адресов, прежде чем он найдет новый URL-адрес, который можно сканировать.

Эти проблемы можно было решить разными способами; Переход к файлу границы URL-адресов для каждого домена был тем способом, который я решил решить, и, похоже, он работал хорошо.

Выбор количества потоков: Выше я упоминал, что количество потоков краулера (141) было выбрано опытным путем. Однако есть важное ограничение на это количество, и в частности его связь с количеством (20) используемых экземпляров EC2. Предположим, что вместо 141 потока я использовал (скажем) 60 потоков. Это создало бы проблему. Чтобы понять, почему, обратите внимание, что любой домен, выделенный для экземпляра номер 7 (скажем), обязательно будет удовлетворять хэшу (домен)% 20 = 7. Это будет означать, что хэш (домен)% 60 = 7 или 27 или 47, и, как следствие, все домены будут выделены только одному из трех потоков сканера (потоки с номерами 7, 27 и 47), в то время как остальные 57 потоков будут бездействовать, что противоречит цели использования нескольких потоков.

Одним из способов решения этой проблемы было бы использование двух независимых хэш-функций для выделения доменов экземплярам EC2 и потокам искателя. Однако еще более простой способ решить проблему — выбрать количество потоков искателя, которые будут взаимно просты с количеством экземпляров EC2. Эта совместность гарантирует, что домены будут распределяться достаточно равномерно как для экземпляра, так и для потоков. (Я не буду здесь доказывать это, но это можно доказать, приложив немного усилий). Несложно проверить, что 141 и 20 взаимно просты.

Обратите внимание, кстати, что хэш Python не является настоящей хеш-функцией в том смысле, что он не гарантирует, что домены будут равномерно распределены по экземплярам EC2. Оказывается, хеш-код Python принимает аналогичные строки ключей с аналогичными значениями хеш-функции. Подробнее об этом (с примерами) я расскажу в пятом абзаце этого поста. Однако эмпирическим путем я обнаружил, что хеширование, похоже, достаточно равномерно распределяет домены по экземплярам, ​​поэтому я не беспокоился об использовании более качественной (но более медленной) хеш-функции, например, доступных через библиотеку hashlib Python.

Использование Python: Весь мой код был написан на Python. Сначала я задавался вопросом, может ли Python работать слишком медленно и создавать узкие места при сканировании. Однако профилирование поискового робота показало, что большая часть времени была потрачена либо на (а) управление сетевыми соединениями и загрузку данных; или (б) анализ полученных веб-страниц. Анализ веб-страниц выполнялся с использованием lxml, привязки Python к быстрым базовым библиотекам C. Вряд ли это было легко ускорить, и поэтому я пришел к выводу, что Python, вероятно, не был особым узким местом при сканировании.

Вежливость: Сканер использовал библиотеку Python robotparser, чтобы соблюдать протокол исключения роботов. Как отмечалось выше, я также установил абсолютный 70-секундный минимальный интервал времени между доступом к любому заданному домену. На практике среднее время между доступами было больше 3-4 минут.

Во время первых тестовых запусков поискового робота я иногда получал электронные письма от веб-мастеров с просьбой объяснить, почему я сканирую их сайт. По этой причине в User-agent сканера я включил ссылку на веб-страницу, объясняющую цель моего поискового робота, как исключить его с сайта и какие шаги я предпринимал, чтобы вежливо сканировать.Это было (я полагаю) полезным и для веб-мастеров, и для меня, так как уменьшило количество запросов. Несколько человек попросили меня исключить их сайты из сканирования, и я быстро подчинился.

Задачи для автора

• Поскольку мое сканирование не заняло слишком много времени, файл robots.txt был загружен только один раз для каждого домена в начале сканирования. При более длительном сканировании, как нам решить, сколько времени ждать между загрузками robots.txt?

Усечение: Сканер обрезает большие веб-страницы, а не загружает страницу целиком.Он делает это отчасти потому, что это необходимо — меня действительно не удивит, если у кого-то есть терабайтный html-файл, находящийся где-то на сервере, — и отчасти потому, что для многих приложений будет интереснее сосредоточиться на более ранних частях страницы. .

Какой разумный порог для усечения? Согласно этому отчету Google, по состоянию на май 2010 года средний сетевой размер веб-страницы с верхнего сайта составляет 312,04 КБ. Однако это включает изображения, сценарии и таблицы стилей, которые искатель игнорирует.Если игнорировать изображения и т. Д., То средний размер сети упадет до 33,66 Кб.

Однако это количество в 33,66 КБ предназначено для контента, который может обслуживаться в сжатом виде по сети. Наше усечение будет основано на несжатом размере. К сожалению, отчет Google не сообщает нам, каков средний размер несжатого содержания. Тем не менее, мы можем получить оценку этого, поскольку Google сообщает, что средний размер несжатых страниц из полных страниц (включая изображения и т. Д.) Составляет 477.26 кб, а средний размер сети — 312,04 кб.

Предполагая, что эта степень сжатия является типичной, мы оцениваем, что средний размер несжатого содержимого, загружаемого поисковым роботом, составляет 51 КБ. В этом случае я поэкспериментировал с несколькими настройками усечения и обнаружил, что порог усечения в 200 килобайт позволяет мне загружать подавляющее большинство веб-страниц целиком, решая при этом проблему очень больших html-файлов, упомянутую выше. (К сожалению, я не подумал проверить, каков фактический средний размер несжатого файла , моя ошибка.)

Хранилище: Я сохранил все данные, используя встроенное хранилище экземпляров EC2 — 1,69 терабайта для очень больших экземпляров, которые я использовал. Это хранилище не является постоянным, поэтому любые данные, хранящиеся в экземпляре, исчезнут, когда этот экземпляр будет завершен. Теперь для многих видов потоковой передачи или краткосрочного анализа данных этого было бы достаточно — на самом деле, возможно, даже не было необходимости хранить данные вообще. Но, конечно, для многих приложений обхода этот подход не подходит, и хранилище экземпляров следует дополнить чем-то более постоянным, например S3.Для моих целей использование хранилища экземпляров казалось нормальным.

Цена: Цена разбивается на две составляющие: (1) 512 долларов за использование 20 сверхбольших инстансов EC2 в течение 40 часов; и (2) около 65 долларов за чуть более 500 гигабайт исходящей полосы пропускания, используемой для выполнения HTTP-запросов. Обратите внимание, что Amazon не взимает плату за входящую полосу пропускания (это тоже хорошо!) Было бы интересно сравнить эти затраты с (соответствующим образом амортизированными) затратами на использование других облачных провайдеров или самостоятельный хостинг.

То, с чем я не экспериментировал, — это использование спотовых инстансов Amazon, где вы можете делать ставки, чтобы использовать неиспользуемые ресурсы EC2 Amazon. Я не думал об этом до тех пор, пока не начал сканирование. Когда я пошел посмотреть историю цен на спотовые инстансы, я с удивлением обнаружил, что цены на спотовые инстансы часто примерно в 10 раз ниже, чем цены на инстансы по требованию! С учетом платы за исходящую пропускную способность это означает, что можно использовать спотовые инстансы для выполнения аналогичного сканирования за 120 долларов или около того, что дает пятикратную экономию.Я подумывал о переключении, но в конечном итоге отказался от него, подумав, что может потребоваться 2 или 3 дня работы, чтобы правильно понять последствия переключения и заставить все работать именно так, как я хотел. По общему признанию, вполне возможно, что это заняло бы гораздо меньше времени, и в этом случае я упустил возможность обменять немного денег на небольшое дополнительное время.

Улучшения в архитектуре поискового робота: Позвольте мне закончить, отметив несколько способов, которыми было бы интересно улучшить текущий поисковый робот:

• Для многих долго работающих приложений сканеру потребуется политика интеллектуального сканирования, чтобы он знал, когда и как повторно сканировать страницу.Согласно презентации Джеффа Дина, среднее время, затрачиваемое Google на индексирование новой страницы, теперь составляет всего несколько минут. Я не знаю, как это работает, но представьте себе, что протоколы уведомлений, такие как pubsubhubbub, играют важную роль. Было бы хорошо изменить поискового робота, чтобы он был осведомлен о pubsubhubbub.
• В настоящее время поисковый робот использует многопоточную архитектуру. Другой совершенно другой подход — использовать архитектуру с выравниванием. Каковы плюсы и минусы многопоточной архитектуры по сравнению с четной?
• Экземпляры в кластере настраиваются с использованием сценариев структуры и оболочки для установки таких программ, как redis, pybloomfilter и т. Д.Это медленно и не совсем надежно. Есть ли лучший способ сделать это? Создание собственного EC2 AMI? Программное обеспечение для управления конфигурацией, такое как Chef и Puppet? Я подумывал об использовании одного из последних, но отложил его из-за первоначальной стоимости изучения систем.
• В настоящее время ведение журнала выполняется с помощью модуля ведения журнала Python. К сожалению, я обнаружил, что это плохо приспособлено для потоковой передачи Python. Есть ли лучшее решение?
• Искатель изначально был разработан для сканирования в пакетной среде, где он запускается, а затем завершается.С тех пор я изменил его, чтобы его можно было остановить, внести изменения и перезапустить. Было бы хорошо добавить инструменты, чтобы их можно было изменять более динамично в реальном времени.
• Было опубликовано много интересных исследовательских работ о сканировании. Я прочитал или просмотрел довольно много, пока писал свой поисковый робот, но в конечном итоге использовал лишь некоторые из идей; просто понять основы оказалось достаточно сложно. В будущих итерациях было бы полезно еще раз взглянуть на эту работу и включить лучшие идеи.Хорошие отправные точки включают главу в книге Мэннинга, Рагхавана и Шуце и обзорную статью Олстона и Наджорка. Существующие сканеры с открытым исходным кодом, такие как Heritrix и Nutch, также было бы интересно изучить более подробно.

Как заставить Google мгновенно проиндексировать ваш новый веб-сайт

Хотите, чтобы на ваш сайт было больше обычного поискового трафика?

Готов поспорить, что да, мы все делаем!

Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса.

Согласно некоторым исследованиям, около 53% трафика вашего сайта можно отнести к обычному поиску.

Но статистика не имеет большого значения, если ваш сайт вообще не отображается в результатах поиска.

Как вы индексируете свой новый сайт или блог в Google, Bing и других поисковых системах?

Что ж, у вас есть два варианта.

Вы можете использовать «черепаховый» подход — просто сядьте и подождите, пока это произойдет естественным образом, но это может занять недели или месяцы.

(Поверьте, я бывал там раньше — не весело.)

Или вы можете сделать это сейчас, давая вам больше времени и энергии для увеличения коэффициента конверсии, улучшения вашего социального присутствия и, конечно же, написания и продвижения отличного и полезного контента.

Не знаю, как вы, но я бы предпочел, чтобы мои сайты были проиндексированы как можно быстрее, потому что это дает мне больше времени для расширения моей аудитории.

Именно благодаря этим стратегиям я увеличил количество посетителей этого блога до 600 000 в месяц так же быстро, как и я!

Хотите сделать то же самое?

Не сдавайтесь, потому что я подробно рассказываю обо всем, что узнал о SEO и о том, как быстро проиндексировать ваш сайт в этом пошаговом руководстве!

Я расскажу, как заставить Google быстро проиндексировать наш веб-сайт, что приведет к увеличению органического поискового трафика и повышению рейтинга.

Приступим!

Во-первых, очевидный ответ.

Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.

Однако вы не хотите, чтобы ваш сайт индексировался только один раз. Вы хотите, чтобы поисковые системы продолжали переиндексировать ваш сайт.

Поисковые системы, такие как Google, не обновляются автоматически.

Они полагаются на пауков — маленькие кусочки компьютерного кода, которые каждая поисковая система отправляет, чтобы «сканировать» сеть (отсюда и «паук»).

Вам нужна эффективная частая скорость сканирования.

Работа паука — искать новые материалы в сети и обновлять уже проиндексированную версию вашего сайта. Этим «новым материалом» может быть новая страница на существующем сайте, изменение существующей страницы или совершенно новый сайт или блог.

Как только паук находит новый сайт или страницу, ему необходимо выяснить, о чем этот новый сайт или страница.

Еще на Диком Диком Западе ранней сети пауки поисковых машин были далеко не такими умными, как сегодня.Вы можете заставить паука проиндексировать и ранжировать вашу страницу, основываясь только на том, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице.

Для сегодняшнего успеха контента нельзя полагаться на эти старые стратегии поисковой оптимизации.

Ключевое слово даже не обязательно должно быть в теле страницы. Многие люди оценивали торговую марку своего крупнейшего конкурента, просто вставляя десятки вариантов этой торговой марки в метатеги страницы!

К счастью для пользователей поиска Google и этичных владельцев веб-сайтов, те времена давно прошли.

Сегодня за наполнение ключевыми словами и метатегами вы будете наказаны, а не вознаграждены. А мета-теги ключевых слов на самом деле вообще не являются частью алгоритма (хотя все же есть веские причины их использовать).

Если вы не будете осторожны, ваш сайт может вообще исключить из индекса, а это значит, что ваш сайт вообще не будет ранжироваться ни по одному ключевому слову.

В наши дни Google больше озабочен общим пользовательским опытом на вашем сайте и намерениями пользователей, стоящими за поиском — i.д., хочет ли пользователь что-то купить (коммерческое намерение) или чему-то научиться (информационное намерение)?

Они даже сделали Page Experience фактором ранжирования.

Не поймите меня неправильно — ключевые слова по-прежнему имеют значение. По словам Брайана Дина из Backlinko, важны и другие факторы — всего до 200. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и действительный код на всех ваших страницах.

Ничего из этого не будет иметь значения, если пауки не смогут определить поисковые системы, где находятся ваши страницы, то есть они не будут отображаться в результатах поиска.

Вот почему индексирование веб-сайтов так важно.

Проще говоря, индексирование — это способ паука собирать и обрабатывать все данные со страниц и сайтов во время их обхода по сети.

Частое индексирование улучшает результаты поиска.

Паук отмечает новые документы и изменения, которые затем добавляются в поисковый индекс, поддерживаемый Google. Эти страницы добавляются только в том случае, если они содержат качественный контент и не вызывают никаких тревог из-за нечестных действий, таких как заполнение ключевыми словами или создание кучи ссылок из источников с сомнительной репутацией.

Когда паук видит изменение на вашем веб-сайте, он обрабатывает как контент (текст) на странице, так и те места на странице, где размещены условия поиска. Он также анализирует теги заголовков, метатеги и атрибуты alt для изображений.

Затем этот паук добавляет или «индексирует» этот контент в Google.

Вкратце об индексировании. Это важный инструмент для веб-мастеров.

Когда поисковый пользователь приходит в поисках информации, вводя ключевые слова для поиска, алгоритм Google начинает работать.Затем алгоритм решает, где оценить страницу по сравнению со всеми другими страницами, связанными с этими ключевыми словами.

Частота индексации вашего сайта может повлиять на вашу эффективность в результатах поиска. Вы хотите, чтобы весь ваш последний контент был всегда доступен для тех, кто ищет, и для пауков Google.

Это краткая и несколько упрощенная версия того, как Google находит, анализирует и индексирует новые сайты, подобные вашему.

Многие другие поисковые системы, такие как Bing или Yahoo, следуют аналогичным процедурам, хотя могут быть различия в специфике, поскольку каждая имеет свой собственный алгоритм.

Какое значение имеют факторы индексации веб-сайтов?

Вам нужна эффективная индексная ставка для вашего веб-сайта.

Это означает, что вы хотите, чтобы пауки поисковых систем как можно быстрее находили ваш новый контент после того, как вы нажали кнопку «Опубликовать».

Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console.

Еще не настроили Google Search Console? Перейдите к шагу 2, чтобы узнать, как настроить свой веб-сайт.

В Search Console щелкните свой веб-сайт.Затем нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет». Вы увидите следующие графики:

Первый график показывает, как часто Google сканирует ваш сайт.

График «Запросы сканирования» показывает, как часто Google сканирует мой сайт каждый день.

Как показывает практика, чем больше ползать, тем лучше.

Однако в некоторых случаях чрезмерное сканирование может перегрузить ресурсы сервера. Обычно это результат неправильной конфигурации сервера, а не проблемы с пауками Google.

Это очень редко, поэтому вам, вероятно, не стоит об этом беспокоиться. Google позволяет вам изменять скорость сканирования (только вниз, а не вверх), если это происходит с вами.

Итак, как мне увеличить скорость сканирования?

В последнее время я много публикую и обновляю старый контент, поэтому Google стремится получать все мои обновления и изменения как можно быстрее. Он учится чаще проверять меня.

Я также перешел на новый веб-хостинг в апреле, который намного быстрее, чем мой старый.

Чем быстрее загружается ваш сайт, тем быстрее Google может его проиндексировать!

Google хочет рекомендовать своим пользователям лучшие веб-сайты. Он ищет сайты, которые удобны для пользователей. Хотя это включает в себя множество факторов, очень важны качественный контент и скорость загрузки сайта.

Проще говоря:

Более быстрый сайт = лучший пользовательский опыт.

Лучший пользовательский опыт = более высокий рейтинг в результатах поиска.

Гораздо важнее, чем то, как часто Google индексирует ваш сайт, сколько страниц он индексирует.Вы хотите, чтобы как можно больше страниц вашего сайта было проиндексировано.

(Не волнуйтесь, ваша карта сайта позаботится об этом, о чем я подробно расскажу в шаге 7.)

Но сначала давайте начнем с самого начала. Следующие 18 шагов проведут вас через все, что вам нужно знать об индексировании вашего сайта.

Вам не обязательно делать все 18 шагов, чтобы иметь хорошо проиндексированный веб-сайт, но если вам интересно, как повысить рейтинг в Google, это единственное руководство, которое вам когда-либо понадобится!

Если вы не создаете новый сайт, он, вероятно, уже проиндексирован.

Если вы не уверены, вот как это узнать.

Самый простой способ проверить это — выполнить поиск на сайте : yourdomain.com в Google. Если Google знает, что ваш сайт существует и уже просканировал его, вы увидите список результатов, аналогичный тому, который был показан для NeilPatel.com на скриншоте ниже:

Если Google еще не нашел ваш сайт, вы не получите никаких результатов, например:

Если ваш сайт уже проиндексирован, это хорошо, но, вероятно, его можно улучшить.

Остальные шаги в этом руководстве помогут вам убедиться, что ваш сайт проиндексирован в полной мере.

Если вы еще не знакомы с этими бесплатными инструментами Google, вот краткое описание.

Google Analytics: Измеряет статистику вашего веб-сайта, такую ​​как посетители, время, проведенное на сайте, какие страницы они просматривали, откуда они и т. Д.

Консоль поиска Google (ранее известная как Инструменты для веб-мастеров Google): Она позволяет отслеживать различные аспекты вашего веб-сайта, такие как время последнего сканирования, любые ошибки индексации, проблемы с безопасностью и т. Д.

Search Console также позволяет вам управлять некоторыми ключевыми аспектами вашего появления в результатах поиска и вручную отправлять карты сайта — все это я расскажу позже в этой статье.

Но сначала давайте приступим.

Если у вас уже есть Google Analytics и Search Console, нажмите здесь, чтобы перейти к Шагу 3: Создание стратегии контент-маркетинга.

Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.

Это может быть ваш @gmail.com или ваш адрес электронной почты @ mydomain.com, если вы используете сервис Google G Suite for Business.

Затем нажмите «Зарегистрироваться».

Введите имя и URL-адрес своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.

Вы увидите такую ​​страницу. Не паникуйте!

Есть несколько способов установить Google Analytics на свой сайт.

Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху.В моем случае это UA-98962030-1.

Это не мой настоящий идентификатор отслеживания! Просто говорю, не размещайте это в Интернете! 😉

Плагин Google Analytics от MonsterInsights для WordPress действительно прост в настройке.

Просто скачайте его, загрузите плагин в WordPress, активируйте его, и вы увидите этот экран.

Нажмите синюю кнопку «Аутентифицировать», и она проведет вас через все остальное.

Для настройки плагина у вас должен быть уже создан профиль Analytics, что мы и сделали на предыдущем шаге.

Если вы не используете WordPress или хотите добавить код Google Analytics вручную, вот как это сделать.

Вам необходимо поместить этот код (в красном поле) на каждую страницу вашего веб-сайта.

Самый простой способ сделать это — создать один файл с кодом в нем, а затем создать строку кода на каждой странице вашего веб-сайта, которая будет загружать этот файл.

Кусок торта, правда?

Не волнуйтесь, вот как это сделать!

Для этого шага вам необходимо иметь доступ к файлам вашего веб-сайта на сервере вашей хостинговой компании.Обычно это делается через FTP.

Откройте свой FTP-клиент (FileZilla — отличный, бесплатный) и войдите на свой сервер. Если у вас нет этой информации, вы можете создать учетную запись FTP в cPanel своего веб-хостинга или просто обратиться к своему веб-хостеру и попросить у них информацию.

Ваша регистрационная информация должна выглядеть примерно так:

После подключения вы увидите список подобных файлов и папок.

Откройте новый текстовый файл (для этого подойдут Блокнот для Windows или TextEdit для Mac).Убедитесь, что для него установлено значение «Только обычный текст».

В TextEdit вы нажимаете «Формат» -> «Сделать обычный текст», чтобы сделать это.

Это действительно важно, потому что текстовые процессоры, такие как Word, могут добавлять в код форматирование, которое может испортить код на вашем сайте. При работе с кодом всегда используйте обычный текст .

Когда у вас будет обычный текстовый документ, вставьте код Google Analytics. В итоге вы получите:

Сохраните файл как analyticstracking.php. Убедитесь, что у него есть расширение.php, а не .txt.

Если ваш текстовый редактор по какой-то причине сохранил его с именем «analyticstracking.php.txt», просто переименуйте файл на своем компьютере в «analyticstracking.php».

Загрузите этот файл в корневой каталог через FTP (первая папка вашего веб-сайта).

Вам нужно добавить одну строку кода для каждого шаблона страницы, который у вас есть. Это «вызывает» файл, который мы только что создали, и обеспечивает отслеживание каждой страницы вашего веб-сайта, использующей этот шаблон, в Google Analytics.

Для этого загрузите все файлы шаблонов PHP для своего веб-сайта и отредактируйте их.

Если у вас есть один с именем header.php, который загружается на каждой странице, вам нужно сделать это только один раз!

Загрузите header.php.

Затем откройте загруженный файл в текстовом редакторе.

Найдите тег и начало, например:

Вставьте одну строку кода сразу после тега.

Скопируйте этот код:

И вставьте сюда:

Сохраните файл header.php и повторно загрузите его на свой веб-сайт.

Готово!

Если у вас нет файла header.php, вам нужно повторить этот процесс для каждого шаблона страницы php, который есть на вашем веб-сайте, например index.php, blog.php и т. Д.

Если вы используете WordPress, вы определенно в выигрыше. Все, что вам нужно сделать, это установить плагин.

Хорошо, нужно настроить еще кое-что, и мы перейдем к шагу 3.

Теперь, когда мы настроили Google Analytics, пора добавить наш веб-сайт в Google Search Console (ранее известный как Google Webmaster Tools).

Щелкните здесь, чтобы перейти в Search Console. Войдите в свою учетную запись Google.

Вы увидите этот экран:

Нажмите «Начать сейчас».

Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это.

По умолчанию он может показать вам вариант подтверждения через ваш веб-хостинг.

Щелкните раскрывающееся меню, чтобы найти поставщика доменного имени.

Если вашего нет в списке, вы можете нажать «Другое» (внизу).

Search Console затем попросит вас создать запись TXT, которая включает изменение конфигурации вашего домена.

Это немного над головой? Не волнуйтесь, у меня есть способ попроще!

Если вы все же хотите добавить запись TXT, вот как это сделать.

Щелкните «Альтернативные методы» вверху.

Есть два простых способа подтвердить свой домен: с помощью Google Analytics или с помощью загрузки файла HTML.

Я расскажу о них обоих.

Чтобы подтвердить с помощью Google Analytics, просто выберите его и нажмите «Подтвердить».

Google проверит вашу учетную запись Google Analytics, чтобы убедиться, что вы являетесь тем, кем себя называете, и если да, то вы увидите сообщение об успешном завершении.Убедитесь, что вы используете тот же аккаунт Google с Search Console, что и с Google Analytics.

Процесс загрузки файлов HTML по-прежнему довольно прост.

Щелкните, чтобы загрузить файл на свой компьютер на шаге 1, затем снова откройте программу FTP. Загрузите HTML-файл Google в свой корневой каталог.

Затем перейдите по URL-адресу, который Google дал вам, чтобы убедиться, что файл там. В моем случае это https://neilpatel.com/googlefba739b2a6dd0306.html.

Если вы загрузили его правильно, вы увидите имя файла в окне браузера.

Вернитесь в Search Console и нажмите «Подтвердить» внизу.

Вот и все!

Обязательно оставьте HTML-файл на своем сервере. Это гарантирует, что ваш сайт будет оставаться подтвержденным в Search Console.

Есть еще две действительно важные вещи, которые вам нужно сделать сейчас:

• Добавьте обе версии своего домена neilpatel.com и www.neilpatel.com.
• Установите предпочтительный домен.

Вы спросите, зачем вам это нужно?

Это может вызвать ошибки сканирования, которых мы пытаемся избежать!

Добавить другую версию вашего URL-адреса просто — повторите тот же процесс, который я только что объяснил.В приведенном выше примере я подтвердил свой домен neilpatel.com. Поэтому я бы пошел в Search Console и проделал те же шаги, но вместо этого использовал бы neilpatel.com.

После того, как вы добавили в Search Console и yourdomain.com, и www.yourdomain.com, вам нужно установить предпочтительный домен.

Для этого нажмите на свой веб-сайт в Search Console.

В правом верхнем углу щелкните значок шестеренки и выберите Параметры сайта.

Выберите, хотите ли вы, чтобы ваши URL отображались с префиксом www.»Или без.

Я собираюсь показать вам все удивительные вещи, которые вы можете делать с помощью Search Console, позже в этой статье, так что держите эту вкладку открытой!

Но теперь нам нужно вернуться к основам маркетинга и поговорить о создании стратегии SEO для вашего контента.

В ваших интересах иметь письменную стратегию контент-маркетинга, ориентированную на результаты поиска.

Но не верьте мне на слово.

От Института контент-маркетинга:

«Те, у кого есть задокументированная стратегия контент-маркетинга:

• С гораздо большей вероятностью считают себя эффективными в контент-маркетинге
• Чувствуют себя значительно менее сложными во всех аспектах контент-маркетинга
• Считают себя более эффективными в использовании всех тактик контент-маркетинга и каналов социальных сетей
• Могут оправдать расходы более высокий процент маркетингового бюджета на контент-маркетинг »

Все это абсолютно верно.Что касается меня, я чувствую себя намного лучше, когда у меня есть письменный план действий, на который я могу ссылаться и отслеживать свой успех.

Мои блоги и многочисленные предприятия не росли бы так быстро, как они, без письменного плана.

Помимо того, что вы сосредотачиваетесь на своих целях, документированная стратегия содержания также помогает вам индексировать страницы вашего сайта, создавая новые страницы содержания.

Согласно отчету HubSpot «Not Another State of Marketing Report 2020», 60% контент-маркетологов заявили, что контент очень важен или чрезвычайно важен для их общей стратегии.

Одно исследование показало, что у компаний, использующих контент-маркетинг, коэффициент конверсии в шесть раз выше.

Делать все возможное, чтобы публиковать ценный, интересный и полезный контент, а затем делать все возможное, чтобы ваши потенциальные клиенты видели его.

Вот пример.

Когда я создаю и публикую на своем сайте профессиональную инфографику, и она публикуется на другой веб-странице со ссылкой на мою страницу, я получаю «кредит» контент-маркетинга за оба сообщения.

Поскольку это инфографика, у меня больше шансов привлечь аудиторию на обоих сайтах.

имеет один из самых высоких показателей вовлеченности читателей. Доказано, что большинство людей тратят больше времени на просмотр инфографики, чем на чтение текста на странице.

Но вы все это читаете, верно ?!

Инфографика распространяется в социальных сетях примерно в 3 раза чаще, чем любым другим типом контента.

Когда вы разрабатываете свою стратегию контент-маркетинга, блоггинг обязательно должен быть в списке.

Но вам также необходимо учитывать контент, который вы будете публиковать на других веб-сайтах. Это не только помогает увеличить ваш трафик, но также помогает повысить скорость индексации и получение входящих ссылок.

Вот несколько примеров внешнего контента, который можно использовать в вашем плане:

• Гостевые посты на других сайтах в вашей нише
• Пресс-релизы, отправленные на сайты, которые публикуют такой контент
• Статьи на сайтах высококачественных каталогов статей (Примечание: будьте осторожны здесь — подавляющее большинство каталогов статей , а не высокого качества и может навредить вашему бренду, репутации и поисковой оптимизации.)
• Некоторые авторитетные каталоги — это Medium и HubPages.
• Видео, размещенные на Vimeo или вашем канале YouTube

Конечно, любой контент , на котором вы размещаете свое имя или бренд, должен быть высокого качества и опубликован на авторитетном сайте с хорошей репутацией.

В противном случае вы нарушите цель поисковой оптимизации и нанесете ущерб своему трафику и бренду.

Контент, опубликованный на сайтах со спамом и имеющий обратную ссылку на ваш сайт, подсказывает результатам поиска Google, что ваш сайт также является спамом.

Примерами сайтов с хорошей репутацией, на которых можно публиковать гостевые сообщения, могут быть Forbes, Entrepreneur, Smashing Magazine и т. Д. Это известные веб-сайты с репутацией качественного контента, а это именно то, что вы хотите ассоциировать со своим брендом.

Не очень хорошие места для публикации? Сайты, полные некачественных красных флажков: загроможденные рекламой, множеством грамматических или орфографических ошибок или неизвестные в той отрасли, на которую вы ориентируетесь.

Я не хочу называть здесь никаких имен, но вашего здравого смысла должно хватить, чтобы сказать вам, что такое сайт, рассылающий спам.Например, сайт под названием neilsbestmarketingadvice101.tumblr.com, вероятно, мало что вам даст, верно?

Хорошо продуманный план контент-маркетинга поможет вам избежать безумной спешки по публикации большего количества контента. Это ставит вас на место водителя поисковой оптимизации, поэтому вы можете сосредоточиться на привлечении потенциальных клиентов и повышении коэффициента конверсии.

Создание стратегии письменного контента не должно быть трудным.

Вот фреймворк, который я использую для своего:

• Каковы ваши цели? Укажите цели SMART и способы измерения своего прогресса (т.е., метрики).
• Кто ваша целевая аудитория? Профили или личности клиентов важны для понимания вашей аудитории и того, что они хотят / в чем они нуждаются.
• Какие типы контента вы будете создавать? Вы должны быть уверены, что доставляете контент, который хочет видеть ваша целевая аудитория.
• Где это будет опубликовано? Конечно, вы будете размещать свой собственный контент на своем веб-сайте, но вы также можете обратиться к другим сайтам или использовать такие платформы, как YouTube, LinkedIn и Slideshare.
• Как часто вы будете публиковать свой контент? Гораздо лучше последовательно выпускать одну хорошо написанную и качественную статью в неделю, чем публиковать каждый день в течение недели, а затем ничего не публиковать в течение месяца. Последовательность — ключ к успеху.
• Какие системы вы выберете для публикации своего контента? Системы — это, по сути, просто повторяемые процедуры и шаги для выполнения сложной задачи. Они помогут вам сэкономить время и быстрее писать контент, чтобы вы могли не отставать от графика.Все, что помогает вам публиковать контент за меньшее время, не жертвуя качеством, улучшит вашу прибыль.
• Какие инструменты вы будете использовать? Укажите инструменты и технологии ведения блогов / контента, которые вы будете использовать, и то, как они вписываются в вашу систему.

После того, как вы задокументируете свой план контент-маркетинга, вам станет проще публиковать отличный контент по согласованному графику. Это поможет быстрее проиндексировать новые веб-страницы вашего сайта.

Зачем нужен блог?

Это просто: блоги — это трудолюбивые SEO-машины.Контент блога сканируется и индексируется быстрее, чем статические страницы.

Блоги также привлекают больше трафика. Компании, которые ведут блог, регулярно привлекают на свои сайты на 55% больше посетителей, чем те, которые этого не делают.

Блоги работают для любого бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей — даже для сайтов B2C и электронной коммерции.

Не бойтесь вести блог.

Да, это требует постоянных усилий. Вы действительно должны регулярно писать (или передавать на аутсорсинг) качественные и подробные сообщения в блог.

Награды, как я выяснил, того стоят.

Если у вас есть сайт электронной торговли, ведение блога не должно быть очень сложным или трудным.

Например, когда вы создаете страницу нового продукта, напишите и опубликуйте в блоге сообщение о новом продукте. Добавьте качественные изображения товара и ссылку на страницу товара. Это помогает поисковым системам быстрее индексировать страницу продукта.

Еще одна отличная стратегия ведения блога для электронной коммерции — писать пост каждый раз, когда покупатель задает вам вопрос.

Для более ориентированной на продажи стратегии поделитесь ссылкой на этот пост в блоге с другими блоггерами и влиятельными лицами, чтобы известить о них. Возможно, они захотят разместить ваш продукт в своих блогах, которые, опять же, являются отличным источником ссылок и трафика и положительно повлияют на вашу скорость сканирования.

Внутренние ссылки, то есть ссылки на страницы вашего собственного веб-сайта, — еще один отличный способ быстро проиндексироваться и повысить свою позицию в обычных результатах поиска.

Одним из очевидных источников внутренних ссылок является навигация по вашему сайту.

Важно структурировать навигацию по веб-сайту так, чтобы она была понятна Google.

Ваша навигация должна следовать предсказуемому потоку, например, Домашняя страница -> Категория -> Дополнительная страница.

Очевидно, что все элементы должны быть связаны. Итак, если вы веб-дизайнер, ваша навигация может выглядеть так.

Домашняя страница -> Услуги веб-дизайна -> Дизайн WordPress

Видите, как все это связано и имеет смысл?

Еще одним ключевым фактором является правильная структура ваших URL-адресов.Эмпирическое правило Google — сделать их максимально простыми и понятными.

Так что, если это имеет смысл для вас, человека, это должно иметь смысл и для Google.

Еще один отличный способ ссылаться на ваш контент — это сообщения в блогах.

Люди обычно связывают фразы в своих блогах с соответствующими темами, например, если бы я хотел предложить вам дополнительную информацию о структурировании URL-адресов.

Или я мог бы создать такую ​​строку:

Связано: Имеет ли значение структура URL-адреса? Ответ, управляемый данными

Создает ссылки, которые заставляют пауков Google возвращаться и сканировать эти страницы снова.Кроме того, это положительно влияет на пользовательский опыт. Ваши читатели оценят дальнейшие ресурсы.

Не забывайте всегда помнить об удобстве использования. Это идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить своим пользователям наилучшие результаты и дать им ответы, которые они ищут.

Вы должны сосредоточиться на одном и том же!

Естественно, побуждать людей делиться вашим контентом в социальных сетях — это хорошо.Совершенно уверен, что мне не нужно убеждать вас в этом!

Он открывает доступ к вашему контенту новым людям, привлекает их на ваш сайт, и это тот контент, который люди хотят видеть больше всего.

Но публикация ваших сообщений в социальных сетях также имеет преимущества для SEO, поскольку создает обратные ссылки на ваш контент.

Который, если вы внимательно … говорит паукам Google проиндексировать ваш сайт

бонусных балла, если вы уже догадались.

Сейчас ведутся споры о том, насколько ссылки в социальных сетях влияют на ранжирование в обычном поиске.

Google высказал неоднозначные мнения по этому поводу, заявив, что сначала в 2015 году они вообще не учитывали посты в социальных сетях для ранжирования в органическом поиске, а затем заявили, что они сделали это.

«Да, мы используем это как сигнал. Он используется как сигнал в нашем органическом рейтинге и рейтинге новостей. Мы также используем его, чтобы сделать наши новости универсальными, отмечая, сколько людей поделились статьей ».

Мэтт Каттс, бывший известный Google, сказал несколько лет назад:

Я снял видео еще в мае 2010 года, где я сказал, что мы не использовали «социальные сети» в качестве сигнала, и в то время мы не использовали это как сигнал, но сейчас мы снимаем это на пленку в декабре. 2010, и мы используем это как сигнал.

Bing, с другой стороны, очень четко дал понять, как он использует ссылки социальных сетей в рейтинге результатов поиска, известные как «социальные сигналы».

Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, и я один из них.

Обмен в соцсетях помог мне значительно расширить мой блог. Когда я основал NeilPatel.com, я начал с нуля и быстро увеличил свою аудиторию до 60 000 читателей в месяц за 2 месяца.

Сейчас у меня в среднем более 20 миллионов посещений в месяц.

Я приписываю большую часть своего успеха социальному обмену и положительному росту SEO, который я получил благодаря социальным сигналам, ссылкам и повышенной скорости индексации страниц.

В любом случае социальный обмен имеет много других преимуществ для вашего веб-сайта, так что просто сделайте это!

Во-первых, давайте поговорим о том, что такое карта сайта.

Вы, несомненно, видели слово «карта сайта» раньше, но, возможно, вы никогда не знали, что именно оно означает и как оно соотносится с поисковой оптимизацией.

Карта сайта — это файл, который сообщает Google о файлах на вашем веб-сайте, в том числе о том, как они соотносятся друг с другом. Это упрощает сканирование и индексирование вашего сайта Google.

Карта сайта — это в основном список (в формате XML) всех страниц вашего сайта . Его основная функция — сообщать поисковым системам, когда что-то изменилось — будь то новая веб-страница или изменения на определенной странице — а также то, как часто поисковая система должна проверять наличие изменений.

Влияют ли карты сайта на ваш поисковый рейтинг? Могут, но ненамного.

Они действительно помогают вашему сайту быстрее индексироваться с более эффективной скоростью сканирования.

В современном мире поиска существует множество мифов о поисковой оптимизации, которых следует опасаться. Но одно остается неизменным: при прочих равных, отличный контент поднимется на вершину, как сливки.

Sitemap помогает сканировать и индексировать ваш контент, чтобы он мог быстрее подняться на вершину поисковой выдачи, согласно блогу Google для веб-мастеров.

По словам Google, «отправка файла Sitemap помогает убедиться, что Google знает об URL-адресах на вашем сайте.”

Это гарантия, что ваш сайт будет немедленно проиндексирован? Нет. Но это определенно эффективный инструмент для веб-мастеров, который помогает в этом процессе.

Кейси Генри задался вопросом, насколько карты сайта повлияют на скорость сканирования и индексирование, поэтому он решил провести небольшой эксперимент.

Кейси поговорил с одним из своих клиентов, который вел довольно популярный блог, используя как WordPress, так и плагин Google XML Sitemaps Generator для WordPress (подробнее об этом ниже).

С разрешения клиента Кейси установил скрипт отслеживания, который отслеживал действия робота Googlebot на сайте.Он также отслеживал, когда бот обращался к карте сайта, когда она была отправлена, и каждую страницу, которая была просканирована. Эти данные хранились в базе данных вместе с отметкой времени, IP-адресом и пользовательским агентом.

Клиент просто продолжил свой обычный график публикации (около двух или трех сообщений в неделю).

Кейси назвал результаты своего эксперимента не чем иным, как «поразительными» с точки зрения поисковой оптимизации.

Но судите сами: когда карта сайта не была отправлена, Google потребовалось в среднем 1375 минут, чтобы найти, просканировать и проиндексировать новый контент.

Когда была отправлена ​​карта сайта? Это среднее значение упало до 14 минут.

Как часто вы должны сообщать Google, чтобы он проверял наличие изменений, отправляя новую карту сайта? Не существует твердого правила.

Однако некоторые виды контента требуют более частого сканирования и индексации.

Например, если вы добавляете новые продукты на сайт электронной торговли, и у каждого из них есть собственная страница продукта, вам нужно, чтобы Google часто проверял их, увеличивая скорость сканирования.То же самое верно и для сайтов, которые регулярно публикуют горячие или свежие новости, которые постоянно конкурируют в запросах поисковой оптимизации.

Но есть гораздо более простой способ создать и отправить карту сайта. Если вы используете WordPress, просто установите и используйте плагин Google XML Sitemaps.

Его настройки позволяют указать плагину, как часто карта сайта должна создаваться, обновляться и отправляться в поисковые системы. Он также может автоматизировать процесс для вас, так что всякий раз, когда вы публикуете новую страницу, карта сайта обновляется и отправляется.

Другие инструменты карты сайта, которые вы можете использовать, включают Генератор XML-карт сайта, онлайн-инструмент, который должен работать для любого типа веб-сайтов.

Получив карту сайта, вы хотите отправить ее в Google Search Console, о чем мы поговорим дальше.

Очень важно, чтобы ваша карта сайта была актуальной для Google Search Console. Я люблю заходить раз в 2 недели или, по крайней мере, ежемесячно, и обновлять его.

Еще не зарегистрированы в Google Search Console? Вернитесь к шагу 2, чтобы узнать, как это сделать.

Щелкните URL-адрес, чтобы перейти на панель управления для этого сайта. Слева в разделе «Индекс» нажмите «Карты сайта». Вы увидите уже отправленные в Google карты сайта, а также добавите новую карту сайта.

Для следующего шага вам понадобится URL-адрес вашей карты сайта. Если вы используете плагин для WordPress, эта информация будет доступна в его настройках.

Обычно это ваш домен.ru / sitemap.xml.

Как я упоминал выше, вы также можете использовать веб-сайт, такой как XML-Sitemaps.com, для его создания. Для этого просто введите свой URL и выберите периодичность изменения.

Частота изменения просто говорит Google, как часто он должен индексировать ваш сайт. Это всего лишь предложение Google, и паук должен определить, когда он вернется, чтобы снова проиндексировать ваш сайт.

Как только он предоставит вам файл sitemap.xml, загрузите его на свой веб-сайт через FTP.

Получив URL-адрес карты сайта, введите его в Google Search Console.

После отправки вы увидите это внизу страницы.

После того, как Google завершит его индексирование, столбец «Обработано» изменится с «Ожидание» на дату, когда он был проиндексирован.

Как видите, только 294 из 473 моих веб-страниц были проиндексированы! Будем надеяться, что за это время паук подберет их больше. Однако не беспокойтесь, если вы увидите похожую статистику — некоторые из этих страниц, вероятно, вы в любом случае не хотите индексировать (подробности см. В шаге 17!).

Возьмите за привычку отправлять новую карту сайта не реже одного раза в месяц.

Вы также можете использовать Инструменты Bing для веб-мастеров, чтобы сделать то же самое с Bing. Хорошо бы охватить все ваши базы, тем более что Bing — вторая по популярности поисковая система после Google!

Есть ли у вас профили в социальных сетях для вашего сайта или блога? Если нет, то сейчас самое время.

Почему? Потому что, как мы узнали на шаге 6, один из компонентов поисковой оптимизации — это внимание к социальным сигналам.

Эти сигналы могут побудить поисковые системы сканировать и индексировать ваш новый сайт.

Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.

К настоящему времени очевидно, что надежный маркетинговый план в социальных сетях помогает SEO. Но социальные профили на вашем веб-сайте также дают вам другое место для добавления ссылок на ваш сайт или блог.

профилей Twitter, страниц Facebook, профилей LinkedIn или страниц компаний, профилей Pinterest, каналов YouTube и особенно профилей или страниц Google+ — все это легко создать и является идеальным местом для добавления ссылок, указывающих на ваш веб-сайт.

Если вы не хотите создавать новые профили на социальных сайтах для своего нового сайта или блога, вы также можете просто добавить ссылку нового сайта к своим существующим профилям, чтобы увеличить скорость сканирования.

Однако я настоятельно рекомендую создавать новые профили для проектов. Помимо того, что это хорошо для SEO, это также отлично подходит для брендинга.

Это, вероятно, само собой разумеется, но если вы создаете эти каналы в социальных сетях, будьте готовы также регулярно обновлять их, добавляя новый контент.

Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл robots.txt в файлах своего домена и задавались вопросом, что это такое и для чего он нужен.

Часть «что это такое» очень проста. Это простой текстовый файл, который должен находиться в корневом каталоге вашего домена. Если вы используете WordPress, он будет в корневом каталоге вашей установки WordPress.

Часть «что он делает» немного сложнее.По сути, robots.txt — это файл, который дает строгие инструкции для роботов поисковых систем о том, какие страницы они могут сканировать и индексировать — и от каких страниц следует держаться подальше.

Когда поисковые роботы находят этот файл в новом домене, они читают содержащиеся в нем инструкции, прежде чем делать что-либо еще.

Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.

Теперь вы можете спросить: «С какой стати мне нужно, чтобы поисковые системы , а не индексировали страницу на моем сайте?» Это хороший вопрос!

Короче говоря, это потому, что не каждую страницу, существующую на вашем сайте, следует считать отдельной страницей для результатов поиска.(Подробнее об этом позже!)

Ваш первый шаг — убедиться, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо по FTP, либо щелкнув свой файловый менеджер через CPanel (или аналогичный, если ваша хостинговая компания не использует CPanel).

Если его там нет, вы можете легко создать его с помощью текстового редактора, такого как Блокнот.

Примечание: Очень важно использовать только текстовый редактор, а не что-то вроде Word или WordPad, которые могут вставлять невидимые коды в ваш документ, что действительно испортит ситуацию.

WordPress-блоггеры могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как плагин Yoast для SEO.

Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который представляет собой просто имя поискового бота — например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве идентификатора подстановочного знака для всех ботов. Этот тип плагина WordPress — эффективный инструмент для веб-мастеров.

Далее идет строка разрешающих или запрещающих команд.Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие — игнорировать («Запрещать»).

Эти правила гарантируют, что только те страницы, которые вы хотите проиндексировать, попадут в результаты поиска.

Итак, напомним: функция robots.txt заключается в том, чтобы сообщать поисковым системам, что делать с содержанием / страницами на вашем сайте. Но помогает ли это проиндексировать ваш сайт?

Суровый Агравал из ShoutDreams Media говорит:

Да.

Он смог проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая роботов.txt и методы SEO на странице.

При этом важно быть очень осторожным при редактировании файла robots.txt, потому что легко ошибиться, если вы не знаете, что делаете.

Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как правильно редактировать файл robots.txt, чтобы не снизить скорость сканирования.

Вы можете нанять опытного разработчика, который позаботится об этой работе, и оставить его в покое, если вам не нравится риск навредить вашему SEO.

Если вы действительно хотите попробовать это самостоятельно, вы можете использовать инструмент Google robots.txt, чтобы убедиться, что ваш файл правильно закодирован.

Вы также можете воспользоваться прямым подходом и отправить URL своего сайта в поисковые системы.

Прежде чем вы это сделаете, вы должны знать, что существует множество разногласий по поводу ручной отправки URL сайта как метода его индексации.

Некоторые блоггеры полагают, что это как минимум ненужно, если не вредно.

В большинстве случаев, если ваш сайт работает дольше недели, поисковые системы его уже нашли. Отправлять вручную бессмысленно, а платить компаниям за вас — это кража.

Ручная отправка в поисковую систему также может быть вредной, когда вы размещаете свой сайт на сайтах бесплатной отправки, которые предлагают разместить ваш сайт в нескольких поисковых системах. Эти ссылки могут быть некачественными и негативно сказаться на вашем SEO.

Видите все эти случайные каталоги и веб-сайты, куда будет отправлен ваш сайт?

Если эти сайты рассматриваются Google как спам, наличие с них ссылок на ваш сайт повредит вашему SEO-рейтингу.Google накажет вас за «привязанность» к этим сайтам.

Поскольку есть и другие методы, которые работают эффективно, большинство блоггеров и владельцев сайтов игнорируют этот шаг.

С другой стороны, это не займет много времени и не повредит вашему SEO, если вы просто отправляете данные в Google, Bing, Yahoo или другие очень уважаемые веб-сайты.

Чтобы отправить URL-адрес вашего сайта в Google, просто попросите Google повторно просканировать ваши URL-адреса с помощью обновления карты сайта или используйте инструмент проверки URL-адресов.

Примечание: раньше Google позволял вам напрямую отправлять URL-адреса для индексации, но теперь этого не делает.

Агрегаторы контента — это веб-сайты, которые действуют как поисковая система для контента, отправленного пользователями.

Это означает, что люди отправляют свой контент на эти сайты, а затем посетители могут искать и находить контент от людей со всего мира. Это огромные сети с доступным для поиска контентом.

Хорошо известные примеры — Reddit и Medium.

Размещение вашего контента на агрегаторах — отличный источник ссылок и новых контактов, как и социальные сети.

Некоторые другие агрегаторы, на которых вы можете поделиться своим контентом:

Medium — также отличное место для публикации вашего контента. Для получения более подробной информации ознакомьтесь с моим полным руководством по увеличению посещаемости вашего веб-сайта с помощью Medium.

Еще один простой способ получить ссылки на ваш новый сайт или блог — это обновления вашего собственного социального статуса.

Конечно, эти ссылки будут nofollow, но они все равно будут учитываться для целей оповещения об индексировании, поскольку мы знаем, что Google и Bing, по крайней мере, отслеживают социальные сигналы с веб-страниц.

Старая поговорка «ваша сеть — это ваш собственный капитал» также применима и здесь. Если вы только начинаете, вашими первыми клиентами могут быть семья, друзья или знакомые, поэтому не стесняйтесь делиться своим новым сайтом в своих личных аккаунтах в социальных сетях.

Если вы используете Pinterest, выберите высококачественное изображение или снимок экрана со своего нового сайта.

Добавьте URL-адрес и оптимизированное описание (т.е. убедитесь, что вы используете подходящие ключевые слова для своего сайта) и закрепите его либо на существующей доске, либо на новой, которую вы создаете для своего сайта.

Мне нравится, как Whole Foods использует Pinterest для взаимодействия со своей целевой аудиторией (например, гурманами и любителями натуральных рецептов). У них есть доски для каждой темы, включая текущие праздники и сезонные тенденции.

Если вы на YouTube, проявите творческий подход! Запишите короткий видеоролик, представляющий ваш сайт и подчеркивающий его особенности и преимущества. Затем добавьте URL-адрес в описание видео.

Social Media Examiner предлагает поместить ваш URL в первую строку описания.

Я также рекомендую использовать правильные ключевые слова в заголовке и описании.

Если у вас есть существующий список рассылки из другой компании, относящейся к той же нише, что и ваш новый сайт, вы можете разослать по всему списку рассылку, представляя ваш новый сайт и включая ссылку.

Джон Морроу, известный Copyblogger, сделал это со своим новым сайтом Unstoppable.me. Он составил список адресов электронной почты тысяч людей из своих многочисленных предприятий и успешно использовал его для привлечения трафика на свое новое предприятие.

Когда он опубликовал свой первый пост, он разослал электронное письмо своим подписчикам с других своих веб-сайтов, чтобы сообщить им о своем новом сайте.

Он также использовал раздел биографии на своем сайте SmartBlogger, чтобы привлечь трафик на свой новый блог.

Его первая публикация на Unstoppable.me собрала более 60 000 репостов в Facebook и 3 000 репостов в Twitter всего за первый месяц.

Наконец, не забывайте о своей личной учетной записи электронной почты. Добавьте свой новый URL-адрес и имя сайта в подпись электронной почты.Это просто, но работает.

Что такое RSS?

RSS — это автоматический канал содержания вашего веб-сайта, который обновляется, когда вы публикуете новое сообщение в блоге. Это расшифровывается как Really Simple Syndication или Rich Site Summary и подходит как для пользователей, так и для владельцев сайтов.

Как это влияет на индексирование и сканирование?

Что ж, прежде чем мы перейдем к этому, давайте проясним одну вещь: многие думают, что RSS мертв.

Число пользователей неуклонно снижается с тех пор, как Google убил Google Reader в 2013 году.Я думаю, что RSS развивается, а не умирает.

RSS обычно помогает увеличить читаемость и коэффициент конверсии, но он также может помочь проиндексировать ваши страницы .

Для пользователей RSS-каналы предоставляют гораздо более простой способ получить большой объем контента за более короткий промежуток времени.

Пользователи могут подписаться на ваш RSS-канал в своей любимой программе для чтения RSS и автоматически получать ваши новые сообщения. Популярные программы чтения RSS — Feedly и Feeder.

Как владелец сайта, вы получаете мгновенное распространение нового контента и возможность для читателей подписаться на вас, не отказываясь от своего адреса электронной почты, что не нравится некоторым людям.

Хотя вы по-прежнему хотите сосредоточить большую часть своих усилий на создании списка рассылки, предложение подписки на RSS-канал улучшает пользовательский опыт, предоставляя людям, заботящимся о конфиденциальности, еще один вариант подписки на вас.

Рассматривая RSS-канал, вы должны следовать нескольким рекомендациям:

• Решите, хотите ли вы показать полное содержание сообщения или отрывки. Если вы пишете длинный контент (более 2 000 слов), вам, скорее всего, следует выбрать в своем RSS-канале только отрывки.
• Убедитесь, что ваш канал включает изображения , иначе ваши подписчики могут упустить ценную инфографику или другую графику, необходимую для понимания сообщения.

Настройка RSS-канала с помощью Feedburner (собственный инструмент Google для управления RSS) помогает уведомить Google о том, что у вас есть новое сообщение в блоге или страница, готовая к сканированию и индексированию.

Чтобы создать RSS-канал для своего сайта, перейдите на Feedburner. Войдите в свой аккаунт Google.

Введите свой URL-адрес в поле и нажмите Далее.

Дайте своему каналу заголовок и URL-адрес Feedburner (это будет публичный адрес вашего RSS-канала).

После этого вы увидите сообщение об успешном использовании нового URL-адреса Feedburner. Чтобы заставить людей подписаться на него, просто укажите ссылку на этот URL.

Например, у вас может быть кнопка на вашем веб-сайте с надписью «Подписаться через RSS» и ссылкой на этот URL.

Вы, вероятно, уже знаете, что размещение вашего нового URL в каталогах блогов может помочь вашему сайту «быть найденным» новыми потенциальными пользователями.Разве я не говорил тебе не делать этого несколько шагов назад?

Дело в том, что ваш веб-сайт можно проиндексировать быстрее, если вы все сделаете правильно.

Давным-давно бесплатные каталоги блогов засоряли цифровой ландшафт. Существовали буквально сотни — если не тысячи — этих сайтов, и большинство из них не представляли никакой ценности для читателей блогов.

Проблема качества стала настолько серьезной, что в 2012 году Google удалил многие бесплатные каталоги сайтов из своего индекса, правильно понизив рейтинг веб-страниц с небольшой ценностью контента.

Moz изучил проблему, проанализировав 2678 каталогов, и в итоге пришел к выводу, что «из 2678 каталогов только 94 были забанены — не так уж и плохо.

Однако было еще 417 дополнительных каталогов, которые избежали блокировки, но были наказаны ».

Так что же ответ?

Если вы собираетесь отправлять в каталоги, убедитесь, что вы отправляете только в авторитетные каталоги с достойным рейтингом.

Списки лучших каталогов, составленные отраслевыми и авторитетными блогами, могут помочь вам отделить хорошее от плохого, но убедитесь, что список, который вы используете, актуален.

Например, этот от Harsh Agrawal был обновлен совсем недавно, в 2019 году.

Другие варианты, которые вы, возможно, захотите изучить: TopRank, который имеет огромный список сайтов, на которые вы можете отправить свой RSS-канал и блог; Technorati, который является одним из лучших каталогов блогов; и — после того, как вы опубликовали приличное количество высококачественного контента — субдомен Alltop для вашей ниши или отрасли.

Отправка на высококачественные сайты с приличными рейтингами авторитета домена может не только открыть ваш контент для совершенно новой аудитории, но также предоставить входящие ссылки, которые могут подтолкнуть поисковые системы к сканированию и индексации вашего сайта.

Самый простой способ разместить свой сайт сразу в нескольких каталогах — воспользоваться бесплатным сервисом Ping O Matic.

Ping O Matic уведомляет каталоги о том, что ваш веб-сайт изменился и что они должны его проиндексировать. Это займет около 30 секунд, и вот как это сделать.

Введите название вашего блога, URL-адрес домашней страницы и URL-адрес RSS (если он у вас есть), как это. В разделе Services to Ping выберите каталоги, которые подходят для вашего сайта:

Нажмите «Отправить пинг», и все готово.

Этот шаг действительно важен для поддержания частоты индексирования. Я люблю проверять свои веб-сайты на наличие ошибок сканирования хотя бы раз в месяц.

Чтобы проверить наличие ошибок сканирования, откройте Search Console.

Слева нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет».

На странице статистики сканирования вы можете узнать, как часто Google индексирует ваш веб-сайт, и это определенно то, за чем нужно следить.

Например, если мои результаты растут, это означает, что Google теперь индексирует меня чаще — это хорошо. Но если ваш график имеет тенденцию к снижению, это может быть признаком того, что вам нужно опубликовать больше контента или отправить новую карту сайта.

Затем посмотрите в разделе «Индекс» и нажмите «Покрытие».

На этом экране отображаются все ошибки, с которыми робот Googlebot столкнулся при сканировании вашего сайта, например ошибки 404.

Вот то, что вам следует отслеживать хотя бы раз в месяц:

• Ошибки сканирования
• Среднее время ответа
• Статистика сканирования

Еще один отличный инструмент, которым можно воспользоваться, — это тестер структурированных данных.Google использует структурированные данные, чтобы лучше понять, о чем ваш сайт.

Структурированные данные в основном означают, что вы предоставляете Google релевантную информацию, чтобы помочь ответить на вопросы пользователей.

Вот пример. Я искал концерты рядом со мной.

Этот веб-сайт использовал структурированные данные, чтобы сообщить Google, что эти списки будут полезны для меня, и они отображаются под обычным заголовком и описанием страницы SEO.

Так как вы это тоже получили?

Он довольно продвинутый, так что это может быть еще один элемент, который вы захотите передать на аутсорсинг разработчику.

Вы можете увидеть все варианты структурированных данных в галерее поиска Google.

У Google также есть упрощенный инструмент, который помогает людям, не являющимся разработчиками, добавлять структурированные данные на свои сайты. Перейдите в Помощник по разметке структурированных данных и введите информацию о своем веб-сайте.

Затем вам просто нужно выделить элемент на веб-странице, который вы хотите преобразовать в структурированные данные.

Из всплывающего меню вы можете добавить такие атрибуты, как Автор, Дата публикации, Изображение, URL, Текст статьи и т. Д.

Если вы внедрили структурированные данные, вы можете использовать инструмент тестирования для их проверки.

Опять же, это довольно сложный процесс, поэтому, если вы не разработчик, вероятно, лучше всего нанять профессионала, который позаботится об этом за вас.

Есть некоторые страницы, которые вы не хотите, чтобы Google или другие поисковые системы индексировали. Вот страницы, которые вы не хотите показывать в поиске:

Страницы с благодарностью: Обычно это страницы, на которые кто-то попадает после подписки на ваш список рассылки или загрузки электронной книги.Вы же не хотите, чтобы люди проходили мимо очереди и сразу переходили к товарам! Если эти страницы будут проиндексированы, вы потеряете потенциальных клиентов, заполнивших форму.

Дублированное содержание: Если какие-либо страницы вашего сайта имеют повторяющееся содержание или немного отличаются друг от друга, например, страница, для которой вы проводите A / B-тест, вы не хотите, чтобы это индексировалось.

Скажем, например, у вас есть две страницы с одинаковым содержанием на вашем сайте. Возможно, это связано с тем, что вы проводите сплит-тестирование визуальных элементов своего дизайна, но содержание двух страниц совершенно одинаково.

Дублированный контент, как вы, наверное, знаете, потенциально может стать проблемой для SEO. Итак, одно из решений — использовать файл robots.txt, чтобы поисковые системы игнорировали один из них.

Вот как сделать так, чтобы страницы, которые вы хотите исключить, не индексировались.

Помните тот файл robots.txt, который мы создали на шаге 10? Вы можете добавить в него директивы, чтобы поисковые системы не индексировали файл или весь каталог. Это может быть удобно, если вы хотите, чтобы целый раздел вашего сайта оставался неиндексированным.

Чтобы добавить это, откройте файл robots.txt.

См. Шаг 10, чтобы узнать, как это сделать, если вам нужно напомнить.

Чтобы заблокировать индексирование страницы, введите этот код в файл robots.txt.

Запретить: / nameoffolder /

Блокирует все в этой папке. В качестве альтернативы вы можете просто заблокировать один файл.

Запрещено: /folder/filename.html

Сохраните его, повторно загрузите на свой сервер и все. Для получения дополнительной информации о robots.txt, посетите robotstxt.org.

Этот вариант очень прост. Когда вы создаете ссылку на своем сайте, просто добавьте тег nofollow или noindex к ссылке .

Во-первых, давайте рассмотрим, что они означают.

Nofollow: Указывает Google не сканировать ссылки на этой странице.

Это означает, что если я перейду на ваш сайт с neilpatel.com и использую ссылку nofollow, ни один из моих ссылок (или авторитет домена) не будет передан вам.

Noindex: Сообщает Google не индексировать страницу, даже если паук ее видит. Он не будет добавлен в результаты поиска.

Вы можете использовать оба одновременно.

Вот пример.

Если вы делаете ссылку на специальную целевую страницу мероприятия, которое проводите только для VIP-персон, и не хотите, чтобы эта страница отображалась в результатах поиска, вы должны указать ссылку на нее с помощью тега noindex.

Это будет выглядеть так: Посмотрите мой супер крутое событие .

Даже если люди будут искать в Google «супер крутое мероприятие Нейла», эта страница не появится.

(Вы, однако, получите много вариантов концертов, посвященных памяти Нила Даймонда.)

Чаще всего вам понадобится тег noindex. Обычно вы хотите использовать nofollow только для партнерских ссылок, ссылок, за создание которых вам кто-то заплатил, или для которых вы получаете комиссию. Это потому, что вы не хотите «продавать ссылки».

Когда вы добавляете nofollow, он сообщает Google не передавать полномочия вашего домена этим источникам.По сути, он защищает Интернет от повреждений, когда дело доходит до ссылок.

Если вы хотите, чтобы вся страница была исключена из результатов поиска из всех источников, вместо того, чтобы просто включать теги nofollow или noindex в ваши ссылки, выполните следующие действия.

Сначала откройте HTML-код страницы.

Если вы используете CMS (систему управления контентом), такую ​​как WordPress, вы можете отредактировать этот файл с помощью Yoast, чтобы добавить тег noindex.

Если у вас нет такой CMS, как WordPress, вы можете загрузить страницу, которую нужно отредактировать, через FTP.

Не знаете, как использовать FTP? Вернитесь к шагу 2, где я это объясню!

Нажмите на страницу, которую хотите исключить из результатов поиска, и загрузите ее.

Откройте его в текстовом редакторе. Блокнот для Windows или TextEdit на Mac отлично подходят для этого. Найдите тег, например:

Прямо перед этим тегом вы хотите вставить ОДИН из следующих фрагментов кода.

Если вы хотите, чтобы страница была исключена из результатов поиска, но по-прежнему переходила по ссылкам на странице, используйте:

Если вы хотите, чтобы страница включалась в результаты поиска, но чтобы Google не переходил по ссылкам на странице, используйте:

И, если вы хотите, чтобы страница была исключена из поиска И чтобы Google не переходил по ссылкам, используйте:

Как это:

Итак, что мы узнали об индексировании?

Каждый раз, когда вы обновляете свой веб-сайт, Google хочет сканировать его чаще.

Отличный способ заработать на этом — составить план регулярного обновления старого контента.

Именно этим я сейчас и занимаюсь с этим мега-сообщением!

Этот пост был первоначально опубликован в 2015 году, и я стараюсь обновлять его по крайней мере каждые несколько месяцев или, когда происходят серьезные изменения в Google, чтобы поддерживать его в актуальном состоянии.

Информация быстро устаревает, особенно в быстро меняющемся мире маркетинга. Каждый месяц я составляю список своих старых постов и выбираю несколько, чтобы обновить их свежей информацией и советами.Редактируя хотя бы несколько сообщений в месяц, я гарантирую, что мой контент останется актуальным и полезным.

Для наилучшего влияния на скорость индексации старайтесь обновлять свой веб-сайт не реже трех раз в неделю. Этими тремя вещами могут быть публикация одного нового сообщения в блоге и обновление содержимого двух старых сообщений.

Обновление по крайней мере три раза в неделю говорит Google, что лучше проверять у вас почаще, чтобы убедиться, что на нем установлена ​​последняя версия вашего сайта.

Вся эта индексация и новая информация означает, что обновление ваших старых сообщений может увеличить ваш органический поисковый трафик на 111%!

Вот несколько простых способов обновить старый контент.

Проверьте устаревшие факты или термины: Например, в этом сообщении упоминались Инструменты Google для веб-мастеров, которые теперь называются Search Console.

Ссылка на свежие источники информации: Если вы написали сообщение о SEO в 2013 году и использовали данные того же года в своем сообщении, тогда это нормально, но не в 2017 году. Обновите свои оценки и вспомогательную информацию, чтобы они были свежими.

Неработающие ссылки / новые ссылки: Проверьте неработающие ссылки и исправьте их, или при необходимости измените любые ссылки в вашем сообщении на более качественные источники.Например, я могу перенаправить старые ссылки на свежий, новый контент на моем собственном сайте.

Ссылка на другой ваш контент: Включите ссылки на новые сообщения или соответствующий контент, который вы опубликовали после исходного сообщения. Большинство блогеров делают это так:

Связанный: SEO мертв?

Обновите свои точки зрения: Это важно. Просмотрите старые сообщения и обновите свои рекомендации до более актуальных, если необходимо. Вещи меняются! То же самое и с решениями, которые вы предлагаете людям.

Какие факторы индексации сайта важны?

Скорость сканирования, способность Google и других поисковых систем индексировать и сканировать ваш сайт, а также ошибки, обнаруженные Google (см. Консоль поиска Google)

Как Google индексирует ваш сайт?

Google использует внутренние ссылки и карты сайта для сканирования вашего сайта. Вы можете отправить карту сайта своего сайта в Google Search Console.

Насколько важен контент-маркетинг для индексации вашего сайта Google?

Увеличение посещаемости ваших страниц может помочь им проиндексировать.Создайте стратегию контент-маркетинга и цели для увеличения вашего трафика.

Какие области контентной стратегии важны для моего нового сайта?

Определите свои цели, целевую аудиторию, типы контента, частоту публикации, систему управления контентом и инструменты, которые вы будете использовать для публикации и продвижения контента.

Google Индексирует ваш сайт Заключение

Надеюсь, вам понравилось это подробное руководство по индексации вашего сайта!

Я знаю, что это очень важно. Я и половины этого не знал, когда начал вести блог.

В моем первом блоге я установил Google Analytics, и все!

Конечно, тогда у нас не было такого количества возможностей для улучшения нашего SEO-рейтинга или индексации, и это не управлялось сложным алгоритмом, как сейчас.

Вот почему я написал это руководство. При запуске нового веб-сайта так важно изучить SEO и индексацию, особенно в условиях высокой конкуренции.

Можно занять место на первой странице и «победить больших парней», но для этого требуется много работы и исследований.

Лучший совет, который у меня есть:

Продолжайте учиться и будьте в курсе новостей отрасли. Все меняется так быстро, особенно когда дело касается поисковых систем.

Изучите SEO и перепроверьте любой новый предложенный метод с помощью собственного независимого исследования, прежде чем пробовать его.

Убедитесь, что вы часто обновляете свой сайт — не только с новым содержанием, но и с обновлением старых сообщений. Это заставляет Google возвращаться, чтобы часто сканировать ваш сайт, и сохраняет эти сообщения актуальными для новых посетителей.

Затем составьте план цифрового маркетинга.

Запишите план контент-маркетинга, включая то, как вы будете отслеживать индексирование, аналитику и как вы будете обновлять старую информацию на своем сайте. Для меня не было бы возможности расти так быстро, как я, без письменного плана.

Наконец, получите профессиональную помощь в области SEO, если она вам нужна. Не у всех владельцев бизнеса есть время, чтобы оставаться на вершине маркетинга, тем более, что он так быстро меняется. Профессионал часто может получить результаты намного быстрее — и фактически сэкономить ваши деньги в долгосрочной перспективе.

Какие тактики сканирования и индексирования вы пробовали? Каковы были ваши результаты?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

• SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
• Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
• Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

8 способов получения просканированных URL-адресов

Получение просканированных URL

Итак, у вас уже есть веб-сайт, и некоторые из его страниц ранжируются в Google, отлично!

Но как насчет изменения страниц или URL-адресов вашего веб-сайта? А как насчет новых, перенаправленных или просроченных URL-адресов?

Мы могли бы сидеть сложа руки и ждать, пока Google просканирует эти обновленные URL-адреса, или мы могли бы попытаться активно помочь Google найти и просканировать их, чтобы изменения как можно скорее отразились в поисковой выдаче Google.

Вот несколько способов добиться этого:

1. Ссылка с ключевых проиндексированных страниц

Если вы установите ссылку на новые URL-адреса с существующих страниц, Google обнаружит эти страницы автоматически. Насколько хорошо это работает, зависит от архитектуры веб-сайта. Например, он отлично подходит для блогов, где последний контент появляется в верхней части страницы, который только и ждет, чтобы его обнаружили, но он не особенно эффективен для электронной коммерции или ориентированных на рекламу веб-сайтов, где может быть большое количество новых ссылок. добавлен внизу веб-страницы.

Если Google обнаружит новую ссылку на старую страницу, он с большей вероятностью будет сканировать эту страницу чаще, поэтому добавление новых ссылок на повторно активированные страницы должно ускорить их обнаружение.

В качестве примечания: даже если URL-адрес не связан, а просто включен в текст, Google все равно может его обнаружить.

2. Перенаправление с другого URL-адреса

Аналогично связыванию, если существующий URL сканируется снова и перенаправляется на новый URL, этот новый URL будет просканирован.

Когда вы переделываете, переносите или меняете платформу своего веб-сайта, вы также должны перенаправить все свои изображения, файлы JavaScript и CSS, чтобы новые URL-адреса могли быть обнаружены быстрее.

3. Карты сайта

Sitemap были изобретены, чтобы помочь веб-сайтам обнаруживать свои страницы, если они недоступны для сканирования; распространенная проблема в первые дни Интернета.

Чтобы обеспечить оптимальную частоту сканирования, максимально разбейте карты сайта и поместите новое или обновленное содержимое в отдельные карты сайта.

Если вы хотите, чтобы Google видел ваши перенаправленные URL-адреса, например, после изменения URL-адреса, вы можете отправить старые URL-адреса в карту сайта, чтобы помочь Google быстрее сканировать их повторно.

Вы также можете отправить XML-карту сайта с просроченными страницами, чтобы быстрее удалить их из индекса Google. Лучше всего поместить их в отдельный файл карты сайта, чтобы вы могли просматривать их отдельно от других индексируемых URL.

4.RSS

RSS-канал фактически аналогичен файлу Sitemap и может быть отправлен как таковой в Search Console. Однако они не будут обнаружены автоматически, поэтому их нужно отправлять вручную.

5. Pubsubhubbub

Это самый быстрый способ обнаружить контент, и его можно использовать для любого типа контента.

Вы добавляете ссылку на концентратор в свой RSS-канал, который Google обнаруживает после следующего сканирования.Затем Google подпишется на канал, предоставив URL-адрес ping, и прекратит сканирование. Затем скрипт PubSubHubbub проверяет Google каждый раз, когда в фид добавляется новый элемент, чтобы предложить Google сканировать фид.

6. Отправить URL

Google имеет инструмент «Отправить URL» для добавления отдельных URL-адресов в индекс Google, хотя он плохо масштабируется, поэтому полезен только для небольших веб-сайтов с небольшим количеством страниц.

https://www.google.com/webmasters/tools/submit-url?hl=en_uk

7.Скачать как Google

После использования инструмента «Просмотреть как Google» вы получаете возможность отправить в индекс.

Выберите «Сканировать только этот URL», чтобы отправить в Google один отдельный URL для повторного сканирования. Таким способом можно отправлять до 500 отдельных URL-адресов в месяц.

Выберите «Сканировать этот URL-адрес и его прямые ссылки», чтобы отправить URL-адрес и все другие страницы, на которые он ссылается, для повторного сканирования. Вы можете подавать до 10 таких запросов в месяц.

Это также эффективный способ получить обновленные роботы.txt обнаруживается быстрее.

8. API индексирования приложений

Если у вас есть мобильное приложение, вы можете отправлять контент в Google с помощью API индексирования приложений.

https://developers.google.com/app-indexing/android/publish

Чего НЕ делать

Электронная почта

Многие люди предполагали, что Google использовал электронную почту для обнаружения новых URL-адресов. Однако после долгих испытаний стало ясно, что это не так.

https: // magicseoball.com / делает-google-use-gmail-for-url-discovery /

Google Analytics

Google не использует данные Google Analytics для обнаружения URL-адресов, но они исторически обнаруживали URL-адреса, которые были жестко закодированы в JavaScript.

Ссылки JavaScript

Google теперь может обрабатывать JavaScript и, следовательно, может обнаруживать новые ссылки JavaScript. Однако есть один недостаток: обработка JavaScript занимает больше времени, чем сканирование чистого HTML («на обработку требуется еще один или два цикла», — говорит Джон.

В заключение, вам не следует полагаться на контент, сгенерированный JavaScript, для быстрой индексации URL-адресов.

Итак, у вас есть несколько различных способов сканирования URL.