Тёмный

🤖 ROBOTS.TXT 🤖 qué es, y porqué puede afectar al SEO de nuestra web - Curso SEO 2.1.13 

David Cuesta SEO
Подписаться 53 тыс.
Просмотров 23 тыс.
50% 1

robots.txt sirve para bloquear el acceso a bots como el google bot. Este año han habido novedades y debes conocerlas, el archivo robots.txt ya no es importante, pero si lo usas mal puede perjudicarte mucho en tus páginas web.
Este es el capítulo 13 del módulo 2 del curso de SEO gratis en youtube, si quieres acceder a toda la parte premium, visita chorri.club
¡No te pierdas nada!
davidcuesta.es Mi web personal, ahí encontraréis la versión escrita de mis vídeos junto a herramientas, descargables, y algunas cosillas más que os iré trayendo.
chorri.club Comunidad de personas como tú y como yo que se quieren dedicar al desarrollo web o a ganar dinero por Internet.
/ dcuestafp Recomiendo cosas interesantes y anuncio alguna que otra cosa.
/ chorricuesta Para los más curiosones, cuento mi día a día.

Опубликовано:

 

11 дек 2019

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 104   
@DavidCuesta
@DavidCuesta 5 месяцев назад
Actualización 2024: La información de este capítulo todavía es 100% actual :) Nota: Antes yo no recomendaba usar nunca robots.txt para bloquear partes de la web enlazadas internamente, sin embargo he aprendido que puede ser útil para ir liberando contenido poco a poco en webs grandes, o evitar indexar algo por cualquier medio, como mucho se indexa pero no se muestra. Si quieres un curso actualizado y completo, visita: chorri.club/itinerario-consultor-seo/ --> Matrícula gratis en ChorriClub: DAVIDCUESTA Información original del curso: chorri.club/curso-seo/
@peladodez
@peladodez 4 года назад
Feliz Cumpleaños!!... y gracias por el video
@albertoleon4514
@albertoleon4514 4 года назад
Excelente curso. Altamente recomendado. El expositor comunica excelente. Dominio perfecto del tema.
@javierdelsaltocapilla
@javierdelsaltocapilla 3 года назад
Me están saliendo ahora todos tus videos! Son geniales! me alegro que subas este pedazo de contenido para todos! Grandioso! Por cierto, algo sobre AMP for WP? Y como funciona este plugin, tema enlaces /amp/ y problemas de compatibilidad con Woocommerce, y/o Elementor? jajaj demasiado tecnico tal vez. Gracias por tus esfuerzos! Feliz Navidad!
@gabrielatytaar
@gabrielatytaar 3 года назад
Y hoy 2 años! Felicidades!
@fahg2503
@fahg2503 2 месяца назад
Felicidades atrasadas pero sinceras. Gracias por compartir
@Sacrifice97
@Sacrifice97 3 года назад
Gracias por la explicación y el contenido! Buena suerte
@arsmagnax4472
@arsmagnax4472 4 года назад
Justo lo que ocupaba jaja, muchas gracias!
@PabloAAlch
@PabloAAlch 4 года назад
Al fin entendi uff uff, gracias David!
@michaelaravena257
@michaelaravena257 19 дней назад
me gaste una fortuna en un curso de SEO y este tio tiene todo aqui!! jajjajaa
@DavidCuesta
@DavidCuesta 18 дней назад
Me has sacado una buena sonrisa jajaja Gracias por el comentario
@olimpiovalls8861
@olimpiovalls8861 3 года назад
Excelente explicación. Tengo una pequeña duda. Cuando encontramos un disallow: /*? en un archivo robots.txt, ¿qué le estamos prohibiendo a los crawlers? El interrogante no sé exactamente qué quiere decir. Muchas gracias
@juniorjames9019
@juniorjames9019 Месяц назад
Mil gracias, Información de primera
@DavidCuesta
@DavidCuesta 4 года назад
► SUSCRÍBETE PARA SEGUIR APRENDIENDO ► bit.ly/2Uwnsdh
@CPJC2023seo
@CPJC2023seo Год назад
Hola David buenas tardes, gracias por tu tiempo en explicar temas que personalmente se me hacen un poco difícil de entender. Ahora que reviso mi pagina web, veo que tengo mas de 50 paginas no indexadas. pero otras 30 que si lo están. ¿Cómo puedo hacer para que todas estén indexadas correctamente? Muchas gracias por tus aportes.
@tuoidofinanciero3347
@tuoidofinanciero3347 4 года назад
Buen video también bien explicado te felicito responde a mi pregunta por favor
@mcanal2225
@mcanal2225 4 года назад
y si se comete el error de no indezar ? se que tanto dura google para indezarlo y como accelerar el proceso ?
@seoglobal2201
@seoglobal2201 3 года назад
Ya me suscribi
@Christianse81
@Christianse81 4 года назад
08:00 con razón cuando escribo site:sitio me aparece el de privacidad
@invitacionesdigitales9543
@invitacionesdigitales9543 3 года назад
Holaaa! Genial contenido la verdad, gracias por este espacio en youtube! Yo tengo una página hecha en código puro, así que esto lo tendría que hacer de manera manual. Sé que has dicho que no hay que preocuparse mucho con esto pero hay alguna, aunque sea, mínima diferencia en tenerlo o no? Pensaba subir algo simple como el user-agent y quizás disuadir sólo 1 url.
@DavidCuesta
@DavidCuesta 3 года назад
Con que no hagas disallow a ninguna URL necesaria para el google bot, estaría. Y recuerda no poner en disallow urls que simplemente quieres tenerlas con el meta noindex. Un saludo!
@leiares
@leiares Год назад
7:15 "peerfecto doble condón" jaja que buen canal
@curro9130
@curro9130 4 года назад
Hola David, felicidades por el cumple, gran comunidad que tenemos en el chorriclub !!! Entiendo que lo mejor entonces es no poner disallow en robots.txt, y si poner en no index las paginas legales p.ej y además en "no follow", pero una pregunta, cómo se ponen las páginas legales: privacidad... en no follow ?
@DavidCuesta
@DavidCuesta 4 года назад
Lo veremos en el curso, pero tienes varias formas, puedes hacer un widget de texto en el footer y poner manualmente esos enlaces en nofollow, con el generatepress premium puedes ponerlo con código en la sección footer del editor de apariencia, y con un tema free puedes anclarlo abajo con algún código php que reemplace el hook que traiga por defecto. Un ChorriSaludo!
@curro9130
@curro9130 4 года назад
Joer, explícalo si puedes en vídeo xq me has dejao igual...😅
@DavidCuesta
@DavidCuesta 4 года назад
Ábreme un tema en el foro de soporte del chorriclub :D
@humbertomoli99
@humbertomoli99 Год назад
Tengo blogger y hay un problema con urls duplicadas, aparece ?m=1, pensé que con agregado a robots no lo indexaria en Google, al parecer no funciona o si? Al rato les digo 🥳
@reformando1494
@reformando1494 11 месяцев назад
hola yo necesito entrar y aprender a crear poaginas web
@Ricardo14
@Ricardo14 4 года назад
Básicamente Google hace lo que quiere con nosotros... pero nos deja creer que tenemos opciones 😂 Enhorabuena para todos los chorris!
@DavidCuesta
@DavidCuesta 4 года назад
Exacto! Si le interesa te salta el robots, pero luego no se lo salta para molestarte jajaja Un saludo!
@colarussozz
@colarussozz 4 года назад
Hola David! Recién veo el vídeo! ¿El cupón de aniversario ya no esta disponible?
@DavidCuesta
@DavidCuesta 4 года назад
No, era hasta el 31 de diciembre, aunque piénsalo de otra forma, el 1 de enero lo subimos a 15 euros (no se aplica a antiguos miembros) Un saludo!
@PedroMosquera-pjmosquera
@PedroMosquera-pjmosquera 4 года назад
0:58 echale thiner, tiene que aclarar
@yohkira
@yohkira 4 года назад
Ya casi acabo el curso, excelente contenido, tengo una pregunta, es recomendable indexar las politicas de privacidad, el de cookies y contactos? Osea poner en no index y no ondexarla al search console?
@DavidCuesta
@DavidCuesta 4 года назад
Sí es recomendable, básicamente, no indexar nada que sea irrelevante para google o para tu público objetivo. Un saludo!
@alexorozcobetancur4068
@alexorozcobetancur4068 3 года назад
Gracias por el contenido ¿David donde podemos encontrar todos los cambios que hace google o entender mejor el algoritmo?
@DavidCuesta
@DavidCuesta 3 года назад
Moz suele tener actualizada su lista en moz.com/google-algorithm-change, pero para entenderlo hay que hacerlo por uno mismo salvo en las updates grandes que siempre explican algo desde el blog oficial de google y desde cuentas como la de John Mueller Un saludo!
@EcuacionDigital
@EcuacionDigital 4 года назад
¿Cómo pongo las páginas legales de privacidad del footer en nofollow? ¡Muchos no sabemos cómo hacerlo y por ignorancia lo ponemos en follow!
@DavidCuesta
@DavidCuesta 4 года назад
En el ChorriClub ya resolvimos esa duda :D chorri.club/foros/tema/no-index-no-follow-a-paginas/ Un saludo!
@GermanMassa
@GermanMassa 4 года назад
Hola Chorri!! Para el chorriclub, la suscripción anual se paga mensualmente? se puede utilizar débito automático?
@DavidCuesta
@DavidCuesta 4 года назад
La suscripción mensual se paga mensualmente, la anual anualmente, y se puede usar tarjeta de débito y se cobra automático sí :D Un saludo!
@olxbolivia1897
@olxbolivia1897 4 года назад
Señor Chorri, para no indexar las imagenes que tengo de google, no puedo hacerlo con el yoast, no hay esa opcion ahora, tendria que usar el robots ?
@DavidCuesta
@DavidCuesta 4 года назад
no, el robots mejor no lo uses para no indexar, ya que si quedan enlaces google lo indexará pero mal. Te recomiendo pasarte al rank math, el yoast cada día va peor. Un saludo!
@aguacatesdelavalldesego7810
@aguacatesdelavalldesego7810 4 года назад
Tengo unas dudas.¿Entonces, las páginas como política de privacidad, aviso legal y las demás hay que entrar en yoast y ponerlas en "no index"? Y otra cosa, yo tengo el plugin "WP Robots Txt", ¿debería desistalarlo de mi web?. Gracias.
@DavidCuesta
@DavidCuesta 4 года назад
En no index deben ir todas las urls que no contengan contenido relevante para google, entre ellas las de privacidad y aviso legal, se hace en cada una de estas páginas, en las opciones de yoast o rank math. El wp robots txt te puede servir si bloqueas urls por ahí, pero no bloquees las urls que están en noindex, o google no podrá entrar y no verá la etiqueta noindex, por lo que las indexará con error. Un saludo!
@franciscoquesadapelaez5198
@franciscoquesadapelaez5198 4 года назад
Entonces como anulas las paginaciones? Porque la url no puedes darle instrucciones de no index-no follow. Churri gracias por tus videos
@DavidCuesta
@DavidCuesta 4 года назад
Yo suelo indexar las paginaciones, si es que son totalmente necesarias. Pero sí que puedes ponerlas en noindex con código y los enlaces hacia las paginas en nofollow. Si solo las bloqueas, google se mosquea, ya no quiere que le bloqueemos nada Un saludo!
@yandylara7359
@yandylara7359 2 года назад
uen día. Si tengo más de un sitio web en un mismo hosting, ¿debo hacer un robot.txt para cada sitio, o puedo hacer uno solo para todos los sitios web?
@DavidCuesta
@DavidCuesta 2 года назад
Cada web debe tener su robots.txt Un saludo!
@albertogonzalezromero763
@albertogonzalezromero763 2 года назад
Hola. Igual es una pregunta chorra la que voy a hacer. Tengo justamente una URL de una web(un area privada) que está señalada como "disallow" en el robot txt. Google la ha indexado ... Entiendo que debo de quitar el disallow de robot txt, ponerle una etiqueta "noindex" a la página...ahora mi duda es respecto a los enlaces que apunten a la misma: ¿Cómo puedo encontrar estos enlaces? solo podré cambiar los enlaces de mi propiedad a "nofollow". ¿Qué ocurriría con aquellos que son externos de mi web? Gracias por la ayuda
@DavidCuesta
@DavidCuesta 2 года назад
Hola, cuando pones disallow estás impidiendo que google vea nada de la url, incluyendo la etiqueta noindex. Google indexa cuando descubre un contenido, por lo que si tu contenido en disallow es enlazado desde cualquier sitio de internet que google rastree (tanto si es tuyo el sitio como si no) google indexará esa URL, pues está enlazado. No significa que vaya a salir salvo que lo busques específicamente, pero ahí está. Lo mejor es ponerlo solo en noindex, google ya no quiere que usemos disallow, al menos con sus bots. Un saludo!
@albertogonzalezromero763
@albertogonzalezromero763 2 года назад
Muchas gracias@@DavidCuesta Te agradezco que te hayas tomado un tiempo en respondere. Saludos :)
@freddyseo7972
@freddyseo7972 4 года назад
Hola david amigo eh notado que google no esta indexando las web y las entradas desde hace 3 dias me puede decir si te esta pasando lo mismo oh es que estan haciendo cambio o actualizando o mantenimiento.
@DavidCuesta
@DavidCuesta 4 года назад
Google lleva un mes muy difícil, no sabemos si cambiará pronto, pero no eres el único con estos problemas, revisa que tengas todo bien y paciencia. Un saludo
@a110005828
@a110005828 4 года назад
Este 2020 están trabajando un montón en GSC, es normal que haya errores.
@davidcastellano3818
@davidcastellano3818 4 года назад
puffffff, el caso es que lo unico que voy a hacer es poner no index en las webs de politicas y demás, y quitar lo disuadir a los motores de busqueda, porque lo otro demasié complicado pa un nóvel
@DavidCuesta
@DavidCuesta 4 года назад
Con eso que dices llega, siempre que no tengas miles de urls, preocúpate primero por los básicos :D Un saludo!
@carlosmanrique8613
@carlosmanrique8613 4 года назад
Hola David. Te hago una consulta. Si tengo un dominio para hacer pruebas y quiero bloquearlo para que no me genere contenido duplicado que tendría que hacer? Yo pensé colocarle en el archivo robots.txt de la primera carpeta public_html lo siguiente: User-Agent: * Disallow: / Seria de mucha ayuda si me ayudas con esto =(
@DavidCuesta
@DavidCuesta 4 года назад
Actualmente lo correcto es poner todo en noindex, wordpress en las últimas versiones ya lo hace así si desde lectura pones disuadir motores de búsqueda, pero si no tienes wordpress puedes hacerlo como dices. Un saludo!
@a110005828
@a110005828 4 года назад
Hola David, no digas que se olviden de robots.txt, ya que para hacer pauta en Google Ads se requiere una configuración de robots.txt, ojo ahí 😉
@DavidCuesta
@DavidCuesta 4 года назад
En google ads? No entiendo a qué te refieres, al ads.txt?
@a110005828
@a110005828 4 года назад
@@DavidCuesta cuando se realiza campañas en Google ads( ex adwords), la web tiene que tener una correcta configuración del robots.txt, sino no se puede hacer la pauta/campaña.
@optimizacionyseo9269
@optimizacionyseo9269 4 года назад
David como es eso de que cuando buscan enserio cambian de bot al de googlebot y no puedes verlo??
@DavidCuesta
@DavidCuesta 4 года назад
La tarjeta de identidad de una visita a una ip se llama user-agent, los usuarios tenemos uno que indica nuestro navegador y dispositivo, cuando un bot visita tu web lleva su user agent, pero lo puede cambiar. Por ejemplo el ahrefs de pago busca con googlebot y el screaming frog de pago también puedes modificar el user-agent Un saludo!
@optimizacionyseo9269
@optimizacionyseo9269 4 года назад
@@DavidCuesta ok copiado muchas gracias!!
@Delfin1306
@Delfin1306 4 года назад
Borre por error el robots de la carpeta public_html, que puedo hacer?
@DavidCuesta
@DavidCuesta 4 года назад
Créalo de nuevo, es un archivo de texto que puedes hacer con el bloc de notas. Un saludo!
@Delfin1306
@Delfin1306 4 года назад
@@DavidCuesta muchas gracias, lo hice y ya quedo, saludos.
@andreslaguna9440
@andreslaguna9440 11 месяцев назад
En el robots se bloquenan son las rutas.
@vlogdetodounpoco
@vlogdetodounpoco 4 года назад
Cual seria un robot ok?.para wordpress
@DavidCuesta
@DavidCuesta 4 года назад
chorri.club/robots.txt :D Un saludo!
@vlogdetodounpoco
@vlogdetodounpoco 4 года назад
@@DavidCuesta ese mismo lo tengo en peliculasdede.com pero no me indexo unos tags 😱😱😅😅
@DavidCuesta
@DavidCuesta 4 года назад
Puede ser, pero el motivo no es el robots.txt. Un saludo!
@seoglobal2201
@seoglobal2201 3 года назад
David saludos, Qué pasa si una pagina no tiene el robot.txt?
@DavidCuesta
@DavidCuesta 3 года назад
Es como si tuviera todo en allow, permitir. No es gran problema, es peor si lo tiene bloqueando a google. Un saludo!
@seoglobal2201
@seoglobal2201 3 года назад
@@DavidCuesta Gracias David, muchas gracias.
@PAPIMINGO
@PAPIMINGO 3 года назад
y blogger?
@DavidCuesta
@DavidCuesta 3 года назад
No recomendable. Un saludo!
@tuoidofinanciero3347
@tuoidofinanciero3347 4 года назад
Me paso q no sabia esto y le dí no permitir. Ahora no lo puedo arreglar. Ya destilde en mi WordPress, además con otro tutorial agregue robots. Txt a mi raíz. Pero aún me da el error. Que pasará. Yo no sabía q ya existía en mi raíz ese archivo que no se veía. Será que aún está ese archivo que no veo bloqueando mi página???
@DavidCuesta
@DavidCuesta 4 года назад
en en el navegador "tudominio"/robots.txt, y mira a ver si está correcto. Si lo está pide a google que rastree tu home, cuando google se pase a rastrearte ya verá el robots y debería actualizarlo en su base de datos. Un saludo!
@tuoidofinanciero3347
@tuoidofinanciero3347 4 года назад
@@DavidCuesta gracias por responder David. Pero sabes ya lo hice y aun me da error. Yo instale un plugins que me permite ver los archivos raíz ahí será que alguno me esta generando el error? Por cierto que yo agregué el robots.txt porque no existía. Tengo WhatsApp +5804243529025 si me puedes ayudar por favor. Gracias
@tuoidofinanciero3347
@tuoidofinanciero3347 4 года назад
Por cierto mil gracias por responder
@DavidCuesta
@DavidCuesta 4 года назад
@@tuoidofinanciero3347 envíame tu dominio a través del formulario de contacto de davidcuesta.es/contacto Un saludo!
@pol_matencio
@pol_matencio 3 года назад
Muchas Gracias por tus vídeos! ✅ ¿Qué significa un robot así? www.herbolariolidia.com/robots.txt (Te pongo el enlace porque no me deja copiar y pegar lo que hay dentro aquí en el comentario) ¿Modificarías algo? ¿Qué significa que hayas puesto en chorri.club/robots.txt en Disallow: /wp-admin/? Gracias David 🤓
@DavidCuesta
@DavidCuesta 3 года назад
Sobre la primera pregunta, significa que permites todas las urls pero que para cada uno obligas a todos los bots a esperarse 20 segundos para seguir crawleando. No creo que sea buena idea. Sobre las otras, mírate el vídeo :P Un saludo!
@pol_matencio
@pol_matencio 3 года назад
@@DavidCuesta Perfecto. Muchas gracias David. Estoy a tope con tu curso jeje. Si, lo he visto pero lo voy a ver otra vez porque no me había quedado claro. ¿Hay alguna manera de estar atento a cuando saques alguna oferta para el chorriclub? Ahora mismo... me es un poco complicado registrarme al precio actual. Gracias
@DavidCuesta
@DavidCuesta 3 года назад
@@pol_matencio Puedes seguirme en twitter (dcuestafp), pero salvo los descuentos de afiliación, no va a haber descuentos, en todo caso queda una subida para dentro de un tiempo, que aplicará solo a la matrícula, el precio mensual ya ha llegado a donde creemos justo. Un saludo!
@pol_matencio
@pol_matencio 3 года назад
@@DavidCuesta Perfecto, muchísimas gracias. Sigue así con tus videos!
@guscro
@guscro 4 года назад
Para no tomarlo en cuenta, el robots.txt de google es bien largo
@DavidCuesta
@DavidCuesta 4 года назад
Jajaja típico de Google! Ellos bloquean a todos, pero tú no los bloquees a ellos! De todas formas es bueno bloquear a ciertos robots pesados, tengo un post en el foro del ChorriClub con la lista de todos. Un saludo!
@arsmagnax4472
@arsmagnax4472 4 года назад
Ya no hay descuento?
@DavidCuesta
@DavidCuesta 4 года назад
Hola! Quedan 24 ahora mismo, cuando se acaben quizás añadimos más. Un saludo!
@arsmagnax4472
@arsmagnax4472 4 года назад
@@DavidCuesta Muy bien, espero que me paguen temprano, gracias! será un buen regalo de cumpleaños jaja
@josefiguerox
@josefiguerox 3 года назад
*Y como pones el link del footer hacia la política de privacidad en no index?*🤯🤯🤯
@DavidCuesta
@DavidCuesta 3 года назад
noindex es un meta tag que se pone a las urls, no a los enlaces. Un saludo!
@pedromedina7119
@pedromedina7119 3 года назад
usa eso y no seguira los links.
@pedromedina7119
@pedromedina7119 3 года назад
@@DavidCuesta y por lo que estuve leyendo se puedo usar en el link esto (rel="nofollow") directamente ejemplo:
@_chris_6786
@_chris_6786 3 года назад
¿Por qué el ejemplo es wordpress? Los diseñadores no hacemos nuestras webs en wordpress, las hacemos con un diseño desde cero.
@andyrockdriguez1651
@andyrockdriguez1651 4 года назад
llega un momento en que se va a la mierda la explicación
@DavidCuesta
@DavidCuesta 4 года назад
En qué momento? si queda alguna duda puedes decirme. Un saludo
@Lemmax-X-exdom
@Lemmax-X-exdom 4 года назад
LO QUE VD. DICE NO ES MUY PRÁCTICO. ES PURA TEORÍA QUE NO TIENE APLICACIÓN.
@DavidCuesta
@DavidCuesta 4 года назад
Este curso consta de tres partes: teoría, práctica y ejemplos. Este vídeo es de la parte teórica, si sigues viendo el curso llegarás a la práctica, y los ejemplos solo están en el ChorriClub si pagas por acceder a ellos. Un saludo.
@Lemmax-X-exdom
@Lemmax-X-exdom 4 года назад
@@DavidCuesta MUY BIEN. YO TENGO UN BLOQUEO DE ROBOTS TXT EN MI BITÁCORA DE BLOGGER. VI OTROS TUTORIALES Y ESCRIBÍ EL CÓDIGO QUE ELLOS DICEN Y RESULTA QUE EL MISMO ES RECHAZADO. DE FORMA QUE DICHOS TUTORIALES NO ME SIRVEN; ESPERO QUE ÉSTOS DE VD. SÍ ME PUEDAN SERVIR. GRACIAS.
Далее
I Built a EXTREME School Bus!
21:37
Просмотров 7 млн
#kikakim
00:31
Просмотров 11 млн
What is Robots.txt & What Can You Do With It
15:23
Просмотров 31 тыс.
What Is Robots.txt | Explained
9:29
Просмотров 21 тыс.
I Built a EXTREME School Bus!
21:37
Просмотров 7 млн