ਕੀ ਮੈਂ ਤਿਆਰ ਕੀਤੇ ਆਉਟਪੁੱਟ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰ ਸਕਦਾ ਹਾਂ?

ਹਾਂ। ਟੂਲ ਤੁਹਾਡੀਆਂ ਖਾਸ ਲੋੜਾਂ ਮੁਤਾਬਕ ਆਉਟਪੁੱਟ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਵੱਖ-ਵੱਖ ਅਨੁਕੂਲਤਾ ਵਿਕਲਪ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਤਿਆਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਵਿਵਸਥਿਤ ਕਰੋ, ਜਾਂ ਵੱਖ-ਵੱਖ ਵਿਕਲਪਾਂ ਨਾਲ ਮੁੜ-ਜਨਰੇਟ ਕਰੋ।

ਕੀ ਤਿਆਰ ਕੀਤੀ ਸਮੱਗਰੀ ਵਰਤਣ ਲਈ ਮੁਫ਼ਤ ਹੈ?

ਹਾਂ। ਇਸ ਟੂਲ ਨਾਲ ਜੋ ਵੀ ਤੁਸੀਂ ਉਤਪੰਨ ਕਰਦੇ ਹੋ, ਉਹ ਨਿੱਜੀ, ਵਿਦਿਅਕ, ਜਾਂ ਵਪਾਰਕ ਉਦੇਸ਼ਾਂ ਲਈ ਬਿਨਾਂ ਕਿਸੇ ਪਾਬੰਦੀਆਂ ਜਾਂ ਵਿਸ਼ੇਸ਼ਤਾ ਲੋੜਾਂ ਦੇ ਵਰਤਣ ਲਈ ਤੁਹਾਡੀ ਹੈ।

ਕੀ ਇਸ ਲਈ ਖਾਤੇ ਦੀ ਲੋੜ ਹੈ?

ਨਹੀਂ। ਇਹ ਟੂਲ ਬਿਨਾਂ ਸਾਈਨ-ਅੱਪ, ਕੋਈ ਈਮੇਲ, ਅਤੇ ਬਿਨਾਂ ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਦੇ ਤੁਰੰਤ ਵਰਤਣ ਲਈ ਤਿਆਰ ਹੈ। ਬਸ ਪੰਨਾ ਖੋਲ੍ਹੋ ਅਤੇ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰੋ।

ਕੀ ਮੇਰਾ ਇਨਪੁਟ ਡੇਟਾ ਨਿੱਜੀ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ?

ਹਾਂ। ਸਾਰੀ ਪ੍ਰਕਿਰਿਆ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੁੰਦੀ ਹੈ। ਤੁਹਾਡਾ ਇਨਪੁਟ ਡੇਟਾ ਅਤੇ ਤਿਆਰ ਕੀਤਾ ਆਉਟਪੁੱਟ ਕਦੇ ਵੀ ਕਿਸੇ ਬਾਹਰੀ ਸਰਵਰ ਨੂੰ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ।

ਮੈਂ ਇੱਕ ਬੋਟ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰਾਂ ਪਰ ਦੂਜਿਆਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਵਾਂ?

ਵੱਖਰੇ ਉਪਭੋਗਤਾ-ਏਜੰਟ ਬਲਾਕ। ਉਪਭੋਗਤਾ-ਏਜੰਟ: ਬੈਡਬੋਟ ਤੋਂ ਬਾਅਦ ਅਸਵੀਕਾਰ ਕਰੋ: / ਬੈਡਬੋਟ ਨੂੰ ਰੋਕਦਾ ਹੈ। ਉਪਭੋਗਤਾ-ਏਜੰਟ: * ਆਗਿਆ ਦੇ ਨਾਲ: / ਹੋਰਾਂ ਨੂੰ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਕੀ robots.txt ਕੇਸ-ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ?

ਪਾਥ ਮੈਚਿੰਗ ਕੇਸ-ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ। ਅਸਵੀਕਾਰ ਕਰੋ: /Admin /admin ਨਾਲ ਮੇਲ ਨਹੀਂ ਖਾਂਦਾ। ਆਪਣੇ URL ਦੇ ਅਸਲ ਕੇਸ ਨਾਲ ਮੇਲ ਕਰੋ।

ਕੀ ਕ੍ਰੌਲ-ਦੇਰੀ ਅਸਲ ਵਿੱਚ ਗੂਗਲ ਨੂੰ ਹੌਲੀ ਕਰਦੀ ਹੈ?

Google ਕ੍ਰੌਲ-ਦੇਰੀ ਦਾ ਸਨਮਾਨ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਇਹ ਖੋਜ ਕੰਸੋਲ ਵਿੱਚ ਕ੍ਰੌਲ ਰੇਟ ਸੈਟਿੰਗਾਂ ਦਾ ਸਨਮਾਨ ਕਰਦਾ ਹੈ। ਹੋਰ ਕ੍ਰਾਲਰ (Bing, Yandex) ਕ੍ਰੌਲ-ਦੇਰੀ ਦਾ ਸਨਮਾਨ ਕਰਦੇ ਹਨ।

ਕੀ ਮੇਰਾ ਡੇਟਾ ਅਪਲੋਡ ਕੀਤਾ ਗਿਆ ਹੈ?

ਨਹੀਂ। ਜਨਰੇਸ਼ਨ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੁੰਦੀ ਹੈ।

robots.txt ਜਨਰੇਟਰ

ਇਸ ਟੂਲ ਬਾਰੇ

robots.txt ਇੱਕ ਵੈਬਸਾਈਟ ਦੇ ਰੂਟ 'ਤੇ ਇੱਕ ਸਧਾਰਨ ਟੈਕਸਟ ਫਾਈਲ ਹੈ ਜੋ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਦੱਸਦੀ ਹੈ ਕਿ ਉਹ ਕਿਹੜੇ ਮਾਰਗਾਂ 'ਤੇ ਜਾ ਸਕਦੇ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕਿਸ ਤੋਂ ਬਚਣਾ ਚਾਹੀਦਾ ਹੈ। ਫਾਰਮੈਟ 1994 ਦਾ ਹੈ ਅਤੇ ਲਗਭਗ ਹਰ ਖੋਜ ਇੰਜਣ ਅਤੇ ਚੰਗੇ ਵਿਵਹਾਰ ਵਾਲੇ ਕ੍ਰਾਲਰ ਦੁਆਰਾ ਸਮਰਥਿਤ ਹੈ। ਫਾਈਲ ਸਲਾਹਕਾਰੀ ਹੈ — ਖਤਰਨਾਕ ਕ੍ਰਾਲਰ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ — ਪਰ ਜਾਇਜ਼ ਕ੍ਰਾਲਰ (Google, Bing, ਆਦਿ) ਇਸਦੇ ਨਿਰਦੇਸ਼ਾਂ ਦਾ ਭਰੋਸੇਯੋਗਤਾ ਨਾਲ ਸਨਮਾਨ ਕਰਦੇ ਹਨ।

ਆਮ ਵਰਤੋਂ: ਐਡਮਿਨ ਖੇਤਰਾਂ (/wp-admin/, /admin/) ਤੋਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ, ਡੁਪਲੀਕੇਟ ਸਮੱਗਰੀ ਪੈਦਾ ਕਰਨ ਵਾਲੇ ਪਹਿਲੂ ਖੋਜ URL ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਛੱਡ ਕੇ, ਸਟੇਜਿੰਗ ਜਾਂ ਵਿਕਾਸ ਮਾਰਗਾਂ ਦੀ ਇੰਡੈਕਸਿੰਗ ਨੂੰ ਰੋਕਣਾ, ਸਾਈਟਮੈਪ ਟਿਕਾਣਾ ਘੋਸ਼ਿਤ ਕਰਨਾ, ਅਤੇ ਦੂਜਿਆਂ ਨੂੰ ਬਲੌਕ ਕਰਦੇ ਸਮੇਂ ਖਾਸ ਉਪਭੋਗਤਾ ਏਜੰਟਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣਾ। ਫਾਈਲ ਨੂੰ ਹਰੇਕ ਕ੍ਰਾਲ ਸੈਸ਼ਨ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ।

ਇਹ ਜਨਰੇਟਰ ਫਾਰਮ ਇਨਪੁੱਟਾਂ ਤੋਂ ਸਿੰਟੈਕਟਿਕ ਤੌਰ 'ਤੇ ਸਹੀ robots.txt ਬਣਾਉਂਦਾ ਹੈ। ਆਮ ਪੈਟਰਨ (ਸਭ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ, ਸਭ ਨੂੰ ਰੋਕੋ, ਖਾਸ ਮਾਰਗਾਂ ਨੂੰ ਰੋਕੋ) ਟੈਂਪਲੇਟ ਹਨ; ਕਸਟਮ ਨਿਯਮ ਪ੍ਰਤੀ ਉਪਭੋਗਤਾ ਏਜੰਟ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਆਉਟਪੁੱਟ ਤੁਹਾਡੀ ਸਾਈਟ ਰੂਟ ਦੇ /robots.txt 'ਤੇ ਜਾਂਦੀ ਹੈ।

ਇੱਕ robots.txt ਜੇਨਰੇਟਰ ਦੀ ਵਰਤੋਂ ਕਿਉਂ ਕਰੋ

ਹੱਥ-ਲਿਖਤ robots.txt ਗਲਤੀ ਦਾ ਸ਼ਿਕਾਰ ਹੈ। ਸੰਟੈਕਸ ਦੀਆਂ ਗਲਤੀਆਂ (ਕੇਸ ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਸਹੀ ਮਾਰਗ ਮੇਲ, ਨਿਯਮਾਂ ਦਾ ਕ੍ਰਮ) ਚੁੱਪਚਾਪ ਗਲਤ ਵਿਵਹਾਰ ਪੈਦਾ ਕਰਦੇ ਹਨ — ਜਿਨ੍ਹਾਂ ਮਾਰਗਾਂ ਨੂੰ ਤੁਸੀਂ ਬਲੌਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਉਹ ਕ੍ਰੌਲ ਕੀਤੇ ਰਹਿੰਦੇ ਹਨ, ਜਾਂ ਉਹ ਮਾਰਗ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਸੂਚੀਬੱਧ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ ਬਾਹਰ ਕਰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਜਨਰੇਟਰ ਜੋ ਸਹੀ ਸੰਟੈਕਸ ਪੈਦਾ ਕਰਦਾ ਹੈ ਇਹਨਾਂ ਖਰਾਬੀਆਂ ਤੋਂ ਬਚਦਾ ਹੈ।

robots.txt ਦੇ ਦੂਜੇ ਐਸਈਓ ਟੂਲਸ ਨਾਲ ਸੂਖਮ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਵੀ ਹਨ। robots.txt ਵਿੱਚ ਇੱਕ ਮਾਰਗ ਨੂੰ ਅਸਵੀਕਾਰ ਕਰਨਾ ਇਸਨੂੰ ਖੋਜ ਨਤੀਜਿਆਂ ਵਿੱਚ ਦਿਖਾਈ ਦੇਣ ਤੋਂ ਨਹੀਂ ਰੋਕਦਾ (Google ਇਸ ਨੂੰ ਕ੍ਰੌਲ ਕੀਤੇ ਬਿਨਾਂ URL ਨੂੰ ਸੂਚੀਬੱਧ ਕਰ ਸਕਦਾ ਹੈ); meta noindex ਲਈ ਪੰਨੇ ਨੂੰ ਪਹਿਲਾਂ ਕ੍ਰੌਲ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਜਾਣਨਾ ਕਿ ਕਿਸ ਇਰਾਦੇ ਲਈ ਕਿਹੜੇ ਸਾਧਨ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਹੈ; ਜਨਰੇਟਰ ਤੁਹਾਡੀ ਅਗਵਾਈ ਕਰ ਸਕਦਾ ਹੈ।

ਵਰਤਣ ਦਾ ਤਰੀਕਾ

ਇੱਕ ਟੈਂਪਲੇਟ ਚੁਣੋ, ਅਨੁਕੂਲਿਤ ਕਰੋ, ਤੈਨਾਤ ਕਰੋ।

ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਟੈਮਪਲੇਟ ਚੁਣੋ: ਸਭ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ (ਡਿਫੌਲਟ ਕ੍ਰੌਲ-ਹਰ ਚੀਜ਼ ਆਸਣ), ਸਭ ਨੂੰ ਬਲੌਕ ਕਰੋ (ਇੰਡੈਕਸਿੰਗ ਤੋਂ ਹਰ ਚੀਜ਼ ਨੂੰ ਬਲੌਕ ਕਰੋ), ਜਾਂ ਕਸਟਮ (ਤੁਹਾਡੇ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਨਿਯਮਾਂ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ)।
ਉਪਭੋਗਤਾ ਏਜੰਟ ਨਿਯਮ ਸ਼ਾਮਲ ਕਰੋ: ਸਾਰੇ ਕ੍ਰਾਲਰ, ਜਾਂ ਖਾਸ ਨਾਮ ਵਾਲੇ ਬੋਟਾਂ (Googlebot, Bingbot, GPTBot) ਲਈ ਖਾਸ ਮਾਰਗਾਂ ਨੂੰ ਅਸਵੀਕਾਰ ਕਰੋ। ਹਰੇਕ ਉਪਭੋਗਤਾ ਏਜੰਟ ਬਲਾਕ ਕੋਲ ਆਗਿਆ ਅਤੇ ਅਸਵੀਕਾਰ ਨਿਰਦੇਸ਼ਾਂ ਦਾ ਆਪਣਾ ਸੈੱਟ ਹੁੰਦਾ ਹੈ।
ਸਾਈਟਮੈਪ URL ਸ਼ਾਮਲ ਕਰੋ: ਆਪਣੇ XML ਸਾਈਟਮੈਪ ਦਾ ਪੂਰਨ URL ਸ਼ਾਮਲ ਕਰੋ। ਕ੍ਰਾਲਰ ਇਸਦੀ ਵਰਤੋਂ ਉਹਨਾਂ URL ਨੂੰ ਖੋਜਣ ਲਈ ਕਰਦੇ ਹਨ ਜੋ ਸ਼ਾਇਦ ਉਹ ਖੁੰਝ ਜਾਣ।
ਸੰਭਾਲੋ ਅਤੇ ਲਾਗੂ ਕਰੋ: ਤਿਆਰ ਕੀਤੀ ਫਾਈਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰੋ। ਆਪਣੇ ਡੋਮੇਨ ਦੇ ਰੂਟ 'ਤੇ ਅੱਪਲੋਡ ਕਰੋ (ਇਸ ਲਈ ਇਹ https://example.com/robots.txt 'ਤੇ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ)। ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਉਸ URL 'ਤੇ ਜਾ ਕੇ ਪੁਸ਼ਟੀ ਕਰੋ।

ਆਮ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ

ਐਡਮਿਨ ਪੰਨਿਆਂ ਨੂੰ ਇੰਡੈਕਸਿੰਗ ਤੋਂ ਬਲੌਕ ਕਰਨਾ — /admin/, /wp-admin/, /ਲੌਗਇਨ ਪੰਨੇ ਖੋਜ ਨਤੀਜਿਆਂ ਵਿੱਚ ਦਿਖਾਈ ਨਹੀਂ ਦੇਣੇ ਚਾਹੀਦੇ। ਉਹਨਾਂ ਨੂੰ robots.txt ਵਿੱਚ ਅਸਵੀਕਾਰ ਕਰੋ।
ਸਟੇਜਿੰਗ ਵਾਤਾਵਰਨ ਨੂੰ ਛੱਡ ਕੇ — ਸਟੇਜਿੰਗ ਜਾਂ ਵਿਕਾਸ ਸਾਈਟਾਂ ਨੂੰ ਕ੍ਰੌਲ ਨਹੀਂ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਸਟੇਜਿੰਗ ਡੋਮੇਨ ਲਈ ਇੱਕ ਕੰਬਲ ਅਸਵੀਕਾਰ ਕਰਨਾ ਅਚਾਨਕ ਇੰਡੈਕਸਿੰਗ ਨੂੰ ਰੋਕਦਾ ਹੈ।
AI ਕ੍ਰਾਲਰ ਪਹੁੰਚ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨਾ — GPTBot, ClaudeBot, ਅਤੇ ਹੋਰ AI ਕ੍ਰਾਲਰਸ ਨੂੰ ਮਿਆਰੀ ਖੋਜ ਇੰਜਣਾਂ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹੋਏ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਬਲੌਕ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਸਾਈਟਮੈਪ ਟਿਕਾਣਿਆਂ ਦਾ ਐਲਾਨ ਕਰਨਾ — robots.txt ਵਿੱਚ ਸਾਈਟਮੈਪ ਡਾਇਰੈਕਟਿਵ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਤੁਹਾਡੇ ਸਾਈਟਮੈਪ ਵੱਲ ਪੁਆਇੰਟ ਕਰਦਾ ਹੈ, URL ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਖੋਜਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।
ਡੁਪਲੀਕੇਟ ਸਮੱਗਰੀ URL ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ — ਚਿਹਰੇ ਵਾਲੇ ਖੋਜ URL (?color=red&size=L&...) ਬਹੁਤ ਸਾਰੇ ਕ੍ਰੌਲ ਕੀਤੇ ਡੁਪਲੀਕੇਟ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਪੈਰਾਮੀਟਰ ਪੈਟਰਨਾਂ ਨੂੰ ਅਸਵੀਕਾਰ ਕਰਨਾ ਕ੍ਰਾਲ ਬਜਟ ਨੂੰ ਬਰਬਾਦ ਹੋਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।

ਤਕਨੀਕੀ ਵੇਰਵੇ

ਫਾਰਮੈਟ: ਵਰਤੋਂਕਾਰ-ਏਜੰਟ: <name> ਤੋਂ ਬਾਅਦ ਆਗਿਆ ਦਿਓ/ਅਸਵੀਕਾਰ ਕਰੋ ਨਿਰਦੇਸ਼। * ਸਾਰੇ ਬੋਟਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਖਾਸ ਨਾਮ (Googlebot, Bingbot) ਖਾਸ ਕ੍ਰਾਲਰ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੇ ਹਨ। ਮਲਟੀਪਲ ਯੂਜ਼ਰ-ਏਜੰਟ ਬਲਾਕ ਨਿਯਮਾਂ ਨੂੰ ਸਟੈਕ ਕਰ ਸਕਦੇ ਹਨ।

ਅਸਵੀਕਾਰ ਕਰੋ: <path> ਦਿੱਤੇ ਅਗੇਤਰ ਨਾਲ ਸ਼ੁਰੂ ਹੋਣ ਵਾਲੇ ਮਾਰਗਾਂ ਨੂੰ ਰੋਕਦਾ ਹੈ। ਅਸਵੀਕਾਰ ਕਰੋ: / ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ। ਅਸਵੀਕਾਰ ਕਰੋ: /admin/ /admin/ ਦੇ ਅਧੀਨ ਕੁਝ ਵੀ ਬਲਾਕ ਕਰਦਾ ਹੈ। ਟ੍ਰੇਲਿੰਗ ਸਲੈਸ਼ ਮਾਮਲੇ; ਅਸਵੀਕਾਰ ਕਰੋ: /admin (ਕੋਈ ਸਲੈਸ਼ ਨਹੀਂ) /administrator ਨਾਲ ਵੀ ਮੇਲ ਖਾਂਦਾ ਹੈ।

ਕ੍ਰੌਲ-ਦੇਰੀ (ਸਕਿੰਟਾਂ ਵਿੱਚ) ਹੌਲੀ ਕ੍ਰੌਲਿੰਗ ਦੀ ਬੇਨਤੀ ਕਰਦਾ ਹੈ। ਸਾਈਟਮੈਪ (ਸੰਪੂਰਨ URL) ਤੁਹਾਡੇ ਸਾਈਟਮੈਪ ਸਥਾਨ ਦੀ ਘੋਸ਼ਣਾ ਕਰਦਾ ਹੈ। # ਇੱਕ ਟਿੱਪਣੀ ਲਾਈਨ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ।

ਵਧੀਆ ਅਭਿਆਸ

ਸੁਰੱਖਿਆ ਲਈ robots.txt 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ — robots.txt ਸਲਾਹਕਾਰੀ ਹੈ। ਸੰਵੇਦਨਸ਼ੀਲ ਸਮੱਗਰੀ ਲਈ ਪ੍ਰਮਾਣਿਕਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਅਸਵੀਕਾਰ ਕਰੋ। ਨਿਰਧਾਰਿਤ ਹਮਲਾਵਰ ਫਾਈਲ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ।
ਇੰਡੈਕਸਿੰਗ ਨਿਯੰਤਰਣ ਲਈ noindex ਦੀ ਵਰਤੋਂ ਕਰੋ — ਨਾਮਨਜ਼ੂਰ ਕਰਨਾ ਕ੍ਰੌਲਿੰਗ ਨੂੰ ਰੋਕਦਾ ਹੈ ਪਰ Google ਅਜੇ ਵੀ URL ਨੂੰ ਸੂਚੀਬੱਧ ਕਰ ਸਕਦਾ ਹੈ। ਇੰਡੈਕਸਿੰਗ ਨੂੰ ਰੋਕਣ ਲਈ, ਕ੍ਰੌਲਿੰਗ ਦੀ ਇਜਾਜ਼ਤ ਦਿਓ ਅਤੇ ਇਸਦੀ ਬਜਾਏ ਨੋਇੰਡੈਕਸ ਮੈਟਾ ਟੈਗ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਆਪਣਾ ਸਾਈਟਮੈਪ ਘੋਸ਼ਿਤ ਕਰੋ — ਸਾਈਟਮੈਪ ਡਾਇਰੈਕਟਿਵ ਕ੍ਰਾਲਰਸ ਨੂੰ ਉਹਨਾਂ URL ਨੂੰ ਲੱਭਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਜੋ ਉਹ ਗੁਆ ਸਕਦੇ ਹਨ। ਇਹ ਮਾਪਣਯੋਗ ਲਾਭ ਦੇ ਨਾਲ ਇੱਕ-ਲਾਈਨ ਜੋੜ ਹੈ।
ਤੈਨਾਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂਚ ਕਰੋ — Google ਖੋਜ ਕੰਸੋਲ ਵਿੱਚ ਇੱਕ robots.txt ਟੈਸਟਰ ਹੈ ਜੋ ਤੁਹਾਡੇ ਨਿਯਮਾਂ ਨੂੰ ਤੁਹਾਡੇ ਇਰਾਦੇ ਨੂੰ ਰੋਕਣ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ। ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਇਸਦੀ ਵਰਤੋਂ ਕਰੋ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ

ਕੀ ਮੈਂ ਤਿਆਰ ਕੀਤੇ ਆਉਟਪੁੱਟ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰ ਸਕਦਾ ਹਾਂ?: ਹਾਂ। ਟੂਲ ਤੁਹਾਡੀਆਂ ਖਾਸ ਲੋੜਾਂ ਮੁਤਾਬਕ ਆਉਟਪੁੱਟ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਵੱਖ-ਵੱਖ ਅਨੁਕੂਲਤਾ ਵਿਕਲਪ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਤਿਆਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਵਿਵਸਥਿਤ ਕਰੋ, ਜਾਂ ਵੱਖ-ਵੱਖ ਵਿਕਲਪਾਂ ਨਾਲ ਮੁੜ-ਜਨਰੇਟ ਕਰੋ।
ਕੀ ਤਿਆਰ ਕੀਤੀ ਸਮੱਗਰੀ ਵਰਤਣ ਲਈ ਮੁਫ਼ਤ ਹੈ?: ਹਾਂ। ਇਸ ਟੂਲ ਨਾਲ ਜੋ ਵੀ ਤੁਸੀਂ ਉਤਪੰਨ ਕਰਦੇ ਹੋ, ਉਹ ਨਿੱਜੀ, ਵਿਦਿਅਕ, ਜਾਂ ਵਪਾਰਕ ਉਦੇਸ਼ਾਂ ਲਈ ਬਿਨਾਂ ਕਿਸੇ ਪਾਬੰਦੀਆਂ ਜਾਂ ਵਿਸ਼ੇਸ਼ਤਾ ਲੋੜਾਂ ਦੇ ਵਰਤਣ ਲਈ ਤੁਹਾਡੀ ਹੈ।
ਕੀ ਇਸ ਲਈ ਖਾਤੇ ਦੀ ਲੋੜ ਹੈ?: ਨਹੀਂ। ਇਹ ਟੂਲ ਬਿਨਾਂ ਸਾਈਨ-ਅੱਪ, ਕੋਈ ਈਮੇਲ, ਅਤੇ ਬਿਨਾਂ ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਦੇ ਤੁਰੰਤ ਵਰਤਣ ਲਈ ਤਿਆਰ ਹੈ। ਬਸ ਪੰਨਾ ਖੋਲ੍ਹੋ ਅਤੇ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰੋ।
ਕੀ ਮੇਰਾ ਇਨਪੁਟ ਡੇਟਾ ਨਿੱਜੀ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ?: ਹਾਂ। ਸਾਰੀ ਪ੍ਰਕਿਰਿਆ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੁੰਦੀ ਹੈ। ਤੁਹਾਡਾ ਇਨਪੁਟ ਡੇਟਾ ਅਤੇ ਤਿਆਰ ਕੀਤਾ ਆਉਟਪੁੱਟ ਕਦੇ ਵੀ ਕਿਸੇ ਬਾਹਰੀ ਸਰਵਰ ਨੂੰ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ।
ਮੈਂ ਇੱਕ ਬੋਟ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰਾਂ ਪਰ ਦੂਜਿਆਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਵਾਂ?: ਵੱਖਰੇ ਉਪਭੋਗਤਾ-ਏਜੰਟ ਬਲਾਕ। ਉਪਭੋਗਤਾ-ਏਜੰਟ: ਬੈਡਬੋਟ ਤੋਂ ਬਾਅਦ ਅਸਵੀਕਾਰ ਕਰੋ: / ਬੈਡਬੋਟ ਨੂੰ ਰੋਕਦਾ ਹੈ। ਉਪਭੋਗਤਾ-ਏਜੰਟ: * ਆਗਿਆ ਦੇ ਨਾਲ: / ਹੋਰਾਂ ਨੂੰ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।
ਕੀ robots.txt ਕੇਸ-ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ?: ਪਾਥ ਮੈਚਿੰਗ ਕੇਸ-ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ। ਅਸਵੀਕਾਰ ਕਰੋ: /Admin /admin ਨਾਲ ਮੇਲ ਨਹੀਂ ਖਾਂਦਾ। ਆਪਣੇ URL ਦੇ ਅਸਲ ਕੇਸ ਨਾਲ ਮੇਲ ਕਰੋ।
ਕੀ ਕ੍ਰੌਲ-ਦੇਰੀ ਅਸਲ ਵਿੱਚ ਗੂਗਲ ਨੂੰ ਹੌਲੀ ਕਰਦੀ ਹੈ?: Google ਕ੍ਰੌਲ-ਦੇਰੀ ਦਾ ਸਨਮਾਨ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਇਹ ਖੋਜ ਕੰਸੋਲ ਵਿੱਚ ਕ੍ਰੌਲ ਰੇਟ ਸੈਟਿੰਗਾਂ ਦਾ ਸਨਮਾਨ ਕਰਦਾ ਹੈ। ਹੋਰ ਕ੍ਰਾਲਰ (Bing, Yandex) ਕ੍ਰੌਲ-ਦੇਰੀ ਦਾ ਸਨਮਾਨ ਕਰਦੇ ਹਨ।
ਕੀ ਮੇਰਾ ਡੇਟਾ ਅਪਲੋਡ ਕੀਤਾ ਗਿਆ ਹੈ?: ਨਹੀਂ। ਜਨਰੇਸ਼ਨ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੁੰਦੀ ਹੈ।

robots.txt ਜਨਰੇਟਰ

ਨਿਯਮ ਸ਼ਾਮਲ ਕਰੋ

ਤਿਆਰ ਕੀਤਾ robots.txt

ਸੰਬੰਧਿਤ ਟੂਲ

Hreflang ਟੈਗ ਜਨਰੇਟਰ

OG ਟੈਗ ਜਨਰੇਟਰ

ਟਵਿੱਟਰ ਕਾਰਡ ਟੈਗ ਜਨਰੇਟਰ

ਸਕੀਮਾ ਮਾਰਕਅੱਪ (JSON-LD) ਜਨਰੇਟਰ