Ko te kōnae robots.txt e penapenahia ana i te pakiaka o to paetukutuku ka whakaatu i nga robot tukutuku ka rite ki nga kaituhi rapu rapu i nga papaawai me nga kōnae e whakaaetia ana kia pakaru. He ngawari ki te whakamahi i te kōnae robots.txt, engari he mea etahi e mahara ana koe:
- Ka warewarehia e nga manukura potae pango te kōnae o to robots.txt. Ko nga momo tino noa ko nga putea malware me nga ropu e rapu ana i nga wahitau īmēra ki te kotinga.
- Ka tuhia e etahi kaitautoko hou nga puupene e kore e wareware i te kōnae robots.txt. Ka mahihia tenei i te hapa.
- Ka kite tetahi i to kōnae robots.txt. Ka karangahia tonutia ratou robots.txt me te rongoa tonu i te pakiaka o te paetukutuku.
- Hei whakamutunga, ki te hono tetahi ki tetahi kōnae, ki tetahi whaiaronga ranei e kore e waiho e to kōnae robots.txt mai i tetahi whaarangi kaore e whakakorea e to raatau robots.txt, ka kitea pea e nga engines rapu.
Kaua e whakamahi i nga kōnae robots.txt ki te huna i tetahi mea nui. Engari, me waiho nga korero nui i muri i nga kupuhipa haumaru , waiho atu ranei i te tukutuku katoa.
Me pehea te whakamahi i enei Kōnae Tauira
Tāruatia te kuputuhi mai i te tauira e tata ana ki te mea e hiahia ana koe ki te mahi, ka whakapiri ki roto i to kōnae robots.txt. Hurihia te robot, te whaiaronga, me nga ingoa kōnae ki te whakarite i to whirihoranga pai.
E rua nga Rauemi Robots.txt
Kaihoko Kaiwhakamahi: *
Whakamutua: /
E ai ki tenei kōnae ko tetahi robot (Kaiwhakahaere-Kaiwhakamahi: *) e whakauru ana ki a ia ka wareware i nga waahanga katoa kei runga i te pae (Whakaaetanga: /).
Kaihoko Kaiwhakamahi: *
Whakamutua:
E ai ki tenei kōnae ko tetahi robot (Kaiwhakamahi-kaihoko: *) e uru ana ki a ia ka whakaaetia ki te tiro i nga waahanga katoa kei runga i te pae (Whakaaetanga:).
Ka taea hoki e koe tenei ma te waiho i to paparangi robots.txt ki te kore ranei he kotahi ki to pae.
Tiaki i nga Whaiato Whaiaro Mai i Nga Rota
Kaihoko Kaiwhakamahi: *
Whakamutua: / cgi-bin /
Whakamutua: / temp /
E ai ki tenei kōnae ko tetahi robot (Kaihoko-kaiwhakamahi: *) e uru ana ki te whakakore i nga tohutoro / cgi-bin / me / temp / (Whakaaetanga: / cgi-bin / Whakaae: / temp /).
Tiaki i nga Whārangi Motuhake Mai i nga Rota
Kaihoko Kaiwhakamahi: *
Whakamutua: /jenns-stuff.htm
Waiho: /private.php
E ai ki tenei kōnae ko tetahi robot (Kaihoko-kaiwhakamahi: *) e uru atu ana ki te whakakore i nga kōnae /jenns-stuff.htm me /private.php (Whakaaetanga: /jenns-stuff.htm Whakaae: /private.php).
Whakamahia tetahi Robot Whaiaro mai i te Uru ki to Pae
Kaihoko-Kaiwhakamahi: Lycos / xx
Whakamutua: /
E ai ki tenei kōnae kaore e whakaaetia te uru o Lycos (Kai-kaiwhakamahi: Lycos / xx) ki tetahi wahi i runga i te pae (Whakamore: /).
Tukua tetahi Tono Whakarato Roopu Whaiaro
Kaihoko Kaiwhakamahi: *
Whakamutua: /
Kaihoko-Kaiwhakamahi: Googlebot
Whakamutua:
Ko tenei kōnae ka whakakore i nga robots katoa pera me ta matou i runga ake nei, a ka whakaatu i te Googlebot (Kaihoko-Kaiwhakamahi: Googlebot) kia uru ki nga mea katoa (Whakamuri:).
Whakakotahitia nga Raina Maha hei Tikina Nga Whakamutunga e hiahia ana koe
Ahakoa he pai ake te whakamahi i te rarangi Kaiwhakamahi-kaiwhakamahi tino nui, penei i te Kaiwhakahaere-Kaiwhakamahi: *, ka taea e koe te rite motuhake rite ki a koe. Kia mahara ma te roopu e panui i te kōnae. Na, ki te korero nga rarangi tuatahi ka murua nga roboti katoa mai i nga mea katoa, a muri iho i roto i te kōnae e kii ana nga roopu katoa ki te uru atu ki nga mea katoa, ka uru nga robots ki nga mea katoa.
Mena kaore koe i mohio kua tika koe ki te tuhituhi tika i to kōnae robots.txt, ka taea e koe te whakamahi i nga Utauta Tohungatuku a Google ki te tirotiro i to kōnae puupene robots.txt ranei tuhia he mea hou.