ITmedia総合  >  キーワード一覧  > 

  • 関連の記事

「クローリング」関連の最新 ニュース・レビュー・解説 記事 まとめ

「クローリング」に関する情報が集まったページです。

関連キーワード

ワクワクを原動力に! ものづくりなヒト探訪記(12):
設計から製造まで1人で担当 ロビットで高速AI選別機開発に携わるエンジニア
本連載では、新しい領域にチャレンジする中小製造業の“いま”を紹介していきます。今回は「超高速AI自動選別機」を開発するハードウェアベンチャーのロビットでエンジニアを務める手島崇文さんを取材しました。(2024/2/21)

Google検索からキャッシュ消える 公式Xが理由を説明
Googleの検索結果に表示されたWebページの内容を、ページにアクセスしなくても確認できるキャッシュ機能が2月までに削除された。(2024/2/7)

SEOタイムズ編集部が初心者向けにわかりやすく解説:
【2024年版】絶対に外せないSEO対策10選
SEO界隈の変化に対応するため、SEOタイムズ編集部では独自調査を行い、2024年に必ず実施すべきSEO対策をまとめました。(2024/1/30)

電動化:
ヤンマーが小型電動農機のコンセプトモデルを初公開、2025年に市場モニターへ
ヤンマーアグリは、電動モーターによる駆動で農業のCO2ゼロエミッション化を目指した小型電動農機のコンセプトモデル「e-X1」を初公開した。2025年に市場モニター可能な形での商品化を目指している。(2024/1/26)

読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG
読売新聞社は、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。(2024/1/25)

Social Media Today:
マスク氏が言う「最も正確な指標」で測ると、やはりXのユーザー一人当たり平均滞在時間は減少している件
Xが公開した最新トラフィック数に関するデータから読み取れることとは何か。(2024/1/10)

OpenAI、New York Timesによる著作権侵害提訴は「法的根拠なし」と公式ブログで反論
OpenAIは、昨年12月にNew York Timesが同社とMicrosoftを著作権侵害で提訴したことについて「法的根拠がない」と公式ブログで主張した。AIモデルのトレーニングはフェアユースだというこれまでの主張を繰り返した。(2024/1/9)

New York Times、OpenAIとMicrosoft提訴 記事を無断使用したと著作権侵害を主張
損害賠償や言語モデル破棄などを求めています。(2023/12/28)

The New York Times、MicrosoftとOpenAIをAIによる著作権侵害で提訴
The New York Timesは、MicrosoftとOpenAIを著作権侵害で提訴した。両社が記事を数百万件コピーしてAIモデルをトレーニングしたことで、収入が奪われると主張する。訴状では、プロンプトによっては同メディアの有料記事のテキストがそのまま表示される例を複数挙げた。(2023/12/28)

製品動向:
「GX建機」に4社15型式の電動ショベルが認定 脱炭素目指す新制度
国土交通省は、建設施工現場の脱炭素に向けて電動建設機械の普及を目指す「GX建設機械認定制度」で、4社15型式の電動ショベルを認定した。(2023/12/27)

こうしす! こちら京姫鉄道 広報部システム課 @IT支線(43):
私のこと、勝手に診断しないでください
情報セキュリティの啓発を目指した、技術系コメディー自主制作アニメ「こうしす!」の@ITバージョン。第43列車は「無料セキュリティ診断」です。※このマンガはフィクションです。(2023/12/27)

BBCがOpen AIなどのクローラーをブロック 大手メディアでAI学習防止の動き続く
BBCはAIの活用を模索する一方で、無許可の学習には対策を採っています。(2023/10/11)

robots.txtに設定を記述して使う「Google-Extended」:
Google、Google AIの改良へのサイトコンテンツの使用可否を設定できるWeb管理者向けツールを発表
Googleは、WebパブリッシャーがGoogleの「Bard」や「Vertex AI」の生成API(これらのサービスを支える将来の世代のAIモデルを含む)を改良するために自サイトのコンテンツを使わせるかどうかを設定できるスタンドアロン製品トークン「Google-Extended」を発表した。(2023/10/4)

Google、WebサイトのコンテンツをAIトレーニングからオプトアウトするツールを提供
Googleは、Webパブリッシャー向けに、BardやVertex AIなどのGoogleのAIのトレーニングにコンテンツを使わせないようにするツール「Google-Extended」を発表した。クローラーによるインデックスはさせつつコンテンツ利用を回避できる。(2023/9/29)

OpenAI、7月に停止したChatGPTのWebブラウズ機能を復活
OpenAIは、5月にリリースして7月に提供を停止していた「Browse with Bing」の提供を再開した。有料Webサイトの記事を読めてしまっていたのが停止の理由だが、解決できたという。(2023/9/28)

ITmedia マーケティング用語集:
【用語解説】コンテンツSEO
役に立つコンテンツを継続的に発信し続けることによって検索エンジンから集客するSEO手法である「コンテンツSEO」について解説。(2023/9/30)

Innovative Tech:
Apple、UI学習向けクローラーを開発 新しいスマホアプリを自動インストール、“使われ方”を自己学習
米カーネギーメロン大学や米Appleなどに所属する研究者らは、アプリストアから新しいアプリを自動でインストールし、アプリ内操作を自動で行いデータを収集するとともに、モデルを継続的に自己学習させるUI学習向けクローラーを提案した研究報告を発表した。(2023/9/12)

Google検索でWebサイトを上位に表示する方法【第3回】
「Google検索に強いWebサイト」の条件はこれだ
Google検索のSERPで上位に表示されるWebサイトを構築するには、どうすればよいのか。「Google検索に強いWebサイトの条件」を、11個のポイントに分けて説明する。(2023/9/7)

OpenAIのクローラーをNew York Timesなどのペイウォールメディアがブロック開始
The New York Timesや日経新聞など、ペイウォールを設置する複数のメディアが、生成AIのトレーニング用にコンテンツを収集するクローラーをブロックし始めている。(2023/8/26)

Google検索でWebサイトを上位に表示する方法【第1回】
「Google検索」の基礎知識 Webサイトの掲載順位が変わるのはなぜ?
「Google検索」での掲載順位を上げることは、Webサイトへの訪問数を増やす有力な方法だ。掲載順位はどのように決まるのか。Google検索の基本的な仕組みを整理しよう。(2023/8/25)

個人情報などはどう扱うのか:
OpenAIがWebクローラー「GPTBot」の文書を公開、クロールを禁止するには?
OpenAIがWebクローラー「GPTBot」の文書を公開した。同時に、個人情報などの扱い方やアクセスを禁止したり、カスタマイズしたりする方法なども記載している。(2023/8/15)

OpenAI、Webデータ収集クローラー「GPTBot」のブロック方法を説明
OpenAIは生成AIトレーニング用データをインターネット上のWebサイトから収集する自社製クローラー「GPTBot」をひっそり紹介し、Webオーナー向けにこのクローラーのブロック方法を説明した。(2023/8/8)

越智岳人の注目スタートアップ(9):
道なき道を走るパートナー、不整地走行のエキスパート集団「CuboRex」
不整地を走行するロボティクス技術を武器に成長を続けるハードウェアスタートアップのCuboRex。同社の創業から現在に至るまでの経緯と強みの源泉について、代表の嘉数正人氏に話を聞いた。(2023/8/1)

Innovative Tech:
無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能
シンガポール国立大学と中国の浙江大学に所属する研究者らは、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告を発表した。(2023/7/12)

小寺信良のIT大作戦:
誤解の多い「AIと著作権の関係」 クリエイターが真に戦うべき相手、被害の実態からひもとく
日本芸能従事者協会がクリエイターを対象にアンケート調査を実施した。メインは、「ご自身の作品等で実際にAIに使われた事例があれば教えてください」という事例集だ。いくつか事例を見ながら著作権との関係をひもといてみる。(2023/6/29)

ITmedia Security Week 2023 夏:
あなたの知らない“設定”――「クラウドサービスの怖い話」で分かるセキュリティの隙間とは
2023年6月、ITmedia Security Week 2023 夏で、日本ハッカー協会 代表理事 杉浦隆幸氏が「クラウドサービスの怖い話」と題して講演した。(2023/7/4)

Innovative Tech:
ChatGPTでフィッシングサイトを自動検出する方法 NTTセキュリティが開発 精度は98%以上
NTTセキュリティ・ジャパンに所属する研究者らは、ChatGPTでフィッシングサイトを検出する手法を提案した研究報告を発表した。(2023/6/19)

Gartner Insights Pickup(306):
「ChatGPT」や生成AIの台頭でUIデザインはどう変わる?
OpenAIの「ChatGPT」をはじめ、このところ、生成AI(ジェネレーティブAI)の進化が目まぐるしい。テキスト作成は得意だが、UIやUXのデザインについてはどうだろうか――。(2023/6/16)

親子で偶然見つけた「謎の建築機械」→Twitterに動画を投稿してみると…… 子どもの疑問を解決するネットの集合知に驚きの声
すてきなインターネットだ。(2023/6/9)

SNSが履歴書、GitHubが経歴書:
ゆめみ代表が伝授する、エンジニアが企業を選べる時代の就活ベストプラクティス
安定した大企業、夢のあるベンチャー企業、就職するならどっち――?(2023/6/5)

pixiv、「AI生成に関わる問題」への対応説明 新しい監視システムを追加導入へ
(2023/5/9)

「pixivのイラストを非公開にしました」 フォロワー数十万の“有名絵師”から発表相次ぐ AI巡る対応に不信感
「pixivに投稿したイラストをいったん非公開にしました」──Twitterで数十万のフォロワーを集めるイラストレーターから、こんな発表が相次いでいる。背景にあるのは、画像生成AIへの対応を巡るpixivへの不信感だ。(2023/5/8)

むしろ「本質的に良くない部分」を問うことが必要:
映画『Winny』公開記念 杉浦隆幸氏、高木浩光氏たちが振り返る「Winnyとは何だったのか」
それは権力による創造の抑圧だったのか――元IPAセキュリティセンター長、セキュリティ研究者、ユーザー、セキュリティエンジニア、「One Point Wall」開発者たちが、さまざまな立場からWinny事件が残した影響を振り返った。(2023/4/19)

Social Media Today:
ChatGPTにはエモさが足りない AI生成ツールはマーケティングで使えるのか?
AI(人工知能)技術を活用したツールの利用が拡大している。こうしたツールはマーケティングキャンペーン用のコンテンツ制作に活用できるのだろうか。(2023/1/27)

Tech TIPS:
構造化Excelテク:半角と全角の混在はトラブルの元? 半角と全角を統一する方法
Excelでデータに半角と全角が混在してしまうと、重複の削除や検索が正しく動作しない場合があるなど、不具合が生じることがある。このような場合、データの入力後に半角と全角を変換してどちらかに統一するとよい。その方法を紹介しよう。(2023/1/6)

ITmedia Security Week 2022 秋:
クラウド時代は「データ超分散時代」――CCoEがセキュリティ向上施策としても注目される理由
2022年9月に開催された「ITmedia Security Week 2022 秋」、Day3の「クラウド&ゼロトラストゾーン」では、ニューリジェンセキュリティ クラウドセキュリティ事業部 CTO 兼 副部長 仲上竜太氏による講演「データ超分散時代のクラウドセキュリティの始め方」が行われた。@ITでも「働き方改革時代の『ゼロトラスト』セキュリティ」を連載する仲上氏は、本セッションでクラウドを活用する企業が直面する「データ超分散時代」におけるセキュリティ向上施策としても注目される“CCoE”の役割と考え方を述べた。かつてオンプレミスでシステムを構築していたころとは異なるガバナンスの考え方を見直してみよう。(2022/10/26)

大河原邦男がデザイン 「トミカ×機動戦士ガンダム」コラボシリーズ、3種の新作モデル追加 2023年3月上旬に発売
今年10月7日予約スタート。(2022/9/29)

CMOのためのデジタルトレンド解説【号外】:
Googleの検索アルゴリズムアップデート(Helpful Content Update)で何が変わるのか?
Googleが発表した「Helpful Content Update」の概要を紹介しつつ、このアップデートが導入されるようになった背景を推察し、SEOの現在地とこれからについて解説します。(2022/9/6)

Innovative Tech:
YouTubeで不正に収益化する6つの悪用方法、米研究者らが分析結果を公開
米シカゴ大学と米パデュー大学の研究チームは、YouTubeの不正収益化行為を研究した論文を発表した。世界中のオンラインコミュニティーとYouTubeアカウント売買サイトから複数の情報を集め、分析して6つのカテゴリーに不正行為をまとめた。(2022/8/17)

AI・データサイエンスで遊ぼう:
ドラッグストアチェーンの開店場所の推測でやっていること
ニューラルネットワークモデルで開店場所の候補地を推測する際に、どんなデータを使ったか、どんなコードをJupyterノートブックに書いたかを説明します。(2022/8/5)

AI・データサイエンスで遊ぼう:
次はドコ!? ドラッグストア3チェーンの開店場所をAIで勝手に予想してみた
たまたま手元にあった山盛りの店舗データを使ってこんなことしてみた! AI開発の試行錯誤を実際に体験してみよう!(2022/7/29)

Innovative Tech:
Webサイトからのマルウェア感染を防ぐセキュリティシステム、韓国チームが開発 ゼロデイ攻撃にも対応
韓国の極東大学校と南ソウル大学校の研究チームは、Webサイトを介して配布されるマルウェアを検知する新たなセキュリティシステムを開発した。(2022/7/22)

満足度の高いSEOツール 「コンテンツ採点機能が便利」で人気の1位は?【2022年7月版】
ユーザー満足度の高いSEOツールはどれ? IT製品レビューサイト「ITreview」に寄せられたレビューを基に、ランキング形式でまとめた。(2022/7/15)

製造IT導入事例:
発注業務を4時間から30分に、日立製作所の需要予測型自動発注システムを導入
旭食品は、日立製作所のリテール向けソリューション「Hitachi Digital Solution for Retail/需要予測型自動発注サービス」を活用した需要予測型自動発注システムの稼働を開始した。(2022/6/23)

旭食品、需要予測ベースの自動発注システムを導入 発注・在庫管理業務にかかる時間が約8分の1に
旭食品は、国内35カ所の物流倉庫に日立の流通・小売業向けデータ活用ソリューションを活用した「需要予測型自動発注システム」を導入した。従来は1日あたり約4時間を要していた発注・在庫管理業務を約30分に削減し、欠品を約4割、返品を最大約3割低減した。(2022/6/13)

Innovative Tech:
入力中の個人情報が“送信ボタンを押す前に”収集されている問題 約10万のWebサイトを調査
ベルギーのKU Leuven、オランダのRadboud University、スイスのUniversity of Lausanneによる研究チームがは、まだ送信していないのにもかかわらず、オンラインフォームで入力した個人情報が打ち込んだだけで収集されている問題を調査した論文を発表した。(2022/5/20)

ITmedia エグゼクティブセミナーリポート:
「損害保険×ソリューション」の提供で、効率的かつ効果的なサイバーリスク対策を実現――東京海上日動火災保険 教学大介氏
サイバー被害対策の1つとして注目される「サイバーリスク保険」。その開発担当者が、企業が直面するリスクや改正個人情報保護法が企業に与える影響、保険会社のソリューションを活用した効果的なサイバーリスク対策を紹介した。(2022/4/11)

CMOのためのデジタルトレンド解説【号外】:
Google アナリティクス(ユニバーサルアナリティクス)終了に伴い、これから起こること
【緊急寄稿】Google アナリティクス(ユニバ―サルアナリティクス)の終了に伴い、今後どのようなことが発生するか、どのように対処すべきか、まとめてみました。(2022/3/25)

セキュリティ人材不足の企業が安全を「保ち続ける」には:
PR:100以上のWebサイトの脆弱性と改ざんを可視化し、リスクを手軽に排除する方法
Webサイトはエンドユーザーとの接点として重要な役割を果たす。複数のWebサイトを運用する企業が自社サイトのリスクを発見してセキュリティを継続的に確保する方法とは。(2022/3/22)

山岳トンネル工事:
独自型枠システムと急硬性コンクリート使用のトンネル連続ライニング工法、西松建設ら
西松建設は、山岳トンネル施工に使用する各重機の遠隔無人化・自動化技術を効果的に組み合わせた山岳トンネル無人化施工システム「Tunnel RemOS」を2023年度までに完成させるために開発を進めている。Tunnel RemOSを構築する技術の1つとして、ジオマシンエンジニアリングと共同で、独自型枠システムと急硬性コンクリートを用いたトンネル連続ライニング工法「PL-CAST」を開発した。(2022/2/18)


サービス終了のお知らせ

この度「質問!ITmedia」は、誠に勝手ながら2020年9月30日(水)をもちまして、サービスを終了することといたしました。長きに渡るご愛顧に御礼申し上げます。これまでご利用いただいてまいりました皆様にはご不便をおかけいたしますが、ご理解のほどお願い申し上げます。≫「質問!ITmedia」サービス終了のお知らせ

にわかに地球規模のトピックとなった新型コロナウイルス。健康被害も心配だが、全国規模での臨時休校、マスクやトイレットペーパーの品薄など市民の日常生活への影響も大きくなっている。これに対し企業からの支援策の発表も相次いでいるが、特に今回は子供向けのコンテンツの無料提供の動きが顕著なようだ。一方産業面では、観光や小売、飲食業等が特に大きな影響を受けている。通常の企業運営においても面会や通勤の場がリスク視され、サーモグラフィやWeb会議ツールの活用、テレワークの実現などテクノロジーによるリスク回避策への注目が高まっている。