インターネットは、宝の山
インターネット上の膨大なWebデータは、活用の仕方によっては計り知れない価値を生み出します。
Webデータを活用することで、巨大な収益を作り出す企業の筆頭と言えば何と言ってもGoogle社です。Googleは、Webクローリング技術を武器に、最も利便性の高いインターネット検索をビジネスモデルに組み込むことで、莫大な収益を記録し続けています。膨張し続けるWebデータを源泉に、Googleのビジネスも更に拡大する様相をみせています。
Googleの歴史はまだまだ新しく、それまでのビジネスでは前例のない速度で成長しました。 インターネットの創世期といえる1997年9月15日、”Google.com”のドメインが登録され、1998年9月4日に法人として登記されビジネスがスタートします。 インターネット検索サービスには、Excite.com / Yahoo.com / Infoseek.com などのメジャーなサービスがある中で、なぜGoogleが世界一のネット検索メディアとして成功したのでしょうか？
一般的なインターネット検索サービスは、全文検索技術を用いたサービスです。 Webクローリングにより収集したWebページのテキスト情報を素早く検索し、その結果をリンクリスト化して提供するこの技術は、書籍検索などで広く一般的に利用されていました。 Google以前のテキスト検索技術は、検索語の出現頻度により、結果をスコアリングして表示順序を決めており、”Excite”や”Infoseek”などは、この技術でWeb検索サービスを提供していました。 この方法では、リンクリストから必要な情報にたどり着くために、検索結果リストを辿って数多くのページを探す必要があり手間がかかりました。
一方当時の”Yahoo.com”は、人手によるWeb世界のディレクトリを作成し、人が面白いと思うページや重要だと感じたページをうまく配置し、ディレクトリを辿ることで必要な情報にたどり着けるサービスを提供することで、人気を博していました。しかしながら人手によるディレクトリ構築には限界があり、増殖を続けるWebページの検索に追随することは難しいと考えられていました。 これらの検索サービスから少し遅れてGoogleはスタートしています。
スタンフォード大学の博士課程に在籍していたラリー・ペイジとセルゲイ・ブリンが、爆発的な拡大を続ける膨大なWebページの中から、ソフトウェアで解決できる手法で、最適なページを効率よく見つけ出す実験プロジェクトをスタートしました。それが、今ではあまりにも有名なGoogle誕生物語となっています。 ラリーとセルゲイの二人はWebクローリング技術で、大量のWebデータ収集を行い、集めたWebページのリンク関係を分析し、被リンク数（あるWebページが他のドメインのページから貼られたリンクの数）をページの重要度を示す指標（ページランク）としてWebページの重み付けを行い、検索結果の出力順序をページランクの高い順に出力しました。その結果、信頼度が高くユーザに必要なページに短時間でたどり着ける検索エンジンの発明となりました。
加えて、他の検索エンジンと比較して、検索窓と検索リストという単純なページ構成で、無駄な雑音ページを目にする必要がなく、多くの人に受け入れられたということも成功の大きな一因となりました。 このようにGoogleは、Webクローリング技術により収集したデータを独自のアルゴリズムでユーザに提供することで人気を博しました。 更に、莫大なアクセスログを活用した検索アルゴリズムの改善を行い、現在も最も多くのユーザーに利用される検索エンジンとして君臨しています。
元々ラリーとベイジは、Exciteに自分達の検索エンジンを売却しようとしていましたがExciteのCEOであるジョージ・ベルに拒絶されました。 この経験をバネに、Googleは2000年に検索ワード連動広告でビジネスをスタートします。 日本でもWebクローリングを活用した新しいサービスがいくつも提供されており、その一部を以下に紹介します。
ニュースキュレーションサービス
Smartニュース/Yahooニュース/NewsPicsなど、収集したニュースをオリジナルのカテゴリーで分類して興味を引くようにタイトルを編集するものや、ビジネスカテゴリーに絞ったニュースと口コミによる意見などで、多くのユーザに親しまれています。
オークファン
日々相場が変わるオークションデータをスクレイピングし、相場観や売り時などを可視化したグラフで確認できるサービスは、様々なオークションサイトでの売買の指標として、参照されています。
プロ向けのサービス
一方、SNSやレビューサイトの投稿を収集し、マーケティングなどに活用できる情報に加工するサービスが様々に存在します。このように一般の人々の発信を収集できるWebクローリング技術を利用し、企業が利用できるサービスに変換するサービスが数多く存在します。
このようにWebスクレイピングによって大量の情報をユーザ視点で加工提供するサービスは、ネット時代の新しいビジネスとして、どんどん生み出されています。 アメリカのFood Geniusもこのようにネット情報を活用し、レストランへメニューなどの計画を立てるためのダッシュボードを提供する会社です。
Food Geniusの新ビジネスモデル
2012年9月24日のForbesの記事によると、以下のように紹介されています。
Food Genius、ビッグデータツールで食品業界のトレンド把握に貢献
「フードジーニアスは昨年、ビッグデータを利用してレストランや料理を検索するレコメンドアプリの市場に参入し革命を起こしました。 当時、このスタートアップ企業は、メニューデータをできるだけ多く取得（Webスクレイピング）し、それを食材や調理法、スパイスなど料理の側面ごとに解析し、ユーザーの個人的な好みや他のウェブサイトで共有されているレビューと組み合わせることに注力しました。 同社はまだビジネスモデルを模索中でしたが、ユーザーが「いつ」「どこで」「何を食べたか」というデータを収集して組み合わせることで、消費財メーカーから個人経営のレストランまで、あらゆる企業に貴重なインサイトを提供できると考えていいましたと、CEOのジャスティン・マサは昨年のインタビューで語っています。後に彼らは企業向けに最初の関連製品をリリースしました。」
出典𝄈Food Genius Helps Food Industry Understand Trends with Big Data Tools
また、2015年4月27日のTech Targetで「アナリティクスの10の成功事例を一挙紹介」という記事の中において、以下のように紹介されています。
「Food Geniusとオープンデータ：Food Geniusはフードサービスのデータプロバイダーである。オンラインに掲載されたレストランのメニューからデータを収集し、地域のトレンドを検索。クラフトフーズなどの企業やアービーズなどの全国チェーンでさえ、地域レベルでより賢く商品を開発・販売できるよう支援する企業だ。「インターネット上のオープン・コンテンツのWebスクレイピングだけで、ゼロからビジネスを構築した魅力的な例だ」とLaney*1は言う。オープンデータによって、すでに確立されたサービスをどのように強化し、顧客に新しいサービスを提供できるかを考えるよう、企業に呼びかけた。」
(*1: Doug Laney はガートナーのアナリストでこの記事の情報提供元)
出典𝄈Ten analytics success stories in a nutshell
Food Geniusのスタートアップ
2010年にスタートしたFood Genius の創業者であるJustin Massaは、スタートアップ時を振り返って、次のように語っています。
「現在のレストランレビューのウェブサイトは、料理レベルの細かさに欠け、さらに重要なことに、ノイズからシグナルを選別するツールも提供されていません。どのレビュアーが自分と同じ味覚を持っていて、誰が専門家で、どれが単なる恨み節なのかを見分ける方法がないのです。
私たちは、誰もがおいしい料理を食べられるように、レコメンドアプリに参入しました。外食についてもっと前向きな意見交換ができるようにしたいのです。」
このような思いのもとにFood Geniusは、個々のユーザごとに最適なメニュー提案をするスマートフォンアプリの提供を始めます。 Webスクレイピングで収集したレストランのメニューを分析。ユーザごとの嗜好にカスタマイズした味覚プロファイルに基づき、料理を構成する食材 / 調理技術やその他の細かい変数に基づくアルゴリズムから最適な料理をレコメンドしてくれるサービスです。
このサービスの提供開始後Justinは、シカゴのインキュベーションスクールIDEOのプログラムに参加することで大きな変貌を遂げます。
プログラム卒業後の2013年、レストランのオープンデータとビッグデータ分析技術を駆使した、企業向けサービスを提供する、B2B企業として生まれ変わります。 インキュベーションスクールでは、様々なデータドリブンモデルを検討して、潜在顧客と検討しながらサービスアイデアを綿密にブラッシュアップしてゆきます。
「B2Bデータサービスに焦点を当てることを検討したとき、洗剤などの一般的な消費財メーカーが持つ情報とレストラン業界が持つ情報の間に信じられないほどの格差があることに気づきました。ユーザーが「いつ」「どこで」「何を食べたか」といったデータを収集して組み合わせることで、食材メーカーから個人経営のレストランまで、あらゆる企業に貴重なインサイトを提供できるのではと考えました」とJustinは言っています。
IDEOでの活動をもとに2012年9月には120万ドルの資金を調達し、食品業界向けのデータドリブン型のレストランメニュー動向ダッシュボード「Food Genius Reports」をリリースします。 JustineはIDEOで、食の専門家たちの意見を集約したプロトタイプを作成しました。それは、Excelの分析画面のようなシステムで、重い大量データ処理のために画面遷移のたびに、回転するビーチボールやステータスバーが表示され、とても使えるものではありませんでした。
そこでリリースにあたり、Justinらはユーザのアクセスパターン（例えば、ほとんど利用されないパターン）を分析し、必要なデータをプリプロセスしておくことでレスポンスの良いシステムに作り替えました。
また、Justineは、IDEOでユーザU/X (User experience)の重要性についても学び、ユーザインタフェースを洗練させることに注力しました。求める情報を一目で把握でき、ドリルダウンで簡単に詳細な情報にたどり着けるなど、使いやすさとわかりやすさを工夫しました。 2013年には、Food Genius Reportsは、Core77デザインアワード フードデザイン部門で準グランプリを受賞しています。
2013 FOOD DESIGN
出典𝄈A Real-Time Data Service for Industry Food Workers
Forbes 2012年9月26日の記事によると、36万以上のレストラン、11万のメニュー、1630万のメニュー項目をWebスクレイピング技術でトラッキングし続けています。現在ではもっと多くの情報を処理していると想像できます。
Food Genius Helps Food Industry Understand Trends with Big Data Tools
「Food Genius Report」ダッシュボードでは、商品や食材の組み合わせ / 地域に独特なアレンジ / 調理法 / 盛り付けによる印象 / 栄養成分など詳細な項目を検討できます。更に、リアルタイムメニューデータで消費者の動向をとらえ、分析結果としてわかりやすくメニューや食品開発の検討が行えます。
Food genius report を使うと情報を観察することで様々な施策を検討することができます。 例えば、アメリカのレストランで牛肉がどれだけ普及しているかと言った大まかな情報だけでなく、ニューヨークでのフィレステーキの平均価格をリサーチする。また、ケンタッキーでの鹿肉とセージとリンゴの組み合わせの人気度合など、ローカルなメニューの情報も観察できます。
もし食品メーカーで、「冷凍パスタとチキン」のフライパン調理食品の開発に取り組んでいる場合、数回クリックするだけで、チキンやパスタに最もよく合う野菜が「マッシュルーム」だと簡単にわかります。更に、チキンとマッシュルームの組み合わせで、最もよく使われるパスタが「ペンネ」だということも簡単にわかります。加えて、ペンネとマッシュルームとチキンを使った料理だと、チキンをグリルするのが一般的だとわかります。
Food Genius Reportは常に、「料理がユニークか？」「競争力のある価格か？」といった検討を行えるように工夫したデータと解りやすいインタフェースを提供しています。
Food Genius の創業者 Justin Massaは、2014年6月3日のFood Tech Connectで「オンライン食品作業の一元化が必要な理由」という記事で将来のメニューについて以下のような予測をしています。
次のような統計を考えてみましょう。
- 北米のレストランディナーの40%は、モバイル機器から予約されています。
- 89%の消費者が、レストランでの食事前に、オンラインでレストランを調べています。
- 76%の消費者がレストランを選択する際にレビューを参考にします。
つまり、テクノロジーはすでにダイニングをハッキングしているのです。オンライン注文やiPadをメニューとして使うなど、食に関わることの多くはデジタルで行われるようになりました。その結果、消費者の選択肢は格段に多くなりました。人々はもう、近所のレストランや食料品店に頼った選択に限定されることはありません。すでに調理済み食品も食料品も、全国どこからでも配達してもらうことができます。
モバイル機器は消費者をより活動的にし、何処にいても自分の食事内容を決めることができるようになりました。食品業界は、この新しい、超柔軟な消費者の要求に応えるために、テクノロジーをどのように役立てれば良いのでしょうか？
―――中略―――
**The Menu Will Always Matter：メニューは常に重要である**
メニューは食事に重要な役割を果たします。メニューは食事体験に不可欠であり、ラミネート加工された紙であれiPad上の洗練されたPDFであれ、その基本原則は今後も変わることはないでしょう。未来のメニューは、現在より広範囲に提供されると予測しています。
メニューはひとつのレストランだけのものではなく、地域のあらゆるレストランや様々なタイプのフードサービスを一元的に表されるものかもしれません。もしかしたら、「食のアマゾン」*2になり得る企業は、人々の食の選択をメニューのように提示するのかもしれません。消費者は食材の選択を重要視し、メニューは選択を提供するための使いやすい手段となるかもしれません。 食品産業がテクノロジーに出会うことで食の選択肢が増え、メニューはこれまで以上に重要なものになるといえます。」 (*2：フードサービスのEコマース最大事業者というニュアンスです。)
出典𝄈Why We Need to Centralize the Online Food Industry
「US Foods」による「Food genius」の買収
Food Techの世界では、次々と新しい企業やサービスが続々と育っています。
2016年から2020年までのFood Techの変遷を俯瞰しても、その数の増え方は目を見張るものがあります。伝統的な食材流通業界でのFood Techへの取り組みの勢いをますます増しています。 Food Geniusは、2014年以来最大の顧客であったUS Foodsに買収され新しい時代を迎えました。
US Foodsは、全米二位の伝統的な食材供給企業で、全米の１８％のシェアを誇っています。 US Foodsと協業することで、Food Genius はレストランにBigデータを活用した情報ダッシュボードの企業から、レストランのサプライチェーンに組み込まれたと言えます。
Food Geniusが提供する食品業界向けのマーケティング情報から、食材供給までの一貫したサービスで、食品製造企業やレストランは、新しい商品やメニューの開発時に、検討から食材の提供までを一貫したプラットフォームで扱えるようになりました。
Webクローリングが拓く、新しい世界
Webに発信される豊富な情報は、日々変化しその増加は止まるところを知りません。 これらの豊富な情報リソースをWebスクレイピング技術で収集して正規化することで、Google やFood Geniusのように新たな利便性と価値を生み出すリソースとして活かせるビッグデータ活用技術や情報インフラはすでに充分に活用できるレベルで用意されています。
急速に発展を続けるAI技術とこれらのデータの蓄積は、新しいアイデアを誘発し、新しい価値観やサービスを生み出し続けています。 人々の生活や企業発展に、新しい方向性を見出せるサービスを生み出すことは、現代の新ビジネスの起爆剤となることは間違いありません。
キーウォーカーは、最新のWebスクレイピング技術とビッグデータ分析技術で貴社の新しいビジネス創造のお手伝いをいたします。
私達は、創業以来インターネットに発信される多種多様な情報の活用を命題としており、ShtockData（シュトックデータ）によるWebスクレイピング技術で、多種多様な情報を大量にお客さまに提供してまいりました。
ShtockDataにより収集した大量のデータを、最新の解析技術やAI技術で、全く新しい価値を生み出すお手伝いをしています。 貴社の新たなサービスによるご発展のサポートをさせていただける技術力あるスタッフが、お待ち申し上げております。
いつでもお気軽にお問合せください。