そのサービスは、インフラから切り離すことができるか?

OSの仮想化が急速に普及した理由は、OS実行環境というレイヤーで仮想化が行われるために、その上で実行されるミドルウェアやアプリケーションは一切改修などを行う必要がない(ことになっている、基本的に。)という点がIT管理者にとって「移行しやすさ」であったり「これまでのやり方の継続」と「物理サーバ統合」を両立させたりということを実現できるからであったと思います。このように仮想化は、ITインフラにおける物理レイヤーとOSレイヤーを切り離したわけですが、単に仮想化しただけではOS環境が物理サーバとは切り離されただけです。そこからさらにクラウドといえる段階に進みたいのであれば、ユーザに提供されるサービスを提供する仕組みを完全にインフラの制約から切り離す必要があります。DBサーバ/APサーバ/Webサーバという役割を担うモジュール的な塊はあるとしても、各サーバ用途ごとに物理レイヤーを用意するのではなく、共通のインフラリソース群体の中から必要な分のリソースを確保して実行されるような段階への発展といったかんじでしょうか。この段階は単にOS環境をP2Vによって仮想環境にもっていくような簡単((^_^;)?)なものではないですし、根本的な変化を求めるものとなるので、やりかたも一様ではないでしょう。VMwareのような存在がこのレイヤーにおいて登場するかどうかはまだわかりませんし、仮想化を経ないGoogleのようなやり方が受け入れられることになるかもしれません。
ただ、そういう流れを受けてか、ハードウェアベンダー各社は「クラウド向け」サーバの提供を本格的に開始してきています。

IBMは高密度サーバとしてすでにiDataPlexを発表しています

2Uに2サーバ分のノードを集約と書くと単に1Uサーバ2台と変わらない様に思えてしまいますが、さらに奥行きを短くすることや全インターフェイスの前面配置によりリアエンド側の専用の水冷システム"Rear Door Heat eXchanger"を組み合わせることによりクラウドを構成するノードとしての利便性が高められています。

HPはデータセンター向けの高密度サーバモデルとしてすでにHP Extreme Scale-Out (ExSO)を発表しています

HPらしく?ラインナップモデルは沢山あるのですが、上記は1Uに2ノード分の基盤を載せたモデル。高密度を追求するために、筐体は共有してしまい2ノード分の基盤とデバイスがぎゅっと載せられています。

最近ロゴマークまでますますシンプルになった感じのDELLはCloudEdgeと噂されてきたクラウド向けサーバをPowerEdge Cシリーズとして発表

いくつかのモデルがありますが、C6100が一番面白そう。2Uのラックマウントモジュールの前面にはハードディスク(2.5inchなら最大24個)、後面にはサーバモジュールを最大4つ搭載できる、小さなストレージ統合型ブレードサーバみたいなかんじになっています。良くも悪くも標準を標榜するデルがこの類のサーバをリリースするということ自体がなかなか象徴的。

富士通はクラウド向け?高密度サーバとしてPRIMERGY CX1000を発表。冷却ファンを個別サーバから無くしてしまい専用サーバの大型ファンで統合してしまうなど、サーバをラックソリューションにしてしまうやり方できています。

すべてのインターフェイスを前面に配置した38台の専用サーバノードと、大型空冷ファンによる専用ラックにより、省スペース、省電力、シンプル化を唄っています。

これらの高密度サーバは高密度化を追求したかたちになっていますので、拡張性や外部インターフェイスが制約されるなどのデメリットもあり、汎用的に使えるものではありません。しかし、たとえば今後FCoEなどによりネットワークI/OやストレージI/Oのためのインターフェイスが統合されていけば制約された構成においてもある程度は汎用的に使えるようになっていくかもしれません。
しかしこれらのサーバを最も活用できる使い方はやはり群体としてのCPUノードとしての利用でしょう。ノードを追加するだけで簡単にリソースを拡張できるような仕組みと、サーバとして冗長性を確保するのではなくノード単位で冗長性を確保できるような仕組みを作ることができれば、こうした高密度サーバを使うことが最も効率的なやり方になります。
こうしたサーバが自社利用のための専用サーバとしてではなく、少なくとも不特定多数向けの汎用モデルとして各ハードウェアベンダーからの提供が始められた、ということだけでもサーバリソースの使い方におけるトレンドの方向性が見える気もします。大量のサーバリソースを使用する企業だけでなく、中小企業にまでこうしたサーバの利用が広がるようになったときが、クラウドが普及したといえる時になるのではないかと思います。