< >をそのまま入力するとコードとして認識されるので、 < を &lt; に、> を &gt; にそれぞれ書き換えなければいけません。
基本的にhtmlコードなどをブログなどに記載する場合は、<pre>タグを使うようになっています。

<pre>タグタグを使う場合

<pre><code>
ソースコード
</code><pre>

という風に、<pre>タグで<code>タグを囲って使います。
ただ、このままだと折り返さないコードの場合は、横幅がスゴイことになってしまうのでcssでちゃんと折り返されるようにします。

pre {
 white-space: pre-wrap;       /* css-3 */
 white-space: -moz-pre-wrap;  /* Mozilla, since 1999 */
 white-space: -pre-wrap;      /* Opera 4-6 */
 white-space: -o-pre-wrap;    /* Opera 7 */
 word-wrap: break-word;       /* Internet Explorer 5.5+ */
}

WordPressプラグインを使用してコードを表示する場合

• PHP Hilight Stringインストール方法 | Download
• 使い方は簡単で、コードを専用のタグで囲うだけ。

同梱されているcssはテンプレートcssに入れればOK。
このcssを編集すればフォントの大きさやボーターカラーの変更ができます。

/*
ハイライトする色の指定
*/
.hl-surround{
    -moz-border-radius: 5px;
    background-color: #F9FBFC;
    border: 1px solid #C3CED9;
    padding: 8px;
    margin-bottom: 5px;
    width: 500px;
    overflow: auto;
    text-align: left;
}

.hl-surround, .hl-surround pre, .hl-surround span{
	font: normal 10pt 'Courier New', monospace;
}

.hl-default{
	color: Black;
}
.hl-code{
	color: Gray;
}
.hl-brackets{
	color: Olive;
}
.hl-comment{
	color: #ffa500;
}
.hl-quotes{
	color: #8b0000;
}
.hl-string{
	color: Red;
}
.hl-identifier{
	color: Blue;
}
.hl-builtin{
	color: Teal;
}
.hl-reserved{
	color: Green;
}
.hl-inlinedoc{
	color: Blue;
}
.hl-var{
	color: #00008b;
}
.hl-url{
	color: Blue;
}
.hl-special{
	color: Navy;
}
.hl-number{
	color: Maroon;
}
.hl-inlinetags{
	color: Blue;
}
.hl-main{
	background-color: transparent;
}

.hl-main pre{
	margin: 0; padding: 0;
}

MovableType用プラグインを使用する場合

エントリー投稿画面に追加される「&」ボタンを押すだけで、選択した文字列を実体参照化してくれる便利なプラグイン。

[MovableType用EntityRefButtonプラグイン v0.0.5 ]